François Peinado Ibarra, Fernando Teba del Pino, Juan Carlos Duarte Añez, José Antonio Herranz Yagüe.
Servicio de Urología. Hospital Quirón Ruber. Madrid.
Correspondencia: doctorpeinado@gmail.com
En un artículo publicado en el Journal of Sexual Medicine se realiza “Un análisis crítico de las revisiones sistemáticas y los metaanálisis sobre la enfermedad de Peyronie”. A continuación, detallo las conclusiones más relevantes sobre el mismo.
El número de artículos publicados sobre la Enfermedad de La Peyronie ha ido creciendo en los últimos años; una breve búsqueda de literatura demuestra que entre los años 2000 y 2020, el número de artículos indexados en PubMed creció de 51 a 181 (Figura 1). Aunque el conocimiento de la EP ha aumentado, en particular debido a la comercialización generalizada de la colagenasa (Xiaflex), los retos inherentes al manejo de esta compleja enfermedad permanecen. Hay una amplia gama de tratamientos disponibles, pero pocos ensayos clínicos bien diseñados con medidas de resultados validadas para guiar la toma de decisiones clínicas.
Las revisiones sistemáticas (RS) y los metaanálisis (MA) proporcionan el mayor nivel de evidencia posible en la literatura médica. Estos estudios buscan, valoran y resumen los resultados de múltiples estudios para orientar la toma de decisiones clínicas y la política sanitaria sobre intervenciones médicas. Sin embargo, dependen en gran medida de la calidad de los estudios incluidos y pueden ser en sí mismos propensos al sesgo y a la interpretación errónea. Las listas de comprobación como la «Preferred Reporting Items for Systematic Reviews and Meta-Analyses» (PRISMA) y la «A MeaSurement Tool to Assess systematic Reviews» (AMSTAR) ayudan a los autores y metodología de sus estudios.
Hasta el momento actual, la calidad de las RS y las MA no ha sido evaluada en la EP. La hipótesis que formulan los autores es que la heterogeneidad de los estudios sobre esta enfermedad impacta negativamente en la fuerza y la aplicabilidad de las RS y las MA subsecuentes. El objetivo principal de este análisis fue evaluar la calidad de la metodología y la presentación de informes de RS y MA. El objetivo secundario fue describir la autoría y el origen institucional de estos estudios.
MÉTODOS BÚSQUEDA Y SELECCIÓN DE ESTUDIOS
El registro en PROSPERO, el registro internacional prospectivo de revisiones sistemáticas no fue posible porque no incluye revisiones puramente metodológicas. Por lo tanto, el protocolo a priori se registró utilizando la plataforma Open Science Framework. En enero de 2021, se realizó una búsqueda electrónica sistemática de la literatura inglesa publicada desde 1974 hasta 2021 para identificar los RS y MA originales centradas en EP (Figura 2).
La fiabilidad entre revisores para la selección de estudios y la extracción de datos se evaluó mediante la estadística kappa, en la que +1 indica un acuerdo completo y -1 indica un desacuerdo completo entre revisores emparejados.
RESULTADOS
La producción inicial de artículos de la búsqueda electrónica en las bases de datos Medline/PubMed, Embase, Ovid, Scopus, Joanne Briggs Institute y Cochrane fue de 340 artículos. Tras eliminar 215 artículos duplicados, quedaron 125 artículos (Figura 2).
Inicialmente se realizó un cribado del título y del resumen. Se excluyeron 84 artículos porque no eran relevantes para la consulta. Esto dejó 41 artículos para la revisión del texto completo, de los cuales se excluyeron 23 artículos. Por lo tanto, se incluyeron en el análisis 18 artículos (Figura 2).
En cuanto al consenso, la media kappa como medida de acuerdo interobservador fue de 0,72, con un rango de 0,61 (revisión del texto completo) a 0,83 (revisión del título y el resumen).
El desglose de los artículos completos fue de 13 revisiones sistemáticas, 2 MA y 2 combinados. Quince (88%) artículos se publicaron después del año 2009, cuando se publicaron las directrices PRISMA. Doce revistas diferentes estuvieron representadas, siendo la más común Sexual Medicine Reviews (3/17). Las siguientes más comunes fueron Journal of Urology, International Journal of Impotence Research y Sexual Medicine con 2 artículos cada una.
La mediana del factor de impacto de las revistas en 2019 fue de 1,9 (IQR 1,4-3,3).
La mediana del número de autores fue de 4 (IQR 3-6). En cuanto a la autoría, un individuo fue coautor de 3 artículos, y otros 2 individuos fueron coautores de 2 artículos cada uno. Las instituciones de los autores principales representaban una variedad de países, incluyendo 4 artículos de los Estados Unidos, 2 de Italia, 2 del Reino Unido y 2 de Brasil.
En total, las fuentes bibliográficas primarias se publicaron entre un amplio rango de años, desde 1953 hasta 2020. La mediana del número de estudios primarios revisados fue de 31 (IQR 12 -52). Los temas cubiertos estaban principalmente relacionados con el tratamiento no quirúrgico de la EP (12/17, 71%) más que con el tratamiento quirúrgico (4/17, 24%).
Los 17 artículos completos tenían una media del 54% de cumplimiento de los criterios AMSTAR-2 y del 74% de cumplimiento de los criterios PRISMA. La omisión más común en los criterios AMSTAR-2 fue el ítem 10 (0/17), informando de las fuentes de financiación de los artículos incluidos en la revisión.
Los criterios AMSTAR-2 fueron críticamente bajos en 11/17 estudios. Las omisiones más comunes en los criterios PRISMA fueron el punto 5 (12/17), que indica la presencia de un protocolo de revisión y la información de registro si está disponible, y el punto 22, que presenta los resultados de la evaluación del riesgo de sesgo en los estudios. Incluyendo el resumen de una conferencia, la adhesión media a los criterios de resumen PRISMA fue del 63%.
El análisis expuso una preocupación «Alta» con respecto a los criterios de elegibilidad de los estudios en 4 de 17 (24%) trabajos y con respecto a los métodos utilizados para identificar y seleccionar los estudios en 6 de 17 trabajos (35%). Hubo una preocupación «alta» con respecto a los métodos utilizados para recopilar datos y evaluar 12 de 17 estudios (71%). Por último, hubo una preocupación «alta» con respecto a la síntesis y los resultados en 8 de 17 estudios (47%).
DISCUSIÓN
Es imperativo pensar críticamente sobre la metodología de investigación presentada en las publicaciones científicas. Aunque la presentación de esta metodología no siempre refleja la calidad del propio estudio, los revisores y los lectores no tienen un método mejor para determinar de forma independiente el valor de un estudio y sus resultados. Se han desarrollado varias directrices para garantizar que los aspectos críticos de la metodología de investigación se lleven a cabo y se comuniquen en una variedad de tipos de estudios. En consecuencia, muchos grupos han explorado el uso de estas directrices para evaluar la calidad de la evidencia en la literatura publicada en su campo.
El objetivo principal en este estudio fue evaluar la calidad de la literatura sobre EP examinando específicamente la RS y la MA. Las listas de control AMSTAR-2 y PRISMA fueron desarrolladas para ayudar a los autores y revisores para una mejor interpretación y valoración de los resultados. Sin embargo, los artículos sólo tenían un 54% y un 74% de adhesión a los criterios AMSTAR-2 y PRISMA, respectivamente. Estos hallazgos se hacen eco de los de Bhambhvani et al, que descubrieron que 0 de 27 publicaciones sobre infertilidad masculina cumplían todos los criterios de AMSTAR. Estas críticas no son exclusivas del ámbito de la andrología, ya que O’Kelly et al encontraron que la falta de adherencia a PRISMA y AMSTAR oscilaba entre el 30 y el 50% en las RS y MA realizadas en pediatría.
Algunos ítems fueron problemas recurrentes en múltiples estudios, como la falta de registro de los protocolos de estudio para permitir la comparación de los análisis a priori frente al post hoc (ítem 5 de PRISMA). El ítem 10 de AMSTAR-2 fue aún más comúnmente ignorado, ya que evaluaba la información sobre la financiación de los estudios primarios. Si no se informa de la fuente de financiación de los estudios primarios, no se puede evaluar la posible influencia de patrocinadores externos en las revisiones sistemáticas.
Aunque la adhesión a los criterios AMSTAR-2 es una forma sencilla de conceptualizar la presentación de informes, esta lista de comprobación estaba destinada a proporcionar una calificación de calidad general en lugar de una puntuación numérica. Para ello, también se evaluó la calidad general y se encontró que el 65% de los estudios en el resultado de la revisión tenían un nivel de confianza críticamente bajo en los resultados de revisión. Una calificación «críticamente baja» indica que no se debe confiar en el estudio para proporcionar un resumen preciso y completo de los estudios disponibles.
Utilizando la herramienta ROBIS, se encontró una gran preocupación en hasta el 71% (12/17) de los estudios en el ámbito de la recopilación de datos y la evaluación del estudio. Esto parece ser un problema en todas las subespecialidades de la urología; incluso entre las RS que informaron de la adhesión a los criterios PRISMA, Aro et al. encontraron que sólo el 17% buscó en registros de ensayos clínicos, lo que puede afectar al sesgo de publicación. El ámbito con menor RoB fue el de los criterios de elegibilidad del estudio, con un 24% (4/17).
También existen directrices PRISMA para la presentación de resúmenes de RS, ya que los lectores suelen basar su impresión inicial de un artículo en el resumen. Los resúmenes deben ser transparentes y suficientemente detallados en cuanto a la metodología y las conclusiones del trabajo. La mediana de adherencia en esta área fue baja. Los autores encontraron que la adherencia a los resúmenes PRISMA y las áreas más comúnmente omitidas fueron los métodos de evaluación de los resultados y la información sobre la financiación de la propia RS. Por lo tanto, concluyen que no se debe pasar por alto la presentación de resúmenes, ya que tiene un propósito importante.
El objetivo secundario era realizar un análisis bibliométrico de la autoría y el origen institucional de los estudios. Estudios anteriores han sugerido que la autoría ha ido aumentando debido a la adecuada la colaboración multiinstitucional o de los estudios cada vez más complejos, así como de incentivos menos apropiados, como el de la presunción de publicación. En el análisis de la literatura de EP, la mediana del número de autores de 4 parecía totalmente razonable para las RS y Rezaee et al. también descubrieron que los artículos de revisión tenían un número medio de autores inferior al de los artículos originales (4,3 frente a 6,0) en su análisis de las tendencias de autoría.
Las conclusiones no dejan de tener en cuenta la dificultad de realizar ensayos controlados aleatorios en ciertos procesos de la enfermedad. Los ensayos en EP tienden a tener pocos pacientes y varían tanto en la metodología como en las medidas de resultado. Además, hay un bajo nivel de apoyo financiero para los estudios, ya que Christiansen et al. encontraron que solo el 15% de los artículos primarios sobre EP fueron financiados por alguna fuente. Sin embargo, se necesitan más ensayos controlados aleatorios de alta calidad en la EP, y los RS y MA deben centrarse en estos ensayos de alta calidad.
Una RS/MA de alta calidad no puede realizarse con datos limitados o de baja calidad. Con el aumento de la calidad y la homogeneidad de la literatura sobre EP, un número cada vez mayor de RS incluirá también MA y esto será lo que pueda impulsar cambios en la práctica. Esta revisión debe ser un paso hacia una mayor transparencia en la metodología de investigación. Muchas revistas, como European Urology, Journal of Urology, British Journal of Urology International, Journal of Sexual Medicine y Urology, ya respaldan el cumplimiento de las directrices de presentación de informes PRISMA.
CONCLUSIÓN
La información transparente de la metodología y los resultados en RS y MA es crucial para mantener la integridad de la investigación y permitir una interpretación precisa de los resultados. A pesar del creciente número de publicaciones en EP, muchos de estos estudios no cumplen con los criterios metodológicos aceptados para la presentación de resultados. Los autores deben tratar de realizar ensayos pro-específicos de alta calidad; idealmente ensayos controlados aleatorios con mediciones de resultados objetivas y estandarizadas cuando sea posible. Los autores, los revisores y las revistas deberían trabajar para conocer y utilizar las directrices de información estándar para mejorar la calidad de la evidencia en la RS resultante.