4. LECTURA CRÍTICA DE LITERATURA
4.1 INTRODUCCIÓN
Una de las principales finalidades con que los profesionales sanitarios utilizamos la literatura científica es la de estar al día. Más que leer, de lo que se trata es de explorar un número determinado de revistas (habitualmente aquellas a las que se está suscrito o se reciben en el centro de trabajo) para seleccionar algunos artículos que se pretende leer y valorar más detalladamente con posterioridad. Para facilitar esta función de vigilancia, ha ido apareciendo un número creciente de publicaciones que filtran los contenidos de las principales revistas, seleccionando los artículos metodológicamente correctos y relevantes, y presentándolos en forma de resumen estructurado comentado por un experto. Los ejemplos más conocidos son ACP Journal Club y Evidence-Based Medicine. En nuestro país existen iniciativas similares, como Atención Primaria Basada en la Evidencia y también en Internet existen recursos que cumplen esta función, como Bandolier.
Una segunda finalidad es la ayuda en la resolución de problemas clínicos. Se trata de leer y evaluar cuidadosamente un artículo con el fin de tomar una decisión razonada en relación a un problema clínico en el diagnóstico o en el manejo de un paciente específico, lo que implica la identificación clara del problema que se desea resolver y la localización de un número reducido de artículos relevantes que son evaluados detalladamente. Este enfoque se encuadra en la denominada medicina basada en la evidencia (MBE).
Un tercer uso de la literatura científica es la revisión sistemática para analizar y sintetizar las evidencias disponibles sobre un determinado tema. Este abordaje es el que nos interesa para enmarcar nuestra pregunta de investigación.
La primera selección, ya sea a partir del sumario de una revista o del resultado de una búsqueda bibliográfica más o menos dirigida, se hace en función del título, buscando especialmente los artículos originales y de revisión que parezcan potencialmente interesantes o útiles. A veces puede ser de ayuda prestar atención a los autores del artículo ya que, si son conocidos y su trayectoria corresponde a un trabajo serio, cuidadoso y continuado, probablemente valga la pena leerlo. También puede ser interesante identificar el lugar en el que se ha realizado el trabajo, para valorar si los resultados podrían ser aplicados a nuestra población.
Posteriormente, para realizar una primera valoración a menudo es suficiente con la lectura del resumen, evaluando si la información que contiene sobre el diseño del estudio permite suponer que es metodológicamente adecuado y si, en el supuesto de que la conclusión del estudio sea válida, tiene relevancia clínica y es aplicable a la situación concreta que se desea resolver. Si el artículo falla en alguno de estos aspectos, puede ser descartado. Sin embargo, no deben aceptarse las conclusiones de un artículo después de leer solamente el resumen, ya que, aunque puede ayudar a identificar los artículos con resultados no válidos, casi nunca es suficiente para asegurar que son válidos. Este último juicio requiere un análisis más detallado del diseño del estudio.
A continuación
4. 2 OBJETIVO
El OBJETIVO de la evaluación crítica es la identificación de los puntos fuertes y débiles de los estudios publicados.
Se ha sugerido la siguiente nemotecnia:
|
Evaluar Críticamente un artículo |
= |
Comprobar la VIA del artículo |
|
Verifique la |
V |
alidez |
|
Verifique la |
I |
mportancia |
|
Verifique la |
A |
plicabilidad |
Requiere la valoración de la validez interna del estudio y de los resultados observados, teniendo en cuenta tanto la magnitud de su impacto, es decir su importancia clínica, como su aplicabilidad a situaciones concretas. En este curso se comenta sobretodo el primer aspecto ya que el segundo y tercero tienen interés para la resolución de problemas clínicos.
|
Concepto |
Entendemos por Validez a la Credibilidad que nos merece el artículo. Es decir, que cuando expresamos que un artículo es válido, estamos diciendo que creemos en él. A su vez, nuestra credibilidad hacia un determinado artículo depende de cuánto éste se aproxima a la verdad. En otros términos, la Validez del artículo implica que aceptamos su cercanía a la verdad. En suma, la Validez es un concepto que indica que el artículo evaluado está muy próximo a la verdad y por tanto es creíble. |
|
Evaluación |
La validez (Credibilidad) de un artículo depende del diseño del mismo. Está claro que cuanto más libre de distorsiones esté un artículo, más veraces y por tanto más creíbles son sus conclusiones. En otros términos, un artículo es más creíble (Válido) cuanto menos sesgos y confusores exhiba. (Si tiene dudas con la comprensión de este párrafo, le sugerimos ir a la sección de "Planteamiento general de una investigación" y revisar el documento "Validez y precisión"). De acuerdo con lo anterior, la evaluación de la validez es en la práctica una evaluación del diseño del artículo y del desarrollo del mismo. |
|
Estrategia |
La estrategia de evaluación de la validez consiste en responder una serie de preguntas relacionadas con el diseño y desarrollo de la investigación y de cuya respuesta, positiva o negativa, dependerá que aceptemos o no su validez como evidencia científica. En una sección posterior se discutirán las "Preguntas a Responder" para evaluar la validez de cada uno de los principales tipos de artículos considerados en el curso. |
Cualquier tipo de información incluso la que proporcionan los estudios con metodología correcta puede estar sujeto a varias formas de sesgo. Los problemas se incrementan si los resultados de varios estudios encontrados o fuentes utilizadas son discordantes o contradictorios.
4.3 GUÍAS PARA LA LECTURA CRÍTICA
El investigador debe estar capacitado para, saber si debe creer la información seleccionada y si puede aplicarla. Para ayudar a éste en su aproximación crítica, el grupo de la universidad de McMaster han elaborado una serie de guías publicadas inicialmente en 1981 en la revista Canadian Medical Association Journal y, actualizadas en una nueva serie publicada desde 1993 en JAMA.
Se podría decir que nos dan guías para saber leer (validez) y como leerlo (resultados y forma de aplicarlos). La primera parte de la evaluación se puede lograr aplicando unos criterios sencillos, distintos según el tipo de estudio de que se trate, que permiten de una forma rápida (incluso leyendo únicamente el resumen) seleccionar de los documentos encontrados los más válidos, desechando los que no cumplen estos criterios y reduciendo por tanto el número de artículos que necesitan una lectura más profunda.
Para evaluar los resultados y como aplicarlos, nos basamos en la asunción de que la fuerza o consistencia de un estudio está relacionada con el diseño del estudio y este varía según el tipo de interrogante que planteemos (diagnóstico, prevención y tratamiento, curso y pronóstico y efectos perjudiciales de las enfermedades).
Al contrario de lo que se piensa, la valoración crítica de la literatura no exige, al menos en su fase inicial, unos conocimientos previos y amplios de metodología de investigación, y ni siquiera de conocimientos médicos, siendo una técnica que se puede aprender de forma rápida tras la lectura atenta de estas guías o el aprendizaje tutorizado en seminarios y cursos.
Para realizar una selección de los artículos que nos puedan interesar, debemos preguntarnos una serie de cuestiones que deberían haber quedado reflejadas en el resumen:
1ª PREGUNTA: ¿ Por qué se hizo el estudio? : Cuál es la pregunta de investigación.
La introducción de un artículo científico debe reflejar, en pocas palabras, cual es el fundamento de la investigación. Si el estudio de investigación implica la realización de un contraste de hipótesis, esta debe quedar claramente establecida en la introducción o en el apartado de métodos.
2ª PREGUNTA: ¿ Qué tipo de estudio realizaron los investigadores?
Primero hay que ver si se trata de un estudio PRIMARIO (experimental, ensayo clínico, o de observación),
o de un estudio SECUNDARIO:
De revisión: revisiones narrativas, revisiones sistemáticas, meta-análisis.
Guías de práctica clínica (Protocolos): sacan conclusiones de estudios primarios sobre como debe ser la actuación médica.
Análisis de Decisión: Los resultados de estudios primarios generan árboles de probabilidad para ser utilizados en la elección de procedimientos clínicos.
Análisis Económicos: Utilizan los resultados de análisis primarios para saber si una determinada acción es una buena utilización de recursos.
3ª PREGUNTA: ¿El el tipo de diseño apropiado para la investigación?
La mayoría de estudios de investigación están relacionados con uno o más de los siguientes campos:
TERAPIA: Prueban la eficacia de tratamientos médicos, procedimientos quirúrgicos, u otras intervenciones. El diseño óptimo es ensayo clínico controlado y aleatorio.
DIAGNÓSTICO: Demostración de si un nuevo test diagnóstico es válido (¿podemos confiar en él?) y fiable (¿los resultados son los mismos cada vez?). El diseño óptimo es la encuesta transversal [comparando los resultados del nuevo test con los del test de referencia (gold standard)].
PRONÓSTICO: Determinación de lo que le ocurrirá a un grupo de personas afectas de una enfermedad, en la etapa inicial de la misma. El diseño óptimo es el estudio de cohortes longitudinal.
CAUSALIDAD: Determinación de si un determinado factor está relacionado con la aparición de una determinada enfermedad o efecto. El diseño óptimo es el estudio de cohortes o caso-control, dependiendo de la frecuencia de la enfermedad. El estudio de serie de casos, puede también reportar información valiosa.
COMPRENSIÓN DE UN ENTORNO O FENÓMENO SOCIAL: La investigación cualitativa con su metodología propia es la adecuada para responder a este tipo de cuestiones.
Si tiene dudas con la comprensión de este párrafo, le sugerimos ir a la sección de "Diseño de la investigación" y revisar el documento "Tipos de estudios").
El peso de los diferentes tipos de estudios primarios a la hora de tomar una decisión en relación a una intervención clínica ("fuerza de la evidencia o grado de evidencia), se sitúan en el siguiente orden:
Revisiones sistemáticas y meta-análisis.
Ensayos controlados aleatorios con resultados definitivos (intervalo de confianza no incluye al valor nulo).
Ensayos controlados aleatorios con resultados no definitivos (el valor puntual sugiere un efecto clínicamente significativo pero, el intervalo de confianza incluye al valor nulo).
Estudio de cohortes.
Estudio caso-control.
Encuesta transversal.
Estudio de casos.
4º PREGUNTA ¿Las Características metodológicas son las adecuadas?
La evaluación de la calidad de la evidencia científica se completa cuando, además de valorar el tipo de diseño, se tienen en cuenta otras consideraciones relacionadas con la metodología del estudio. Aunque los aspectos concretos varían según el diseño, existen algunos comunes a la mayoría de estudios.
Son fundamentales los criterios de selección de la población de estudio, no sólo porque ésta debe ser la idónea para la investigación, sino porque serán también un factor determinante para valorar la aplicabilidad de los resultados. Además, el número de sujetos debe ser suficiente para detectar diferencias estadísticamente significativas en el efecto o asociación que se evalúa.
Es importante que los grupos que se comparan sean concurrentes en el tiempo y similares en los factores pronósticos. Dado que la asignación aleatoria tiende a asegurar la comparabilidad de los grupos en la línea basal, es una técnica que debe utilizarse cuando es factible. Cuando existen diferencias entre los grupos por algunos factores relevantes, el análisis de los datos debe tenerlas en cuenta y controlarlas para evitar que se produzca un fenómeno de confusión. La comparabilidad debe mantenerse a lo largo de todo el estudio, de forma que todos los sujetos hayan sido seguidos y estudiados de la misma manera independientemente del grupo al que pertenecen, sometidos a la misma pauta de visitas e intervenciones y a las mismas mediciones, incluso utilizando técnicas de enmascaramiento si es necesario para prevenir sesgos de información.
El seguimiento debe ser lo suficientemente largo y exhaustivo para poder detectar la respuesta, y ésta debe medirse con una variable adecuada y de la misma forma en todos los sujetos. Debe tenerse especial prudencia cuando se utilizan variables intermedias o subrogadas como sustitutas de la verdadera respuesta de interés clínico.
El análisis de los datos debe haberse realizado de forma apropiada y la conclusión debe ser acorde con sus resultados.
| Las características metodológicas generales asociadas a un mayor rigor científico son |
|
1 |
Definición clara y precisa del objetivo |
|
2 |
Adecuación del diseño a la pregunta de investigación |
|
3 |
Adecuación de los criterios de selección de la población de estudio |
|
4 |
Tamaño de la muestra suficiente |
|
5 |
Comparabilidad de la línea basal (idealmente asignación aleatoria) |
|
6 |
Comparabilidad a lo largo del estudio Controles concurrentes Mismo seguimiento de los grupos Mismas mediciones en los grupos Uso de técnicas de enmascaramiento |
|
7 |
Seguimiento suficientemente largo y completo |
|
8 |
Variables de respuesta Adecuada y de relevancia clínica Medición con la calidad suficiente Medición con la misma forma en todos los grupos |
|
9 |
Análisis de datos adecuados Ajuste por factores de confusión Tratamiento adecuado de las pérdidas de seguimiento y exclusiones Evaluación de un gradiente dosis respuesta |
|
10 |
Conclusión acorde con los resultados del análisis |
A continuación se presentan unas guías para la lectura crítica, formadas por preguntas sobre las características metodológicas de los estudios según el objetivo de la investigación. Este material ha sido desarrollado por el equipo de CASP (Critical Appraisal Skills Programme = Programa de habilidades en lectura crítica) en Oxford, adaptando la serie Users' Guides to The Medical Literature publicada en JAMA y traducido por el equipo de CASPe (CASP España).
Dado que la evidencia no puede valorarse como blanco o negro, sino en una escala de grises, las respuestas a las preguntas no siempre son del tipo sí/no. De hecho, la finalidad de las guías es ayudar a los profesionales en su toma de decisiones, haciendo que se basen en la evidencia científica, reconociendo a la vez el nivel de certeza o la fuerza de la inferencia en que se fundamentan.
|
A: ¿Son válidos los resultados del ensayo? |
|
|
Preguntas "de eliminación" |
|
|
1 ¿Se orienta el ensayo sobre una pregunta claramente definida? PISTA: Una pregunta debe definirse en términos de: |
SI r NO SE PUEDE SABER r NO r
|
|
2 ¿Se realizó la asignación de los pacientes a los tratamientos de manera aleatoria? PISTAS: |
SI r NO SE PUEDE SABER r NO r
|
|
3 ¿Fueron adecuadamente considerados hasta el final del estudio todos los pacientes que entraron en él? PISTAS:
|
SI r NO SE PUEDE SABER r NO r
|
|
¿Merece la pena continuar? |
|
|
Preguntas detalladas |
|
|
4 ¿Se ha mantenido un diseño "ciego" respecto al tratamiento, tanto de los pacientes, clínicos y personal del estudio? |
SI r NO SE PUEDE SABER r NO r |
|
5 ¿Eran similares los grupos al inicio del ensayo? PISTAS: |
SI r NO SE PUEDE SABER r NO r |
|
6 Aparte de la intervención experimental, ¿se ha tratado a los grupos de la misma forma?
|
SI r NO SE PUEDE SABER r NO r |
|
B: ¿Cuáles son los resultados? |
|
|
7 ¿Cuál es la magnitud del efecto? PISTA: ¿Cómo están expresados los
resultados? |
|
|
8 ¿Cuán precisos son los resultados? PISTA:
|
|
| C: ¿Son los resultados aplicables en tu medio? | |
|
9 ¿Se pueden aplicar los resultados en tu medio? PISTA: Considera si
|
SI r NO SE PUEDE SABER r NO r
|
|
10 ¿Se han considerado todos los resultados clínicamente importantes? En caso negativo ¿en qué afecta a la decisión a tomar? |
SI r NO SE PUEDE SABER r NO r
|
|
11 ¿Los beneficios merecen la pena frente a los perjuicios y costes? Aunque no esté planteado en el artículo, ¿qué opinas?
|
SI r NO r
|
|
A: ¿Son válidos los resultados del estudio? |
|
|
Preguntas "de eliminación" |
|
|
1 ¿Existió una comparación "ciega", independiente con un estándar de referencia? PISTA: |
SI r NO SE PUEDE SABER r NO r
|
|
2 ¿Incluyó la muestra de pacientes un espectro adecuado de pacientes? PISTA: |
SI r NO SE PUEDE SABER r NO r
|
|
¿Merece la pena continuar? |
|
|
Preguntas detalladas |
|
|
3 ¿Influyeron los resultados de la prueba objeto de evaluación en la realización del estándar de referencia? PISTA: |
SI r NO SE PUEDE SABER r NO r |
|
4 ¿Se describen los métodos con suficiente detalle para permitir su reproducción? PISTA: |
SI r NO SE PUEDE SABER r NO r |
|
B: ¿Cuáles son los resultados? |
|
|
5 ¿Se presentan los cocientes de probabilidad (likelihood ratios) o los datos para calcularlos? |
|
|
6 ¿Cuán precisos son los resultados? PISTA:
|
|
|
C: ¿Son los resultados aplicables en tu medio? |
|
|
7 ¿Serán satisfactorios en mi ámbito la reproducibilidad de la prueba y su interpretación? PISTA: Considera si
|
SI r NO SE PUEDE SABER r NO r |
|
8 ¿Son aplicables los resultados a mi paciente? PISTA: Considera que |
SI r NO SE PUEDE SABER r NO r |
|
9 ¿Modificarán los resultados de la prueba mi tratamiento? PISTA: Considera |
SI r NO r |
|
10 ¿Se beneficiarán los pacientes como consecuencia del resultado de la prueba? PISTAS: Considera si |
SI r NO r |
|
A: ¿Son válidos los resultados? |
|
|
Preguntas "de eliminación" |
|
|
1 ¿Fue una muestra representativa y bien definida de pacientes en un momento similar en el curso de la enfermedad? PISTAS: |
SI r NO SE PUEDE SABER r NO r
|
|
2 ¿Fue el seguimiento lo suficientemente prolongado y completo? PISTAS: |
SI r NO SE PUEDE SABER r NO r
|
|
¿Merece la pena continuar? |
|
|
Preguntas detalladas |
|
|
3 ¿Se utilizaron criterios objetivos y no sesgados para los resultados? PISTAS: |
SI r NO SE PUEDE SABER r NO r |
|
4 ¿Se hizo un ajuste por los factores pronósticos importantes? PISTA: |
SI r NO SE PUEDE SABER r NO r |
|
B: ¿Cuáles son los resultados? |
|
|
5 ¿Cuál es la probabilidad del (los) evento(s) en un periodo de tiempo determinado? PISTA: La probabilidad varía en el tiempo |
|
|
6 ¿Cuán precisas son las estimaciones? PISTA: |
|
|
C: ¿Son los resultados aplicables en tu medio? |
|
|
7 ¿Son los pacientes del estudio similares a los míos? PISTA: Considera si |
SI r NO SE PUEDE SABER r NO r |
|
8 ¿Conducen los resultados a seleccionar o a evitar un tratamiento?
|
SI r NO SE PUEDE SABER r NO r |
|
9 ¿Son útiles los resultados para tranquilizar o aconsejar a los pacientes? |
SI r NO r |
|
A: ¿Son válidos los resultados de la revisión? |
|
|
Preguntas "de eliminación" |
|
|
1 ¿Se hizo la revisión sobre un tema claramente definido? PISTA: Un tema debe ser definido en términos de: |
SI r NO SE PUEDE SABER r NO r
|
|
2 ¿Buscaron los autores el tipo de artículos adecuados? PISTA: El mejor "tipo de estudios" es la
que: |
SI r NO SE PUEDE SABER r NO r
|
|
¿Merece la pena continuar? |
|
|
Preguntas detalladas |
|
|
3 ¿Crees que estaban incluidos los estudios importantes y relevantes? PISTA:Busca: |
SI r NO SE PUEDE SABER r NO r |
|
4 ¿Crees que los autores de la revisión han hecho lo suficiente para valorar la calidad de los estudios incluidos? PISTA: |
SI r NO SE PUEDE SABER r NO r |
|
5 Si se han "combinado" los resultados de la revisión, ¿era razonable hacer eso? PISTA: Considera si |
SI r NO SE PUEDE SABER r NO r |
|
B: ¿Cuáles son los resultados? |
|
|
6 ¿Cuál es el resultado global de la revisión? PISTA: Considera |
|
|
7 ¿Cuán precisos son los resultados? PISTA:
|
|
|
C: ¿Son los resultados aplicables en tu medio? |
||
|
8 ¿Se pueden aplicar los resultados en tu medio? PISTA:Considera si
|
SI r NO SE PUEDE SABER r NO r |
|
|
9 ¿Se han considerado todos los resultados importantes para tomar la decisión?
|
SI r NO SE PUEDE SABER r NO r |
|
|
10 ¿Los beneficios merecen la pena frente a los perjuicios y costes? Aunque no esté planteado en la revisión, ¿qué opinas?
|
SI r NO r |
|
|
A: ¿Son válidos los criterios usados? |
|
|
Preguntas "de eliminación" |
|
|
1 ¿Se utilizó un procedimiento explícito y sensato para identificar, seleccionar y combinar las evidencias? PISTAS: |
SI r NO SE PUEDE SABER r NO r
|
|
2 ¿La calidad de las evidencias usadas en los criterios es buena? PISTAS: |
SI r NO SE PUEDE SABER r NO r
|
|
¿Merece la pena continuar? |
|
|
Preguntas detalladas |
|
|
3 Si fue necesario ¿se utilizó un proceso explícito, sistemático y fiable para recabar la opinión de expertos? PISTAS: |
SI r NO SE PUEDE SABER r NO r |
|
4 ¿Se utilizó un proceso explícito y sensato para considerar los valores relativos de los diferentes resultados? PISTA: |
SI r NO SE PUEDE SABER r NO r |
|
5 Si la calidad de las evidencias usadas en la formulación de los criterios fue débil ¿los criterios se correlacionan con los resultados de los pacientes? PISTA: Considera si |
SI r NO SE PUEDE SABER r NO r |
|
B: ¿Se aplicaron apropiadamente los criterios? |
|
|
6 ¿El proceso de aplicación de los criterios fue fiable, no sesgado y con probabilidades de producir conclusiones sólidas? PISTA: Este proceso se hace habitualmente a partir
de historias clínicas |
SI r NO SE PUEDE SABER r NO r |
|
7 En las clasificaciones de los procesos asistenciales ¿cuál es el impacto de la incertidumbre asociada con los las evidencias y los valores? PISTA: |
|
|
C: ¿Son aplicables en tu medio los criterios? |
|
|
8 ¿Son relevantes los criterios para el contexto de tu práctica? PISTA: Hay que considerar: |
SI r NO SE PUEDE SABER r NO r |
|
9 ¿Se han examinado sobre el terreno la viabilidad de la aplicación de los criterios en diversos contextos? PISTA: Hay que considerar: |
SI r NO SE PUEDE SABER r NO r |