La falacia de la evidencia incompleta o “cherry picking”

Ver PDF

Autor

Karin Kopitowski
Kopitowski K. La falacia de la evidencia incompleta o “cherry picking”. Evid Act Pract Ambul. 2016;19(2):35-36. Abr-jun
Servicio de Medicina Familiar y Comunitaria del Hospital Italiano de Buenos Aires. karin.kopitowski@hospitalitaliano.org.ar


Resumen

La falacia de la evidencia incompleta, también conocida como cherry picking (seleccionar lo mejor de algo, o bien, seleccionar lo peor de algo, o bien, seleccionar algo "a la medida") hace referencia a un error frecuente cuando se busca dar una información sin tener en cuenta la calidad de los datos o todos los puntos de vista, algo que, desafortunadamente,
suele pasar cuando se habla de investigaciones novedosas en el campo de la salud. En este artículo la autora describe los factores condicionantes de este sesgo y como el mismo puede afectar la generación y divulgación del conocimiento científico.


Abstract

The fallacy of incomplete evidence, also known as cherry picking (selecting the best of something, the worst of something, or select something "custom made" ) refers to a common mistake when looking to communicate information regardless of the quality of the data or all viewpoints, which unfortunately often happens when it comes to innovative research in the field of health. In this article, the author describes the determinants of this bias, and how it could affect the generation and dissemination
of scientific knowledge.

“Las creencias pueden sobrevivir a potentes desafíos lógicos o empíricos.
Pueden sobrevivir e incluso salir reforzadas por las pruebas que
la mayoría de observadores sin compromiso considerarían debilitadoras
lógicas de tales creencias. Pueden incluso sobrevivir a la total
destrucción de su base probatoria original”.
—Lee Ross y Craig Anderson

“Las personas inteligentes creen cosas raras porque han sido entrenados
para defender creencias a las que llegaron por razones no
inteligentes”.
—Michael Sherme


Contenido General

La falacia de la evidencia incompleta, también conocida como cherry picking (seleccionar lo mejor de algo, o bien, seleccionar lo peor de algo, o bien, seleccionar algo "a la medida") hace referencia a un error frecuente cuando se busca dar una información sin tener en cuenta la calidad de los datos o todos los puntos de vista, algo que, desafortunadamente, suele pasar cuando se habla de investigaciones novedosas en el campo de la salud.
Se puede decir que este error consiste en citar casos concretos o datos incompletos como una fuente de información, ignorando muchas pruebas que pueden dar información diferente a la que se está defendiendo1.
En muchos casos es posible que omitir más estudios o más información no tenga una intención real, sino que se hace por desconocimiento de más datos, o simplemente quien da la información generaliza o exagera los resultados de un caso único para hablar de ello como si fuera una verdad universal totalmente confirmada.
En este número de la revista Evidencia, Jerónimo Cello y Carlos García revisan la evidencia disponible acerca de la efectividad de la vacuna contra la varicela y si vacunar cambia la epidemiologia de la enfermedad y a consecuencia de este supuesto cambio epidemiológico existe un aumento de la morbi-mortalidad causado por el virus de la varicela en los adolescentes y adultos. También analizan la evidencia que sugiere que el virus de la varicela o su vacuna influyen en la incidencia de gliomas. En el artículo mencionan una publicación en Internet que decía “Si ha pasado la varicela tiene menor probabilidad de padecer glioma”2.
La pregunta es si tal afirmación podría entrar dentro de lo que se denomina falacia de la evidencia incompleta. Esta falacia es la acción de citar casos individuales o datos que parecen confirmar la verdad de una cierta posición o proposición, a la vez que se ignora una importante cantidad de evidencias de casos relacionados o información que puede contradecir la proposición. Es un tipo de falacia de atención selectiva, el ejemplo más común es el sesgo de confirmación. Es posible
que esta falacia se realice sin una intención real de engañar.
Se puede observar en numerosas falacias lógicas. Por ejemplo, la falacia de "la prueba anecdótica" tiende a no considerar grandes cantidades de datos en favor de aquella evidencia que se conoce personalmente, el "uso selectivo de la evidencia" rechaza el material desfavorable al argumento propio, mientras que la falsa dicotomía elige sólo dos opciones cuando en realidad la cantidad de alternativas disponibles es mayor.

Sesgo de confirmación
El sesgo de confirmación es la tendencia a favorecer la información que confirma las propias creencias o hipótesis. Los seres humanos tenemos tendencia a reunir o recordar información de manera selectiva, o a interpretarla sesgadamente. El efecto es más fuerte en publicaciones con contenido emocional y en creencias firmemente enraizadas. Por ejemplo, al leer acerca de políticas sobre armas, la gente por lo general prefiere las fuentes que afirman sus posturas ya existentes.
También tienden a interpretar que las pruebas ambiguas apoyan su postura existente. Se ha invocado la búsqueda sesgada, la interpretación y la memoria para explicar la polarización de las actitudes (cuando un desacuerdo se hace más extremo o polarizado a pesar de que las diferentes partes están expuestas a las mismas pruebas), la perseverancia de creencias (cuando las creencias de las personas persisten pese a que se ha demostrado su falsedad), el efecto de primacía irracional (cuando se tiene mayor confianza a las primeras experiencias tenidas con algún hecho, que a las más recientes) y la correlación ilusoria (cuando la gente falsamente percibe una asociación entre dos acontecimientos o situaciones)3.
Este sesgo tiene consecuencias en las finanzas (inversores confían excesivamente, ignorando pruebas de que sus estrategias les harán perder dinero), en el derecho y en la política (se favorecen las conclusiones que jueces, jurados o gobiernos ya han tomado con anterioridad), la salud y la medicina (este sesgo es en parte responsable del empleo de tratamientos o procedimientos ineficaces o peligrosos).
En la generación del conocimiento científico, este sesgo juega un papel preponderante.
En muchas ocasiones en la historia de la ciencia, los científicos se han resistido a los nuevos descubrimientos interpretándolos selectivamente o ignorando información desfavorable.
Investigaciones previas han mostrado que la evaluación de la calidad de los estudios científicos parece ser particularmente vulnerable al sesgo de confirmación. En varias ocasiones se ha descubierto que los científicos puntúan los estudios que relatan hallazgos que concuerdan con sus creencias previas de manera más favorable que aquellos estudios que no encajan con esas creencias. Sin embargo, suponiendo que la cuestión de la investigación es relevante, el diseño experimental suficiente, y que los datos se describen clara y exhaustivamente, los hallazgos tendrían que ser de importancia para la comunidad científica y no deberían ser percibidos con prejuicio, independientemente de si encajan en las predicciones teóricas actuales. El sesgo de confirmación puede ser especialmente peligroso para las evaluaciones objetivas hacia resultados que se salgan del guión, puesto que los individuos sesgados pueden ver las pruebas contrarias como débiles en un principio y darles poca
seriedad al revisar sus creencias. Los innovadores científicos con frecuencia se topan con resistencia de la comunidad científica y las investigaciones que presenten resultados controvertidos con frecuencia reciben una revisión por pares duras. El sesgo de confirmación de un investigador puede potencialmente afectar qué datos se notifican. Aquellos datos que entren en conflicto con las expectativas del experimentador pueden ser más fácilmente descartados por ser poco fidedignos.
Para combatir esta tendencia, el entrenamiento científico enseña formas de prevenir el sesgo. Por ejemplo, el diseño experimental de pruebas aleatoriamente controladas (unido a su revisión sistemática) pretende minimizar posibles fuentes de sesgo. El proceso social de revisión por pares se ha pensado para mitigar el efecto de los sesgos individuales de los científicos, incluso a pesar de que este proceso de revisión en sí mismo puede ser susceptible de sesgo4.
Este sesgo existe. Tenemos la obligación de reconocerlo y reconocerlo en nosotros mismos cuando analizamos la evidencia científica. Cuando la producimos mediante investigaciones y cuando la divulgamos en medios profesionales o para legos.
Cuando se divulgan los resultados de una investigación tanto en ambientes científicos como en los medios de comunicación, en lugar de tratar de reflejar los hallazgos de los estudios de la manera más exacta posible y cómo se inserta este conocimiento en el conjunto de datos hasta la fecha; se suele informar sobre “el último estudio” o un “estudio reciente” fuera de contexto, con poco énfasis en la forma en que fueron diseñados, si existía conflicto de interés por la fuente de financiamiento del estudio, y si el nuevo hallazgo está de acuerdo o no con el resto de la investigación. Esto se refleja en los titulares de los diarios: un día nos dicen que el café causa cáncer y otro día que nos alarga la vida. El vino puede causar siete enfermedades o protegerte de otras tantas. Quienes divulgamos hallazgos de investigaciones, tenemos el deber de mirar el conjunto y analizar el nuevo hallazgo en su contexto. No podemos tener un “doble estándar de análisis”. Si el estudio favorece nuestras creencias no podemos ser laxos en la crítica. Debemos revisar la metodología, las medidas de efecto en términos relativos y absolutos. Es frecuente ver el número necesario a tratar (NNT) de intervenciones, aplicado por ejemplo al uso de estatinas o aspirina en prevención primaria, y no el número necesario para dañar (NND) entre los profesionales que proponemos una desmedicalización de la vida. Pero nobleza obliga. Si mostramos el NNT con estatinas en prevención primaria, debemos con la misma metodología mostrar el NND para rabdomiolisis o incidencia de diabetes. Tenemos la obligación de evaluar la evidencia en contexto, con otras evidencias, con todos los resultados. Tratar de aproximarnos al beneficio neto o daño neto de una intervención. Si no, caeremos en una falacia peligrosa. La sociedad no se la merece.


Referencias

1. David W. Green, Confirmation Bias, Problem-Solving and Cognitive Models Advances in Psychology, Volume 68, 1990, 553–562.
2. Cello J, Garcia C. Vacunación universal contra la varicela – Observación sobre ciertos cuestionamientos. Evid Act Pract Ambul. 2016;19(2).
3. Joshua Klayman, Varieties of Confirmation Bias, Psychology of Learning and Motivation. Academic Press, 1995, Volume 32, 385-418.
4. Gregg AP, y col. The SPOT effect: People spontaneouslyprefer their own theories. Q J Exp Psychol . 2016 Mar 9:1-15.