Ciencias mixtas Ciencias mixtas

Los secretos de las ciencias para
los que también son de letras

Entradas etiquetadas como ‘estadística’

Correlación no implica causalidad: el principio de Wang o “teoría estúpida”

En la genial Un cadáver a los postres (Murder by Death) de Neil Simon, esa surrealista parodia del género de detectives dirigida por Robert Moore en 1976 –sí, la de Benson Señora–, hay un momento en el que Dick Charleston (David Niven) explica la muerte del anfitrión de la velada, el millonario Lionel Twain (Truman Capote en su única aparición en el cine), proponiendo que en realidad fue un suicidio: Twain inventó una máquina para que le apuñalara 11 o 12 veces por la espalda. A lo que su colega Sidney Wang (Peter Sellers), con su torpe manejo del idioma, replica:

— Un momento, por favor. Muy interesante teoría, señor Charleston, pero olvidado punto muy importante.

¿Cuál es? –indaga Charleston.

— Estúpida. Teoría más estúpida jamás oída.

Sidney Wang (Peter Sellers) en 'Un cadáver a los postres' (1976). Imagen de Columbia Pictures.

Sidney Wang (Peter Sellers) en ‘Un cadáver a los postres’ (1976). Imagen de Columbia Pictures.

Hay ocasiones en que ciertos estudios científicos me devuelven a la mente aquel pasaje de la película. Se trata de los estudios que establecen una correlación entre una condición y una observación, pero donde no solamente no se demuestra ningún vínculo de causa y efecto entre ambas, sino que además la posible existencia de ese vínculo resulta algo contrario al sentido común y a cualquier atisbo de plausibilidad. Como que alguien fabrique una máquina destinada a apuñalarle 11 o 12 veces por la espalda para que parezca un homicidio. No es que sea imposible; es que se trata de una hipótesis tan descabellada que necesita más pruebas para cruzar el umbral de la credibilidad que otra mucho más plausible. Como decía Carl Sagan, y otros antes que él, afirmaciones extraordinarias requieren pruebas extraordinarias.

Imagino que quienes menos sentido encontrarán a estos estudios son los físicos. Para un físico, la naturaleza debe describirse mediante ecuaciones, incluso cuando hay incertidumbres (como en la cuántica). Pero no es necesario tirar dos veces una manzana al aire para comprobar si continúa cayendo: las ecuaciones describen perfectamente lo que hará la manzana.

La biología, mi campo, introduce sistemas más sucios (desde el punto de vista de las variables) que en la mayoría de los casos no pueden reducirse a matemática. En algunos sí se hacen aproximaciones válidas; por ejemplo, el impulso nervioso en las neuronas se describió aplicando las mismas ecuaciones que explican el comportamiento de la electricidad en los circuitos de cables.

Pero la biología es inmensamente diversa y abarca un espectro muy amplio de certidumbres, desde los modelos en los que bastan unas pocas repeticiones del experimento para tener la seguridad de que el resultado es legítimo, hasta aquellos en los que es necesario recurrir a meta-análisis, o estudios que reúnen múltiples estudios, porque ni siquiera un estudio completo es suficiente para asegurar que existe un efecto. Y a medida que nos desplazamos hacia la banda de ciencias aún más blandas, como la psicología, la necesidad de los metaestudios es aún mayor.

Lo que ocurre con los metaestudios es que el umbral de la credibilidad no es una propiedad de la naturaleza en sí, sino algo que definimos los humanos de forma más o menos arbitraria en función de algún parámetro estadístico. Me explico con un ejemplo: todos sabemos que el tabaco causa cáncer de pulmón. Pero ¿qué significa exactamente esto?

Dado que el humo se inhala, la relación entre el tabaco y el cáncer de pulmón parece plausible, lo que justifica su investigación. Tan plausible parecía la relación que ya se sospechaba a comienzos del siglo XX, cuando solo se habían descrito un centenar largo de casos de cáncer de pulmón en las revistas médicas. Los primeros estudios epidemiológicos se hicieron en Alemania en los años 20 y 30, lo que motivó la primera campaña antitabaco de la historia, la del régimen nazi. Desde entonces, decenas de miles de estudios de correlación y sus correspondientes metaestudios han apoyado este vínculo. Pero además, la relación de causa y efecto también ha sido validada por ensayos experimentales en los que se han explicado los mecanismos biológicos por los cuales ciertos compuestos del humo del tabaco provocan cambios en las células que conducen al cáncer.

Pues bien, incluso en un caso tan claro como este, y teniendo en cuenta que las cifras varían debido a la implicación de muchas variables (como el historial del paciente, su perfil genético, la edad de inicio del consumo de tabaco, la frecuencia, etc.), el cáncer afecta a alrededor de un 20% de las personas que fuman. Es decir, que la gran mayoría de las personas que fuman no sufren cáncer de pulmón.

Vayamos ahora al extremo contrario. Hace tres años, los medios montaron todo un circo con la afirmación de que el consumo de carne, sobre todo procesada, provoca cáncer. Como ya me ocupé detalladamente de intentar explicar muy claro para quien quisiera leerlo (aquí y aquí), así dicho, esto es sencillamente una barbaridad; si bien vino propiciada por una nota de prensa muy poco afortunada de la Organización Mundial de la Salud (OMS), la misma OMS que a continuación se quejaba de que los medios se habían quedado “solo con el titular”.

Imagen de Pixabay.

Imagen de Pixabay.

Pero es que solo en la letra pequeña de la nota de prensa –y los medios no se caracterizan precisamente por fijarse en la letra pequeña– uno de los expertos de la OMS responsables del anuncio aclaraba que “para un individuo, el riesgo de desarrollar cáncer colorrectal por su consumo de carne procesada sigue siendo pequeño”. La conclusión, el verdadero mensaje, era que el consumo de carne aumenta el riesgo de cáncer colorrectal sobre un nivel de base que es diminuto, de modo que el nivel de riesgo resultante de este aumento continúa siendo diminuto.

Pongámoslo en números para que se entienda mejor; números que publicaron varias entidades de lucha contra el cáncer y que transmitían un mensaje infinitamente más claro que la inmensamente torpe nota de prensa de la OMS: según la Sociedad contra el Cáncer de EEUU, el riesgo de una persona cualquiera de sufrir cáncer de colon es del 5%; si come carne, el riesgo aumenta a menos del 6%. Por su parte, la Unión Internacional de Control del Cáncer comparó las cifras con las del tabaco: fumar multiplica el riesgo de cáncer por 20, o lo aumenta en un 1.900%; comer carne multiplica el riesgo de cáncer por 1,18, o lo aumenta en un 18%. Creo que estas cifras dan una idea bastante clara de la magnitud del problemón que supone comer carne.

Resumiendo, para demostrar que X produce Y hacen falta dos cosas:

1. Una correlación estadística suficientemente significativa.

Insisto, el límite de lo que es significativo y lo que no lo definimos los humanos de forma arbitraria. Suelen utilizarse parámetros como el llamado valor p, del que ya he hablado aquí varias veces (como aquí y aquí). El valor p nos da una perfecta medición de cuál es el estatus probabilístico de que esa correlación signifique algo real, pero en qué punto de corte nos creemos que es real no es más que un convencionalismo; de hecho, este punto de corte es un intenso motivo de discusión entre los científicos.

También es importante aclarar que los parámetros como el valor p, o lo que consideramos estadísticamente significativo, no tienen nada que ver con el tamaño del efecto. El tabaco y la carne sirven de ejemplo: el primero tiene un efecto muy grande, mientras que el de la segunda es diminuto, y sin embargo ambos pueden tener la misma significación estadística. Basarse en esto último para decir que el riesgo de cáncer es el mismo en los dos casos es no haber entendido nada de nada.

2. Un mecanismo plausible que sea comprobable por otras vías.

Sin un mecanismo plausible de causa y efecto, una correlación no deja de ser una casualidad curiosa, como que choquen dos coches con matrículas consecutivas. O, como decía Wang, una “teoría estúpida”, como que los coches con matrículas parecidas tiendan a atraerse. Establecer correlaciones es muy fácil, teniendo una serie de datos en distintas condiciones experimentales y un software básico. Yo mismo presenté aquí correlaciones entre la evolución del número de casos de trastornos autistas y el del número de ancianas centenarias británicas, o las importaciones de petróleo en China, o la facturación de la industria turística.

Número de casos de autismo (en azul) frente a número de mujeres centenarias en Reino Unido (en rojo), de 1995 a 2010. Gráfico de elaboración propia.

Número de casos de autismo (en azul) frente a número de mujeres centenarias en Reino Unido (en rojo), de 1995 a 2010. Gráfico de elaboración propia.

Para convertir una casualidad en causalidad es preciso proponer un mecanismo plausible que pueda estudiarse por otros métodos. En el caso de la biología, se trata de llevar esa hipótesis al laboratorio; por ejemplo, ensayar in vitro e in vivo el efecto cancerígeno de los compuestos del tabaco. Pero cuando se aventura que los huracanes causan más muertes si se les pone nombre de mujer, como afirmaba un estudio hace unos años, los investigadores tendrán que buscar la manera de proponer un mecanismo y testarlo; uno que no requiera la premisa de que la población es rematadamente imbécil de solemnidad, como cuando dijeron que “la gente atribuye a los huracanes con nombre femenino ciertas cualidades asociadas a las mujeres, como la calidez, y cualidades como la agresividad a los huracanes con nombres masculinos”.

Una última cosa que no debería ser necesario aclarar, pero que parece serlo, es que un mecanismo plausible no puede sustituirse por una corazonada, una intuición o el deseo muy fuerte de que algo sea cierto. Por ejemplo, cuando se publicó lo de la carne y el cáncer hubo ciertas personas del veganismo proselitista, el que pretende imponer su credo al resto de la humanidad, que ya lo sabían, y que seleccionaron los pedacitos de información más sensacionalista publicados por los medios peor informados para defender su visión.

Lo preocupante es que estos prejuicios, ideas preconcebidas y sesgos cognitivos no solo afectan al público no científico, sino también a los propios investigadores cuando emprenden un estudio tratando por todos los medios de demostrar lo que previamente ya saben. En ciertos casos ocurre que los estudios nacen ya contaminados por prejuicios éticos, culturales, sociales o de otro tipo, todo eso que los investigadores deberían dejar en la puerta junto con el paraguas antes de entrar en el laboratorio. Un ejemplo que he comentado aquí varias veces son los estudios que han tratado de probar los efectos negativos que produce escuchar música heavy metal, y en el que han llegado a darse casos de estudios que lo afirmaban incluso cuando sus datos no apoyaban tal afirmación.

Mientras no haya un mecanismo plausible, debe aplicarse el principio de Wang: “teoría estúpida”. Mañana les contaré otro ejemplo muy sabroso de ello.

¿Qué es más probable, ganar el Euromillones o morir por un asteroide?

Me ha llamado la atención estos días que el sorteo de Euromillones se publicite apelando a la creencia en el destino, la idea según la cual –si no estoy mal informado– aquello que ocurre está ya previamente programado en alguna especie de superordenador universal, sin que los seres que pululamos por ahí podamos hacer nada para cambiarlo. “No existe la casualidad”, dice una cuña en la radio.

Imagen de Wikipedia.

Imagen de Wikipedia.

Pero mientras nadie demuestre lo contrario, el destino es algo que sencillamente no existe (aunque hay alguna hipótesis tan loca como interesante por ahí, de la que si acaso ya hablaré otro día). Es solo una superstición.

Seguramente pensarán ustedes que hay otros asuntos más importantes de los que preocuparse. Y tienen razón. Pero muchos de ellos no tienen cabida en este blog. En cambio, sí la tiene que la publicidad trate de incitar a los consumidores a comprar un producto sobre una estrategia comercial basada en una idea de cuya realidad no existe ninguna prueba. ¿Imaginan la reacción pública si los anuncios de Euromillones presentaran al feliz ganador del premio porque ha rezado para conseguirlo? Esto es hoy casi impensable. En cambio, la idea del destino resulta más popular porque encaja con la plaga de los movimientos New Age.

Es curioso que en España y en otros países el sector de la publicidad funcione por un sistema de autorregulación. Probablemente los expertos en la materia, entre los que no me cuento, me corregirían con el argumento de que esto no significa un cheque en blanco, sino que este autocontrol se inscribe en un marco legal establecido por las autoridades. Y no lo dudo; pero ¿qué sucedería si a otros sectores se les confiara la función de policías de sí mismos? ¿Encontrarían aceptable que se hiciera lo mismo con las farmacéuticas o los fabricantes de juguetes?

Prueba de que este autocontrol no es tan “veraz” como afirma ser es la abundancia de campañas que pasan este autofiltro con proclamas no apoyadas en ningún tipo de evidencia válida, y que a menudo tienen que ser denunciadas por los verdaderos vigilantes, asociaciones de consumidores y otras entidades ciudadanas.

El problema es que estas organizaciones solo pueden denunciar a posteriori, cuando gran parte del daño ya está hecho y alguien ya se ha lucrado vendiendo miles de pulseras mágicas del bienestar. ¿Se han fijado en que cierta marca alimentaria ha retirado de la publicidad de un producto las alegaciones de efectos beneficiosos para la salud, y que ahora limita sus proclamas a algo así como “sentirse bien” (un argumento irrefutable)? Sin embargo, el propósito ya está conseguido: doy fe de que al menos algún colegio incluye específicamente el nombre de dicha marca comercial en su información a los padres sobre qué alimentos están recomendados/permitidos en las meriendas de los niños.

Otro ejemplo lo tenemos en ciertos suplementos alimentarios que prometen beneficios de dudoso aval científico, y que en algunos casos se escudan en el presunto respaldo de organizaciones médicas privadas. Lo que no es sino un acuerdo comercial; es decir, un apoyo compensado económicamente. En el caso de uno de estos productos, sujeto a gran polémica pero que continúa anunciándose impunemente en la tele, incluso un portavoz de la organización médica en cuestión tuvo que reconocer a un medio que “daño no hacen”.

Pero volviendo al caso de Euromillones, hay un agravante, y es que el sorteo en España depende de Loterías y Apuestas del Estado. Es decir, que entre todos estamos sosteniendo una campaña publicitaria cuyo mensaje es convencer a la gente de que tienen que comprar un boleto porque podría estar escrito desde hace años que van a ganar el gran premio. Insinuaciones como esta ya no aparecen siquiera en los anuncios nocturnos de videntes, que se cuidan muy bien de evitar cualquier referencia a la adivinación para no caer en la publicidad engañosa, preséntadose en su lugar casi como si fueran psicoterapeutas titulados.

Lo común, y lo legítimo, es que las loterías se anuncien con argumentos emocionales: sueños y deseos, o en el caso del sorteo de Navidad, los mensajes típicos de las fechas. Cada año participo en la lotería de Navidad como una tradición; no como una inversión, sino como un gasto navideño más. Nunca me he tocado ningún premio importante y sé que nunca me tocará. Respecto a los sorteos en general, siempre recuerdo aquella cita que se atribuye al matemático Roger Jones, profesor emérito de la Universidad DePaul de Chicago: I guess I think of lotteries as a tax on the mathematically challenged“, o “pienso en las loterías como un impuesto para los que no saben matemáticas”.

Y eso que las posibilidades de echar el lazo al Gordo de Navidad son casi astronómicas en comparación con sorteos como el Euromillones. A los matemáticos no suele gustarles demasiado que se hable de probabilidad en estos casos, ya que la cifra es irrelevante a efectos estadísticos. Prefieren hablar de esperanza matemática, cuyo valor determina si de un juego podemos esperar, como promedio, ganar o perder algo de dinero con nuestras apuestas. Y lógicamente, el negocio de las loterías se basa en que generalmente la esperanza matemática es desfavorable para el jugador.

Pero con permiso de los estadísticos, es dudoso que el jugador habitual del Euromillones realmente considere la esperanza matemática de unos sorteos en relación a otros con el fin de averiguar con cuáles de ellos puede llegar a final de año habiendo ganado algunos euros más de los que ha invertido. Este valor es útil para comparar unos juegos de azar con otros; pero si los organizadores de una lotería contaran con los jugadores profesionales, destacarían estos datos en su publicidad.

Para el jugador medio, el cebo es el bote: cuanto más bote, más juegan. Y la esperanza matemática les dirá muy poco, incluso comparando la de unos sorteos del Euromillones con otros del mismo juego. Para quien muerde el anzuelo, es más descriptivo comparar la probabilidad de hacerse millonario al instante con la de, por ejemplo, morir a causa de la caída de un meteorito.

Y aquí vienen los datos. La probabilidad de ganar el Euromillones (combinaciones de 50 elementos tomados de 5 en 5, multiplicado por combinaciones de 12 elementos tomados de 2 en 2) es de una entre 139.838.160. Repito con todas las letras: la probabilidad de ganar el Euromillones es de una entre ciento treinta y nueve millones ochocientas treinta y ocho mil ciento sesenta. O expresado en porcentaje, aproximadamente del 0,0000007%.

Y a efectos de esas comparaciones de probabilidad que no interesan a quien piensa en el Euromillones como posible alternativa a la ruleta o a las carreras de caballos, pero que sí interesan (o deberían hacerlo) a quien piensa en el Euromillones como posible alternativa a trabajar toda la vida, he aquí unos datos que tomo del experto en desastres naturales Stephen Nelson, de la Universidad Tulane (EEUU), y que estiman la probabilidad de terminar nuestros días por cada una de las causas que se detallan a continuación (datos para EEUU; algunos variarían en nuestro país, como los casos de tornado o accidente con arma de fuego):

Accidente de tráfico 1 entre 90
Asesinato 1 entre 185
Incendio 1 entre 250
Accidente con arma de fuego 1 entre 2.500
Ahogamiento 1 entre 9.000
Inundación 1 entre 27.000
Accidente de avión 1 entre 30.000
Tornado 1 entre 60.000
Impacto global de asteroide o cometa 1 entre 75.000
Terremoto 1 entre 130.000
Rayo 1 entre 135.000
Impacto local de asteroide o cometa 1 entre 1.600.000
Envenenamiento por botulismo 1 entre 3.000.000
Ataque de tiburón 1 entre 8.000.000
Ganar el bote del Euromillones 1 entre 139.838.160

Conclusión: según los datos de Nelson, es unas 87 veces más probable morir a causa del impacto de un asteroide o un cometa que ganar el bote del Euromillones. Todo esto, claro, siempre que uno crea en el azar. Pero hasta ahora no parece que exista una alternativa real, diga lo que diga la publicidad.

¿Que los presidentes de gobierno viven menos? Y dale…

Hombre, a ver: no es que los estudios que se publican en el número de Navidad del British Medical Journal sean falsos. Son reales; no los inventa el personal de la redacción echándose unas risas después de haber abusado de las nubes de leche en el té de las cinco o’clock. Como mínimo, no son necesariamente más falsos que los que se publican en cualquier otro número de la misma revista, o en cualquier número de cualquiera de las muchas revistas médicas dedicadas principalmente al turbio mundo de la correlación estadística.

Para no repetirme demasiado, invito al lector interesado a consultar lo que he comentado antes sobre este tema aquí, aquí, aquí, aquí o aquí. Y al lector muy interesado, le invito a leer el artículo publicado en 2005 por el profesor de la Universidad de Stanford John Ioannidis en el que aseguraba que “la mayoría de los resultados de investigación publicados son falsos”, debido a planteamientos defectuosos e interpretaciones sesgadas de las estadísticas.

Resumiendo e ilustrando, digamos que nos acodamos en la barra de un bar durante una jornada entera y anotamos lo que pide cada cliente, junto con el color de su jersey. Si al final de la jornada reunimos los datos y los procesamos, es muy probable que podamos extraer un resultado “estadísticamente significativo”; por ejemplo, que quienes piden calamares tienden a llevar jersey verde. ¿Podemos por ello concluir que comer calamares induce en el ser humano una predilección por el verde, o que vestir de este color provoca una imperiosa necesidad de ingerir moluscos cefalópodos? No, ¿verdad? Pues a diario le están vendiendo milongas semejantes. La idea clave es: correlación no implica causalidad.

¿No del todo convencido? Lo del jersey y los calamares es un ejemplo hipotético, pero se han publicado estudios reales para denunciar los abusos estadísticos en los cuales se basan muchos médicos para recomendarle o desaconsejarle a usted que coma tal cosa o deje de hacer cual otra. Uno de los más célebres fue el publicado en 2006 por el profesor de la Universidad de Toronto (Canadá) Peter Austin, y según el cual los registros clínicos de Ontario demostraban que los nacidos bajo el signo de sagitario padecían más fracturas de húmero.

Barack Obama. Imagen de Wikipedia.

Barack Obama. Imagen de Wikipedia.

Todo esto viene a propósito de dos estudios publicados en el British Medical Journal que se han comentado esta semana en varios telediarios, y que sus presentadores expusieron con ese ceño apretado de las ocasiones en que cuentan noticias serias de política o de economía, y no con esa sonrisa candorosa de cuando presentan simpáticos temas de ciencia.

Los estudios en cuestión decían, respectivamente, que los presidentes de gobierno electos viven unos cuatro años menos que sus rivales perdedores, y que en cambio los parlamentarios viven más. En algunos de esos informativos incluso se colocó la alcachofa en la boca de un psicólogo, y ahí lo ves con grave gesto disertando sobre la problemática del estrés en el poder, la somatización, y que en cambio el parlamentario que no gobierna disfruta de la representatividad sin responsabilidad en el marco de la cómoda protección del grupo político, y blablablá…

Lo que no dijeron en ninguno de esos telediarios, probablemente porque no lo sabían, es que los estudios en cuestión se han publicado en el número de Navidad del British Medical Journal. Ni tampoco que esta revista, por lo demás prestigiosa, mantiene la tradición de dedicar su número navideño a publicar estudios que no son inventados ni falsos, pero que son… En fin, mejor que calificarlos yo mismo, les enumero algunos de los publicados en el número de este año; repito, todos ellos son estudios reales:

Y así. Imagino que ya han cogido la idea. Pues ahí están también los dos estudios citados. En el primero, investigadores de Harvard y otras instituciones de EEUU han reunido los datos de 540 candidatos a la presidencia, 279 ganadores y 261 perdedores, en 17 países (incluyendo España) desde 1722 hasta 2015. De todos estos candidatos, 380 han muerto. Los autores examinan cuántos años vivieron después de sus últimas elecciones, ajustan los datos según la esperanza de vida en función de la edad, y concluyen que los ganadores viven un promedio de 4,4 años menos que los perdedores, con un intervalo de confianza del 95% entre 2,1 y 6,6; es decir, que están seguros al 95% de que los ganadores viven como mínimo 2,1 años menos.

Pero los propios autores desgranan las limitaciones del estudio, y son varias. Cuando los investigadores aplican sus resultados como ejemplo a un país concreto, Reino Unido, comprueban que no funciona como debería. Además, reconocen: “sin conocimiento detallado de la política y la historia electoral de cada país, podrían surgir errores de medición en nuestra base de datos”. También admiten que el estudio no considera cuál es el umbral de nivel de salud que induce a los presidentes a presentarse o no a la reelección, ni han tenido en cuenta la posibilidad de que ambos grupos partan de unas expectativas de vida reducidas por su dedicación a la política, ni se fijan en cuál es la posible influencia en unos y otros casos del origen socioeconómico de los candidatos y, por tanto, de su estilo de vida previo o de sus posibilidades de acceso a la sanidad.

Es decir, que han dejado fuera todas las variables realmente relevantes, o más relevantes, para la salud de los candidatos; las que más probablemente podrían explicar los resultados observados. Calamares y jersey: encontrar diferencias estadísticas en un parámetro concreto entre grupos que no se diferencian por un criterio claramente relacionado con ese parámetro puede llevar a cualquier descubrimiento que a uno le resulte aprovechable. Y en este tipo de correlaciones forzadas, por no decir estrafalarias (aquí hay muchos ejemplos deliberadamente absurdos) se basan algunos de esos estudios de la edición navideña del BMJ. No son falsos si nos atenemos a los criterios que se dan por buenos en muchos estudios epidemiológicos serios (lo cual, como suelo repetir, no dice mucho en favor de estos últimos). Pero cuando escuchen en el telediario esa coletilla de “demostrado científicamente”, ya saben cómo interpretarla.

Y no digamos ya el segundo de los estudios, el que atribuye a los parlamentarios una vida más larga que la de la población general. Los propios autores mencionan la primera, gran y enorme pega: es probable que, en general e históricamente, los parlamentarios hayan tenido más acceso a mejores médicos y tratamientos que la media de la población general. Así que el hecho de que vivan más, si es que viven más, posiblemente no tenga nada que ver con el Parlamento, ni con la política, ni con esas gaitas que decía el psicólogo de la representatividad, la responsabilidad y el grupo, sino simplemente con el hecho de que un diputado quizá lleve una vida sensiblemente más saludable, y haya recibido un cuidado sanitario de mayor calidad, que el que cava zanjas.

Y dado que casi estamos en Navidad, permítanme que remate con una cita de un eminente personaje de la literatura navideña universal:

“¡Bah, tonterías!”

–Ebenezer Scrooge

Les dejo aquí el Don’t Believe What You Read de los Boomtown Rats, de 1978, cuando Bob Geldof era un artista. Disfruten.

Ni el chocolate adelgaza, ni mirar tetas alarga la vida: mala ciencia y mal periodismo

Desde hace tiempo, infinidad de medios han publicado la noticia de un presunto estudio según el cual la contemplación diaria de los pechos femeninos alargaría la vida de los hombres (he dicho la vida) en unos cinco años. El supuesto trabajo venía firmado por la doctora Karen Weatherby de Fráncfort y fue publicado en The New England Journal of Medicine, una de las revistas médicas más poderosas del mundo.

¿El secreto de una vida larga y sana? Imagen de PhotoPin / CC.

¿El secreto de una vida larga y sana? Imagen de PhotoPin / CC.

Naturalmente, ni la doctora Weatherby ni su estudio existieron jamás; se trata solo de una broma que comenzó a circular por internet hace más de una década y cuyo origen se remonta a ese entrañable tabloide de supermercado de EE. UU., el Weekly World News, que publicó la misma noticia sucesivamente en 1997 y en 2000 –de hecho, casi la misma página completa, con el faldón sobre el iraní condenado a latigazos por poseer visión de rayos X–.

Pero por increíble que parezca, la noticia no solo se coló en numerosos medios respetables de todo el mundo, sino que a pesar de haber transcurrido 15 años desde que se aireó por primera vez y de haberse reiterado una y otra vez su falsedad, aún resurge periódicamente, y todavía sigue publicada en las webs de algunos medios. Con solo una búsqueda ligera, he comprobado que El Diario Vasco, del grupo Vocento, mantiene la noticia en su web desde 2007, lo mismo que el suplemento Campus del diario El Mundo desde 2008. El asturiano El Comercio (Vocento) la publicó en julio de 2014, y el Ideal de Granada (también Vocento) en ¡enero de 2015! Tal vez lo mejor, el titular en el Times of India, nada menos que en febrero de este mismo año: ¡Contemplar domingas (boobs) para vivir más! A fecha de hoy, la falsa investigación de la falsa Weatherby permanece mencionada sin rectificación en artículos de distintos medios, como la revista Quo, la web de Antena 3 y, ay, en una lista de esta casa.

Pero lo más pasmoso es que ¡en marzo de 2015! los diarios Hoy de Extremadura y El Norte de Castilla –¿adivinan de qué grupo?– han vuelto a publicar la noticia con la siguiente (e inaudita) aclaración: “Este diario no ha podido contrastar ni la veracidad de este hecho ni la existencia de la doctora Karen Weatherby”. ¿En serio? Basta una búsqueda instantánea en Google para comprobar al instante lo que Hoy y El Norte de Castilla no han podido contrastar. Pero no se trata de cargar las tintas contra Vocento; el día en que el archivo de internet habilite una búsqueda por texto, podremos comprobar quién más publicó la noticia en su día sin la menor contrastación; simplemente, Vocento ha sido más lento que otros en reaccionar. Hace solo unos meses pude escuchar una mención a la noticia dándola por auténtica en la cadena de radio Onda Cero.

El episodio serviría como punto de partida para pontificar contra el nivel del periodismo científico en ciertos medios españoles, muchos de los cuales aplicaron sus recortes comenzando por hincar la tijera a sus secciones de ciencia para pasar a nutrirse exclusivamente de teletipos de agencias y de rumores rebotados y manejados por sufridos becarios a quienes les cae en suerte la tarea de enfrentarse a una materia compleja sobre la que no han recibido ninguna formación.

Pero lo cierto es que no se trata solo de un problema nuestro. Ayer conté el montaje de John Bohannon, biólogo y periodista de Science, destinado a destapar el negocio de las falsas revistas de ciencia. Más recientemente, Bohannon ha protagonizado otro escándalo al demostrar cómo un titular llamativo referente a un estudio sin verdadero soporte científico puede abrirse hueco en medios de todo el mundo, especialmente en lo que el propio periodista denomina “complejo investigación-medios sobre dietas”.

En esta ocasión la idea no partió del propio Bohannon, sino de los reporteros de televisión alemanes Peter Onneken y Diana Löbl. Los dos periodistas acariciaban el proyecto de realizar un documental sobre la seudociencia en la industria dietética y llamaron a Bohannon para que les ayudara a llevarlo a cabo, a raíz del trabajo del estadounidense relativo a las revistas depredadoras. El grupo reclutó después a un médico, Gunter Frank, que había escrito un libro sobre el tema y que sugirió la idea del chocolate; según Frank, es “un favorito de los fanáticos de los alimentos integrales”. “El chocolate amargo sabe mal, así que debe de ser bueno para ti. Es como una religión”, dijo Frank, según publicó Bohannon en el artículo en el que explicaba todo el montaje.

Contando además con la ayuda del analista financiero Alex Droste-Haars para manejar los datos estadísticos, el grupo reclutó a (solo) 15 voluntarios y se dispuso a conducir un ensayo clínico real: un tercio de los participantes mantuvo durante tres semanas una dieta baja en carbohidratos, otro siguió el mismo patrón añadiendo una barra de chocolate de 42 gramos al día, y finalmente el tercero actuó como grupo de control sin cambios en su alimentación. Los sujetos fueron monitorizados en 18 parámetros, incluyendo nivel de colesterol, de sodio, peso, proteínas en sangre, calidad de sueño y bienestar general.

Y después de recopilar, tratar y analizar los datos, ahí estaba: los dos grupos con tratamiento habían perdido algo más de dos kilos a lo largo del estudio, con un adelgazamiento un 10% más rápido en los que tomaron chocolate, quienes además mostraban mejores niveles de colesterol y de bienestar. Todo ello, con diferencias “estadísticamente significativas”, siguiendo el típico mantra de los estudios al uso.

Pero si algún mantra se repite aquí, en este blog, es que “correlación no significa causalidad”. He explicado ya varias veces que, si uno trata de correlacionar dos conjuntos de datos sin ninguna relación entre ellos, se puede demostrar que las ancianas británicas tienen la culpa del crecimiento del autismo, o que los huracanes con nombre de mujer son más letales, o que las películas de Nicolas Cage son causantes de los ahogamientos en piscinas en EE. UU., o que los sagitario sufren más fracturas de húmero. Como aclara Bohannon, “si mides un gran número de cosas en un pequeño número de personas, casi tienes la garantía de conseguir un resultado estadísticamente significativo”. Con un sencillo cálculo, el autor ilustra que el estudio tenía un 60% de posibilidades de obtener algún resultado “significativo”, es decir, con un valor p menor de 0,05, un estándar muy utilizado en los ensayos epidemiológicos.

Desde hace años se viene reflexionando sobre la errónea interpretación del valor p. En 2005, un famoso trabajo hizo notar la falta de fundamento de numerosas conclusiones por una mal entendida aplicación de los conceptos estadísticos: el valor p realmente no demuestra la probabilidad de que la correlación entre dos conjuntos de datos sea aleatoria, sino la probabilidad de que la hipótesis nula, la que refuta lo que queremos demostrar, sea cierta.

Hay una gran diferencia: en el segundo caso, no se demuestra que la hipótesis alternativa sea correcta; para ello sería necesario conocer la probabilidad de que realmente exista un efecto, y esto depende de otros conceptos como la plausibilidad biológica, algo tan etéreo a veces que no puede justificarse sino sobre la base de un mecanismo experimentalmente demostrable. Algunos estadísticos han tratado de establecer una regla de uso general, estimando que con un valor p < 0,01, el riesgo de falsa alarma aún es como mínimo del 11% en el mejor de los casos, subiendo al menos al 29% con una p < 0,05. ¿Alguien jugaría a la ruleta rusa sabiendo que en el cargador de diez disparos hay como mínimo 1,1 balas, tal vez más?

Pero volviendo a la historia, Bohannon y sus colaboradores rápidamente escribieron su estudio, titulado Chocolate with high cocoa content as a weight-loss accelerator (Chocolate con alto contenido en cacao como acelerador de la pérdida de peso) y firmado por Johannes Bohannon, Diana Koch, Peter Homm y Alexander Driehaus, todos ellos del (recién creado por ellos mismos) Institute of Diet and Health de Mainz; lo enviaron a 20 revistas de las que Bohannon conoce, y en apenas 24 horas el manuscrito fue aceptado por varias de ellas. Los autores eligieron una, International Archives of Medicine, que calificó el trabajo como “sobresaliente” y se ofreció a publicarlo por 600 euros. Según Bohannon, el artículo fue publicado menos de dos semanas después de que Onneken recibiera el cargo en su tarjeta de crédito, y sin que se modificara ni una coma. El montaje aún requería un último paso, y era producir una nota de prensa espectacular y atractiva. Delgados gracias al chocolate, decía. Después, a distribuirla a los medios.

Y picaron, claro. Muchos, comenzando por el tabloide alemán Bild, el primer diario de Europa en tirada. La nota de prensa no mencionaba cuántos sujetos habían participado en el estudio, ni cuánto peso habían perdido, ni ningún otro detalle relativo al estudio, pero tampoco los periodistas interrogaron a Bohannon sobre nada de ello; lo único que interesaba era el titular. En cuanto al estudio, fue retractado por la revista que lo publicó al descubrirse el pastel. “De hecho, ese manuscrito fue finalmente rechazado y nunca se publicó como tal”, alega la web de la publicación, atribuyéndolo todo a un infortunado malentendido.

Quiero dejar claro cuál NO debe ser la conclusión a extraer de esta historia: que el chocolate NO adelgaza. Y por si la doble negación lleva a confusión, aclaro aún más: el estudio (real, pero deliberadamente malo) de Bohannon no demuestra que el chocolate adelgaza, ni lo contrario. No demuestra absolutamente nada, como tantos otros estudios (reales, pero inintencionadamente malos) que a diario se están publicando en revistas médicas y, de rebote, en los medios, atribuyendo toda clase de propiedades a toda clase de productos, hábitos o estilos de vida.

Los titulares dietéticos son un triunfo seguro: no importa que el estudio ni siquiera se base en ningún tipo de ensayo controlado; basta con reunir un grupo de voluntarios, hacerles rellenar un cuestionario sobre qué es lo que comen (o más bien, lo que dicen que comen), medirles una serie de parámetros y meter los datos en la churrera, hasta que ¡bang!, el chocolate adelgaza, con valor p < 0,01. Un estudio a gran escala en EE. UU. sobre la salud de las mujeres en función de la dieta reconocía: “La validez de los datos de estudios de observación como estos depende en gran parte de mediciones precisas de la dieta, y no es posible tener mediciones precisas”. En resumen, podrá ser ciencia, pero mala, y el periodismo que le otorga credibilidad sin hacer notar las objeciones a la validez de los resultados es mal periodismo.

¿Las ancianas británicas tienen la culpa del crecimiento del autismo?

Hay dos maneras de enfocar el asunto que vengo a tratar hoy. Una, la comprensiva. Ignoro si Stephanie Seneff, investigadora del Instituto Tecnológico de Massachusetts (MIT), tiene cerca a alguien querido que sufra de una enfermedad incurable de origen desconocido. Es probable que sí, dado que la mayoría tenemos algún caso próximo a nosotros: alzhéimer, autismo, párkinson o esclerosis múltiple, por citar ejemplos, son terribles trastornos cuyas causas aún son oscuras, pero que siempre vienen a cercenar drásticamente la idea que nos habíamos formado sobre cómo debería ser la vida, la nuestra y la de los nuestros.

Imagino que cuando nos encontramos de repente en alguna de estas situaciones nuestra mente atraviesa fases muy dispares, pero es natural que al fondo de todo ello se enquiste una pregunta: ¿por qué? ¿Por qué a mí? ¿Por qué a los míos? Y ante la incapacidad de respondernos, es natural que fabriquemos las respuestas que mejor encajan con nuestra visión del mundo. Sean las que sean.

La segunda manera es mucho menos tolerante, pero es la que me toca. Uno no suele caer simpático cuando hace esto; qué le vamos a hacer. Como dice el tópico, es un trabajo sucio, pero alguien tiene que hacerlo. Esta segunda manera consiste en denunciar el inmenso daño que Stephanie Seneff y otros como ella producen sobre todo a los familiares de las personas afectadas, pero también a la credibilidad de la ciencia en una época en que la información científica que discurre por los canales mayoritarios de información (internet y sus redes sociales) es muchas veces indistinguible de la seudociencia o el simple camelo.

Esta es la historia. Seneff es una licenciada en biofísica en 1968 que después de su graduación enfocó su trabajo hacia el campo de la computación. Desde hace años ejerce como investigadora del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT, áreas en las que al parecer ha desarrollado una carrera solvente, según se deduce de su trayectoria y su registro de publicaciones. Pero en los últimos años, Seneff ha derivado hacia una línea de intereses muy diferente. Así lo expone ella misma en su reseña biográfica en la web del MIT:

En los años recientes, la doctora Seneff ha focalizado el interés de sus investigaciones de regreso a la biología. Se está concentrando principalmente en la relación entre nutrición y salud. Desde 2011, ha escrito diez estudios (siete como primera autora) en varias revistas médicas y relacionadas con la salud sobre temas tales como las enfermedades modernas (por ejemplo, alzhéimer, autismo, enfermedades cardiovasculares), el análisis y la búsqueda de bases de datos sobre efectos secundarios de los fármacos utilizando técnicas de procesamiento de lenguaje natural, y el impacto de deficiencias nutricionales y toxinas ambientales en la salud humana.

De todo esto, queda claro que Seneff no es doctora en biología; ni siquiera es bióloga. Sus intereses actuales regresan a un lugar en el que nunca ha estado antes. Seneff no tiene la más mínima autoridad ni cualificación para pontificar sobre efectos secundarios de los fármacos, deficiencias nutricionales o toxinas ambientales. Todo lo que ella diga o escriba sobre lo que se permite llamar enfermedades “modernas” (lo cual es tanto como llamar moderno a Plutón, ya que no se descubrió hasta el siglo XX) tiene el mismo valor que lo que pueda decir cualquier persona de la calle.

El de Seneff no es un caso único, sino que sigue una larga tradición de científicos que se han distinguido por elevar proclamas fantasiosas o estrambóticas sobre materias ajenas a sus investigaciones. Como ya he contado aquí anteriormente, Francis Crick, el codescubridor de la estructura del ADN, creía que la vida en la Tierra había sido sembrada por una raza de alienígenas sumamente avanzados; su compañero James Watson saltó a la infamia hace unos años al afirmar que los negros son menos inteligentes que los blancos; Kary Mullis, el inventor de la PCR, rechaza que el VIH sea el causante del sida y en su autobiografía narró su encuentro con un mapache alienígena; el astrónomo Fred Hoyle negaba la evolución de las especies y el origen biológico del petróleo; el codescubridor del VIH, Luc Montagnier, cree que el agua es capaz de recordar los compuestos que contuvo, el principio en el que se basa la homeopatía.

A propósito de este peculiar fenómeno, el astrónomo y presidente de la Royal Society de Reino Unido, Martin Rees, comentaba al diario The New York Times que los científicos no suelen hacer sus grandes descubrimientos en su vejez, y que muchos de ellos deciden remediarlo metiéndose en terrenos desconocidos donde el agua les cubre. Y por supuesto, comparar a Seneff con todos estos casos es hacerle un enorme favor, ya que en el currículum de esta investigadora no figuran premios notorios ni distinciones de ninguna otra clase.

Seneff parece haber desarrollado una especie de obsesión por demostrar que ciertos compuestos de uso actual son los causantes de trastornos como el autismo. Entre esas sustancias están (cómo no) ciertos ingredientes de las vacunas, así como un herbicida llamado glifosato que la multinacional de cultivos transgénicos Monsanto comercializa bajo el nombre de Roundup. Sobre el glifosato se ha escrito y estudiado mucho, y su toxicidad aún es materia de discusión. A nadie se le escapa que los herbicidas no son los compuestos más saludables del mundo. Probablemente los efectos del glifosato sobre la salud sean nocivos, y quizá incluso debería prohibirse su uso. Pero de ahí a atribuirle el origen de ciertos trastornos concretos media un abismo científico que hay que superar con pruebas contundentes.

La investigadora del MIT parte de un convencimiento personal de que el glifosato es la causa del autismo. Y su manera de demostrarlo es tirar de estadísticas; comparar conjuntos de datos sobre el uso de glifosato y los casos de autismo, correlacionarlos y decir, “ahí lo tenéis”. Recientemente, Seneff participó en una conferencia sobre productos transgénicos organizada en Massachusetts por un negocio de presuntas terapias alternativas llamado Groton Wellness, y allí presentó el siguiente gráfico:

Número de casos de autismo (en rosa) frente al uso de glifosato en miles de toneladas (en rojo), de 1995 a 2010. Gráfico de Stephanie Seneff.

Número de casos de autismo (en rosa) frente al uso de glifosato en miles de toneladas (en rojo), de 1990 a 2010. Gráfico de Stephanie Seneff.

Impresionante, ¿no? Suficiente para que las palabras y la presentación de Seneff encontraran eco en numerosas webs aficionadas al sensacionalismo, a las teorías conspirativas y a las llamadas terapias alternativas; pero también incluso en algún medio serio que, claro está, no puede andar siempre aplicando los mismos criterios de rigor y contrastación cuando se trata de asuntos menores, como un mal que afecta a millones de personas en todo el mundo, que cuando se habla de cuestiones verdaderamente trascendentales para el destino del universo, como la pelea entre Tomás Sánchez y Pedro Gómez (no, espera, ¿o era al revés?).

El problema es que, no me canso de insistir aquí (y aquí, y aquí), correlación no implica causalidad. Una correlación no demuestra absolutamente nada. Cualquiera puede tirar de un conjunto de datos y demostrar una perfecta correlación estadística con otra serie de cifras con las que no existe ningún vínculo, e incluso existe una web dedicada humorísticamente a demostrar cómo, por ejemplo, el número de películas protagonizadas por Nicolas Cage se asocia con las cifras de ahogamientos en piscinas en EE. UU.

Para ilustrarlo, me he tomado la molestia de buscar otras causas del autismo al margen de la propuesta por Seneff. Para empezar, he tomado los datos de la investigadora y he reproducido su gráfico en Excel. Me queda así:

Número de casos de autismo (en azul) frente a uso de glifosato en miles de toneladas (en rojo), de 1990 a 2010. Reproducción del gráfico de Stephanie Seneff.

Número de casos de autismo (en azul) frente a uso de glifosato en miles de toneladas (en rojo), de 1990 a 2010. Reproducción del gráfico de Stephanie Seneff.

A continuación, me han bastado diez minutos de búsqueda en Google para encontrar otra serie de datos que se correlaciona tan milagrosamente bien con las cifras de autismo como el uso del glifosato. En este caso se trata de las importaciones de petróleo en China, en miles de barriles al día entre 1990 y 2010, el mismo período del gráfico de Seneff. Este es el resultado:

Número de casos de autismo (en azul) frente a importaciones de petróleo en China en miles de barriles al día (en rojo), de 1990 a 2010. Gráfico de elaboración propia.

Número de casos de autismo (en azul) frente a importaciones de petróleo en China en miles de barriles al día (en rojo), de 1990 a 2010. Gráfico de elaboración propia.

Fantástico, ¿no? Cuantos más barriles de petróleo importa China, más crece el autismo en EE. UU. ¿Cuál será el mecanismo biológico implicado?

Pero ni siquiera es necesario encontrar una serie de cifras que se correlacione tan exactamente. Como ya he explicado también anteriormente a propósito de correlaciones y causalidades, existe eso que habitualmente suele denominarse la “cocina” de los datos cuando se trata de encuestas políticas, y que consiste, simple y llanamente, en una manipulación. No se trata de falsear los datos, sino, por ejemplo, de elegirlos cuidadosamente, agregarlos, desagregarlos, o retorcerles el cuello de cualquier otra manera para que el resultado sea el que previamente queríamos obtener. Aquí van dos ejemplos. Veamos qué ocurre si correlacionamos de nuevo las cifras de autismo con otros dos conjuntos de datos elegidos casi al azar en Google: por un lado, el número de mujeres centenarias en Reino Unido; y por otro, la facturación global de la industria turística en miles de millones de dólares.

Número de casos de autismo (en azul) frente a número de mujeres centenarias en Reino Unido (en rojo), de 1990 a 2010. Gráfico de elaboración propia.

Número de casos de autismo (en azul) frente a número de mujeres centenarias en Reino Unido (en rojo), de 1990 a 2010. Gráfico de elaboración propia.

Número de casos de autismo (en azul) frente a la facturación global de la industria turística en miles de millones de dólares (en rojo), de 1990 a 2010. Gráfico de elaboración propia.

Número de casos de autismo (en azul) frente a la facturación global de la industria turística en miles de millones de dólares (en rojo), de 1990 a 2010. Gráfico de elaboración propia.

No está mal, ¿no? Pero podemos mejorarlo. ¿Qué tal si aplicamos un poco de “cocina”? Digamos, por ejemplo, que eliminamos los cinco primeros años del intervalo y nos quedamos con los datos de 1995 a 2010. Tenemos la perfecta libertad de hacer esto, ya que el plazo de Seneff también es arbitrario: el glifosato comenzó a utilizarse en 1976, no en 1990. En nuestro caso, esto es lo que resulta:

Número de casos de autismo (en azul) frente a número de mujeres centenarias en Reino Unido (en rojo), de 1995 a 2010. Gráfico de elaboración propia.

Número de casos de autismo (en azul) frente a número de mujeres centenarias en Reino Unido (en rojo), de 1995 a 2010. Gráfico de elaboración propia.

Número de casos de autismo (en azul) frente a la facturación global de la industria turística en miles de millones de dólares (en rojo), de 1995 a 2010. Gráfico de elaboración propia.

Número de casos de autismo (en azul) frente a la facturación global de la industria turística en miles de millones de dólares (en rojo), de 1995 a 2010. Gráfico de elaboración propia.

Mucho mejor, ¿no? Así, ahora al glifosato hemos añadido al menos otras tres causas del autismo: la importación de petróleo en China, el aumento de la longevidad en las mujeres de Reino Unido y el crecimiento de la industria turística global. Ahora simplemente será tarea de los investigadores encontrar la manera de explicar cómo todos estos factores se alían para provocar el trastorno en los niños. Y en especial habrá que someter a un tercer grado a todas esas malévolas ancianas británicas para obligarlas a confesar en qué clase de terrible conspiración están involucradas.

Espero que nadie concernido con este trastorno neurológico sienta que estoy frivolizando sobre ello. Mi intención es justamente la contraria, denunciar la frivolización que Seneff y otros personajes como ella realizan alegremente sin ningún respeto a la preocupación de los afectados. Más allá de las proclamas estrambóticas de Seneff, el atrevimiento de esta señora al afirmar que “al ritmo actual, en 2025 uno de cada dos niños será autista” rebasa la barrera de la excentricidad para entrar en el terreno de la peligrosa irresponsabilidad. Y aunque tales casos estén fuera de la competencia de los tribunales ordinarios, las instituciones científicas no deberían permanecer impávidas ante los charlatanes ávidos de notoriedad que no hacen otra cosa sino sembrar confusión y cebarse en el dolor ajeno.