Esta semana, en un programa de radio, una periodista daba el boletín de noticias, en el que comentaba un nuevo estudio según el cual el consumo de café se relaciona con un menor riesgo de muerte prematura. No vengo hoy a comentar este estudio; en realidad eran dos, aquí y aquí, muy amplios y documentados, pero con la eterna objeción de la epidemiología: correlación no significa causalidad.
Mi objetivo hoy es otro. Mientras la periodista contaba la noticia, de pronto entraba improvisadamente y sin invitación la voz de otra persona, también periodista, pero que estaba allí presente para participar en la tertulia posterior. Este periodista decía que había que mirar quién pagaba el estudio, porque los estudios científicos “dicen lo que quiere quien los paga”.
Revistas científicas. Imagen de Wikipedia.
El error es garrafal, monumental, astronómico. Y a pesar de eso, realmente lo de menos es el nombre del periodista. Si lo omito no es por corporativismo; los lectores de este blog sabrán que uno de los argumentos que suelo traer aquí es la mala visibilidad de la ciencia en la prensa de este país, y la escasa implicación de muchos de los medios generalistas en la información científica elaborada (repito, elaborada, no fusilada de agencias) por verdaderos especialistas al mismo nivel que la información cubierta en otras áreas como política, economía, deportes o cultura.
Pero en este caso, y tal vez sin que él mismo fuera consciente de ello, este periodista no estaba actuando como analista de nada, sino como público en general; no quiero aplicarle ese término de parentesco político que tanto se emplea ahora con fines peyorativos. Y aunque un periodista se responsabiliza de sus palabras con su firma, es evidente que se trataba de un comentario casual al margen sobre algo que ignora profundamente, y no de una declaración de opinión.
Lo cual no le quita importancia al error: precisamente el motivo de que sea enormemente preocupante es la medida en que el comentario puede representar a un amplio sector de población que ignora cómo funciona la ciencia, y que puede dejarse seducir por argumentos de este tipo. Y los argumentos de este tipo están en la raíz de las posturas anticiencia, del movimiento anti-Ilustración y del camino hacia lo que ahora recibe tantos nombres: muerte de los expertos, postverdad, relativismo… En fin, llamémoslo pseudociencias.
Así que creo que esta es una buena ocasión para explicar cómo funciona la ciencia a quienes hasta ahora no lo sabían. Y conviene empezar explicando qué es lo que yace en los cimientos de todo el conocimiento científico. Se trata de una palabra mágica:
Publicación.
Pongámoslo así: probablemente un estudio científico sea lo más difícil de publicar que existe hoy en el mundo. Algunos de ustedes pensarán que es muy complicado publicar una novela, y que estoy minimizando este problema porque, como figura en el recuadro de la derecha, hay una editorial que publica las mías. Pero lo cierto es que hoy en día una novela puede autopublicarse en internet y conseguir miles de lectores; hay innumerables ejemplos de ello.
En cambio, uno no puede autopublicarse un estudio científico. Para que un estudio científico se considere publicado no basta con colgarlo en internet o pegarlo con celo a una farola. Tiene que ser admitido para su publicación, y eso requiere atravesar la puerta grande de la academia custodiada por un fiero guardián llamado…
Revisión por pares.
¿Qué es la revisión por pares? No, no es que un par de editores con algo de conocimiento sobre el tema en cuestión lo revise para comprobar que el corrector automático no ha cambiado “el Kremlin” por “el Cremilla”, como en aquel famoso artículo de La Vanguardia. Es un proceso extremadamente concienzudo y riguroso que puede llevar meses, o un año, o más; al menos en mi época, los años 90, cuando los estudios aún se enviaban en papel y por correo. El formato digital ha reducido algo los plazos de espera, pero no los del trabajo, que sigue siendo el mismo.
Así es como funciona: un equipo de investigadores dedica meses o años a un estudio, a lo que una vez completado el trabajo se suman semanas o meses para detallarlo por escrito según los formatos estándar requeridos por las revistas. Para ello hay que elegir la revista en la que se intentará publicar, una elección de los propios investigadores que se basa en factores como la novedad de los resultados, la solidez de los datos y el impacto de las conclusiones.
Una vez enviado el estudio a la revista, el equipo editorial decide si lo canaliza para su revisión, o si directamente lo rechaza. En mi experiencia, lo segundo es lo más común. En ese caso, vuelta a empezar: los autores deben entonces elegir otra revista, tal vez de menor nivel o más sectorial, y volver a comenzar el proceso. No es raro que un estudio resulte rechazado por los editores dos, tres o cuatro veces antes de que alguna revista acepte darle una oportunidad e ingresarlo en el proceso de revisión por pares.
Los pares en cuestión, llamados reviewers o referees, no forman parte del equipo de la revista. Como indica el término, son iguales, investigadores en activo, científicos reputados con experiencia en el área del estudio, pero se supone que no son colaboradores ni competidores directos de los autores. Son, por tanto, completamente independientes. Un trabajo se envía como mínimo a dos referees, pero pueden ser hasta cuatro o cinco, y sus nombres permanecerán ocultos para los autores.
El proceso de revisión es un durísimo y despiadado destrozo del trabajo de los investigadores, de cabo a rabo. Algunos referees puntillosos pueden sugerir algún cambio en el estilo de redacción, pero el proceso de revisión está enfocado a diseccionar, destripar y despiezar el estudio, desde la concepción y el diseño experimental, pasando por los materiales y métodos utilizados, la ejecución de los experimentos y los resultados, hasta su análisis, presentación, conclusiones y discusión, y si todo ello es lo bastante transparente y está lo suficientemente detallado y documentado como para que otros investigadores puedan repetir los mismos experimentos.
Comprenderán que el resultado de todo este proceso suele ser en muchos casos un pulgar hacia abajo. Es frecuente que el veredicto de los referees sea tan negativo que desaconsejen a la revista la publicación del trabajo. Y entonces, vuelta a la casilla de salida.
Por fin, en algún momento de albricias, de repente el juicio de los referees concede la remota posibilidad de que el trabajo llegue algún día a ver la luz, si bien no antes de unos pequeños cambios. Pero estos pequeños cambios no consisten en sustituir un “sin embargo” por un “no obstante”, sino que generalmente requieren hacer nuevos experimentos. Y esto ya no es volver a la casilla de salida, sino sacar la carta de la cárcel. Nuevos experimentos implican guardar el estudio en el cajón durante semanas, tal vez meses, para después sacarlo del cajón y tirarlo a la papelera con el fin de incluir los nuevos resultados.
Si todo va bien y los nuevos experimentos confirman las conclusiones, al menos ya no estamos en la casilla de salida. Pero el trabajo debe volver a pasar una vez más por los referees. Se supone que, satisfechas ya sus exigencias, deberían finalmente aprobar el estudio para su publicación. Pero no hay garantías, y no es algo inédito que a las antiguas objeciones se superpongan ahora otras nuevas que al referee se le han ocurrido a propósito de los últimos resultados.
Eventualmente, por fin el trabajo llega algún día a publicarse. Para entonces, desde que los investigadores tuvieron la idea de emprender aquel estudio, los becarios ya han terminado la tesis y se han marchado a otros laboratorios. Algunos de los investigadores han tenido hijos. Alguno ha muerto. No es frecuente, pero sí esporádico, que en la lista de los autores alguno de ellos lleve junto a su nombre una llamada que a pie de página aclara: “deceased”.
A propósito de la lista de autores, conviene también explicar que todos los nombres van acompañados de llamadas que llevan al pie de la página, donde se enumeran las respectivas filiaciones de los investigadores. Pero además, los estudios detallan qué entidades los han financiado. Y desde hace varios años, es obligatorio también que cada uno de los autores firme una declaración individual en la que exponga sus conflictos de intereses; es decir, si recibe algún tipo de beneficio por parte de alguna entidad que pueda tener intereses en el área del estudio.
Por supuesto, esto no impide que las compañías financien estudios de sus productos, y de hecho todas lo hacen. Pero esto siempre queda especificado en el estudio como un conflicto de interés, y en cualquier caso estos trabajos deben pasar por todo el proceso anterior de evaluación independiente si aspiran a ser verdaderas publicaciones científicas, y no artículos en el boletín mensual de la empresa.
Naturalmente, como todo sistema, el de la ciencia también tiene sus defectos. Y como en todo colectivo humano, siempre hay ovejas negras. Hay ejemplos a gran escala, como los complots de las tabaqueras y de las azucareras para ocultar los perjuicios de sus productos, y a pequeña, como el de Andrew Wakefield, el médico que inventó la relación entre vacunas y autismo para hacer caja con ello, o el de Hwang Woo Suk, el biotecnólogo coreano que falseó un estudio sobre clonación humana. Pero de todo ello el sistema aprende y se perfecciona, del mismo modo que los accidentes de aviación sirven para corregir fallos, sin que los siniestros aéreos logren evitarse por completo.
Afirmar alegremente que los estudios científicos dicen lo que quiere quien los paga no solamente es ignorar todo esto, ni es solamente llamar a los referees idiotas o corruptos. La generalización supone acusar de corrupción a todos los actores del largo y complejo proceso científico; a todo el sistema en su conjunto. No, los estudios científicos no dicen lo que quiere quien los paga. Esos son los artículos periodísticos.
