La revisión por pares es el mecanismo imprescindible que otorga el marchamo de estudio científico. En el origen del progreso de la ciencia moderna está la decisión de la comunidad científica de que todo estudio debe ser evaluado por varios investigadores expertos en la misma materia, seleccionados por el editor de la revista a la cual se ha enviado el estudio, y cuyas identidades normalmente son desconocidas para los autores.

Naturalmente, la revisión por pares debe ser real y rigurosa. Hace unos días, el blog del CSIC en esta casa publicaba un artículo del investigador Mariano Campoy sobre las revistas y entidades depredadoras, un negocio fraudulento que parasita al sistema científico: un fulano (que no suele ser un científico) decide montar una publicación científica digital y espamea a miles de investigadores ofreciéndoles sus páginas, previo pago de sumas anormalmente abultadas para tratarse de revistas desconocidas. El fulano en cuestión promete una revisión por pares, que en realidad no existe. El fulano en cuestión se lucra con ello y algunos investigadores pican, o bien por desconocimiento de que se trata de una revista depredadora, o bien con pleno conocimiento, pero con el –igualmente fraudulento– objetivo de engordar su lista de estudios publicados.

La revisión por pares real, la de las revistas científicas legítimas, es no ya rigurosa, sino implacable y despiadada, a veces llegando a lo cruel. Jamás un estudio científico se acepta a la primera. Como decíamos ayer, una gran parte de los estudios recibidos por una revista ni siquiera llegan a la revisión, ya que el propio editor considera que no alcanzan el nivel mínimo de calidad o relevancia para enviarlos a los expertos. Si el estudio consigue superar este primer filtro, otro desenlace enormemente común es que los revisores o referees recomienden su no publicación. Y vuelta a empezar: a probar suerte con otra revista diferente.

Revistas científicas. Imagen de Selena N. B. H. / Flickr / CC.

Una vez salvado este segundo obstáculo, lo habitual es que los revisores pidan infinidad de cambios, no solo en el texto, sino también nuevos experimentos, controles y figuras. Y una vez que los autores han cumplido todas estas exigencias, el estudio irá de nuevo a revisión, pudiendo ocurrir que de todos modos sea finalmente rechazado. Es muy habitual que un estudio deba pasar por varias revistas antes de que consiga finalmente ser aceptado en alguna de ellas, después de cambios extensos y nuevos experimentos que pueden llevar meses o incluso años.

Así, y en contra de lo que suele escucharse en la calle como respuesta frecuente al «lo dice un estudio científico», no, los científicos no publican lo que les parece. Solo publican lo que la comunidad científica, delegada en los referees, decide tras un arduo y largo proceso que finalmente puede considerarse ciencia.

Otro error habitual, que está en el manual básico de todo conspiranoico, es creer que los estudios científicos tienen intereses ocultos. Desde hace años las revistas obligan a los investigadores a declarar sus conflictos de intereses, y estos aparecen detallados en sus estudios publicados. A un científico que recibe financiación de una compañía de chocolatinas no se le impide publicar un estudio sobre las virtudes del chocolate, siempre que el trabajo sea científicamente sólido y relevante, pero al final de su estudio aparecerá claramente especificado este conflicto de intereses. Y si un científico lo oculta, puede dar su carrera por terminada. ¿Cuántos opinadores profesionales, líderes mediáticos, influencers y demás fauna son transparentes con sus fuentes de financiación y sus conflictos de intereses?

Por último, otra idea equivocada es pensar que los científicos cobran por sus estudios publicados. No cobran, pagan. Las revistas suelen cargar una tarifa a los autores, que en muchos casos se justifica por la publicación del estudio bajo el concepto de material publicitario. Así, los científicos no ven ni un céntimo por ninguna clase de derechos relacionados con sus estudios. Pero estos sí generan ingresos, ya que quien quiera leer los estudios debe pagar. Es más, en muchos casos, si a un investigador le interesa que su estudio sea de lectura gratuita con el fin de aumentar su difusión, la revista sube la tarifa para compensar la pérdida de ingresos de los lectores. La revista se lo lleva todo; la banca gana.

Esta anacrónica injusticia ha dado origen a ciertas corrientes en alza. Una de ellas es el Open Access, el libre acceso total. Las revistas que eligen esta opción no son de publicación gratuita para los autores, pero al menos aseguran a sus estudios una gran difusión por ser de lectura gratuita. Aunque a regañadientes, algunas revistas tradicionales van sumándose poco a poco a esta tendencia.

Otra corriente es la piratería, pero en un escenario totalmente contrario al de los contenidos digitales culturales. Los autores de música, películas o libros no quieren que sus obras se pirateen porque esto les priva del fruto legítimo de su trabajo, la ganancia económica directa por las ventas de sus obras. En el caso de los científicos, su beneficio es indirecto: un investigador progresa en su carrera cuanto más y mejor publica y cuanto más impacto tienen sus trabajos en la comunidad. Por ello, le interesa la máxima difusión de sus estudios, pero tal vez no pueda pagarse un Open Access.

Así, los investigadores son los primeros que desean que sus estudios se pirateen; de hecho, suelen colgarlos ellos mismos en las webs de piratería, y los facilitan gustosamente si uno se los pide por correo electrónico (algo que los periodistas de ciencia hacemos de forma habitual). Mientras tanto, son las editoriales de las revistas quienes tratan de impedir la libre difusión de la ciencia. Por suerte, con no demasiado éxito.

Con todo esto, y a pesar de las limitaciones que decíamos ayer respecto a lo que debe o no debe interpretarse del hecho de que algo «lo dice un estudio científico», sí debe quedar claro que un estudio científico es una cosa radicalmente diferente a lo que no lo es. ¿Y qué no lo es?

Todo lo demás: un informe publicado por Naciones Unidas, Greenpeace o la Sociedad de Cardiólogos de Cercedilla puede ser todo lo apreciable y valioso que a cada uno le parezca según la confianza que le inspire la entidad en cuestión. Pero no es un estudio científico; no ha sido validado por nadie más que por la propia entidad que lo publica (y quizá, por algún revisor presuntamente independiente que, sin embargo, ha facturado por su independencia). Y por lo tanto, no tiene la credibilidad de un estudio científico, por muy Naciones Unidas que sea (en honor a la verdad, los organismos de Naciones Unidas también publican muchos estudios científicos revisados por pares, algo que en cambio otras entidades no suelen hacer).

Lo mismo se aplica a los estudios publicados por empresas y corporaciones, una tendencia que parece estar en alza fuera del ámbito estrictamente científico; hasta las compañías de condones o las webs inmobiliarias publican ya sus propios estudios. Lo cual puede tener su valor, siempre que no se pierda de vista cuál es realmente ese valor. Que una empresa que vende alimentos para reforzar el sistema inmunitario diga en su publicidad que sus alimentos refuerzan el sistema inmunitario, como lo demuestran sus propios «estudios científicos» no revisados por pares, tiene un valor aproximado de… cero. Que una compañía de cosméticos antiarrugas diga en su publicidad que sus cosméticos son antiarrugas, como lo demuestran sus propios «estudios científicos» no revisados por pares, tiene un valor aproximado de… cero. Y así.

La pretensión de presentar como estudio científico algo que no lo es suele entroncar de lleno con el mundo de la pseudociencia y la mala ciencia. En España, el CSIC no acepta patrocinios (al menos hasta donde sé, salvo que las cosas hayan cambiado en los últimos años), en el sentido de que una compañía no puede alquilar a uno de sus investigadores para que realice un estudio destinado a confirmar los enormes beneficios de su producto. Sin embargo, otras muchas entidades científicas o paracientíficas (y sus científicos o paracientíficos) gustosamente aceptan generosas donaciones para respaldar la venta de colchones (perdón, creo que ahora se llaman «equipos de descanso»), pseudoterapias, suplementos alimenticios o lo que sea que se especifique en el cheque.

El valor de estas proclamas es nulo, pero en cambio no lo son sus efectos: estos falsos «estudios científicos» son enormemente negativos por la confusión que causan respecto a un sistema que desde luego no es ni mucho menos perfecto, pero que, además de ser el mejor que ha podido crearse y de funcionar razonablemente bien, tiene la gran virtud de mejorarse a sí mismo, reconociendo sus errores y rectificando cuando es necesario. Y a ver qué otro sistema puede decir lo mismo.

En el mundo del arte circula una frase con muchos padres y madres: arte es lo que yo decido que lo es. Y aunque todo aspirante que pretenda ascender por esa sacrosanta pirámide difícilmente pondrá en duda el juicio de los que se sientan en la cúspide, es evidente que bajo ese presunto argumento solo se esconde una arbitrariedad injustificada. Personalmente, recibí una de mis mejores enseñanzas de periodismo de un antiguo jefe, editor de revistas de viajes: cuando se trata de diseño, «porque a mí me gusta más así» no es una razón válida.

Otro ejemplo: imagino que cuando un filósofo profesional lleva su coche al taller y allí le explican que la «filosofía» de la marca es poner solo recambios originales, al filósofo quizá tengan que practicarle la reanimación cardiopulmonar. Pero, total, también se llama «cultura» a cosas que no lo son: la cultura de la corrupción, la cultura funcionarial…

Entonces, ¿por qué no llamar también «estudio científico» a lo que a cada uno le apetece? «He hecho un estudio científico y he visto que mi vecino siempre viste de verde cuando llueve». ¿No?

Pero no. Por supuesto que cada uno es perfectamente libre de llamar orégano al orgasmo si le apetece. Pero si hablamos de estudios científicos de verdad, los que permiten esgrimir aquello de «lo dice un estudio científico» que veíamos ayer, aquí no hay la menor arbitrariedad, como no puede haberla en nada relacionado con la ciencia. La comunidad científica ha establecido unas reglas muy claras sobre qué es un estudio científico y qué no lo es. Y básicamente, todos los mandamientos se resumen en uno: un estudio científico es el que se publica en una revista científica con una rigurosa revisión por pares.

Referencias en un estudio científico. Imagen de Mike Thelwall, Stefanie Haustein, Vincent Larivière, Cassidy R. Sugimoto (paper). Finn Årup Nielsen (screenshot) / Wikipedia.

Pero comencemos por el principio. Un grupo de investigadores concluye una determinada fase de su línea de investigación y reúne suficientes resultados como para extraer una conclusión novedosa. Se ha hecho nueva ciencia. Y ahora, ¿qué?

Lo primero, claro, es escribir el estudio, o paper. Esto suele hacerlo (normalmente) el jefe del grupo. Que no es (normalmente) el autor material del trabajo. Aunque en las películas de Hollywood suele verse a supercientíficos trabajando en el laboratorio, el mundo real no funciona así. A partir de un determinado nivel, todo científico dedica el cien por cien de su tiempo a leer, escribir estudios y solicitudes de becas y proyectos, impartir seminarios, discutir resultados, asistir a congresos, hacer eso que ahora llaman networking… Ahora muchos dedican también parte de su tiempo a la divulgación mediante blogs, libros y otros medios. El trabajo de laboratorio, el de bata (que por cierto, no se lleva más veces de las que sí), corre a cargo de su equipo: becarios predoctorales, postdoctorales, técnicos…

Esto se refleja en las firmas que aparecerán en el estudio. El primer firmante (o los primeros en igualdad de contribución, si así se especifica) es el autor material del trabajo, que suele ser un predoctoral o postdoctoral. Los siguientes son otras personas que han contribuido, en orden decreciente según su aportación. Lo justo y decente es que esto incluya también a los técnicos, pero hay investigadores que no les permiten firmar los estudios por no ser personal científico.

Finalmente, el último nombre de la lista de autores es el del o la investigador(a) senior, el jefe del grupo o de la línea. Si hay más de uno, aparecerán desde el último hacia el penúltimo, antepenúltimo, etc., también según su aportación. El último autor y director del estudio suele figurar también como autor de correspondencia, aquel al que otros científicos deberán dirigirse para discutir sobre su trabajo, aunque es frecuente que este delegue esa función en el primer firmante si le considera suficientemente formado y él lleva varias líneas al mismo tiempo.

A la hora de escribir el estudio en sí, también hay reglas que no pueden romperse. El esquema estándar de todo estudio científico experimental se compone de seis partes: abstract (resumen), introducción (estado de la cuestión y propósito del trabajo), materiales y métodos (explicación detalladísima de todos los experimentos para que cualquier otro investigador pueda repetirlos), resultados, discusión (conclusiones) y referencias bibliográficas (estudios anteriores que se citan o en los que se basa el trabajo). Dado que muchas revistas imponen ligeras variaciones a este esquema básico, desde el principio el investigador suele escribir el estudio ateniéndose al formato requerido por la revista a la cual va a enviarlo. Además, todo estudio experimental incluye varias figuras que muestran los resultados.

El estilo y el tono tampoco dejan margen a la fantasía. Los estudios científicos se escriben en un lenguaje claro, conciso, directo y aséptico, sin retórica ni literatura. Pero al mismo tiempo, deben ser impolutos en su gramática y su ortografía. Y por supuesto, generalmente todo ello en inglés, el idioma de la ciencia. En cuanto a las conclusiones, el tono de los estudios científicos es justo el opuesto al de cualquier artículo de opinión o discurso político, ideológico o religioso. En los estudios científicos no se pontifica ni se dogmatiza, o ni siquiera se «demuestra», sino que solo se «muestra». «Nuestros resultados sugieren», «los datos son compatibles con», «es razonable pensar» o «podría pensarse» son fórmulas habitualmente utilizadas. A menudo la última conclusión es que deberán realizarse nuevos estudios para confirmar los resultados.

Una vez escrito el estudio, se envía a la revista previamente elegida. De esta elección depende críticamente el destino futuro de ese papelito. Obviamente, todo científico aspira a publicar en Nature o Science, las revistas de mayor prestigio, pero en la mayor parte de los casos picar tan alto sería una pérdida de tiempo, y podría incluso perjudicar al propio investigador si los editores de estas revistas le etiquetan como alguien incapaz de valorar la relevancia real de su trabajo. O simplemente, como un pelmazo.

Se entiende entonces que no todas las revistas son iguales, y esto tampoco es arbitrario. Existen índices que miden el impacto de las revistas y las clasifican en listas jerárquicas. Tampoco el impacto de una revista suele ser el mismo si se trata de una publicación multidisciplinar, como Nature o Science, que leen todos los científicos, o si se ciñe a un ámbito especializado muy concreto. Para un científico, saber elegir la revista adecuada a la que enviar un trabajo es tan importante como hacer el trabajo en sí.

Una vez enviado el estudio, el primer filtro al que se enfrenta es el de los propios editores de la revista. Como puede suponerse, las revistas generalmente reciben muchos más estudios de los que pueden publicar, por lo que se rechazan muchos más de los que se aceptan. Así, es muy habitual que al primer intento, con la revista que el investigador ha elegido como su opción más deseable a la par que razonable, la respuesta sea una carta del editor diciendo que el estudio no reúne la suficiente calidad o relevancia como para que le interese publicarlo. Y entonces, toca probar con la siguiente de la lista.

En un momento determinado, por fin el investigador consigue que un editor se interese por su estudio. Pero el calvario no ha terminado; en realidad no ha hecho sino comenzar: llega entonces la revisión por pares. Mañana seguiremos.