El singular deterioro de la publicación científica
The alarming erosion of scientific publication
A singular deterioração da publicação científica
Enrique Sahagún Alonso
Doctor en Ciencias Físicas por la Universidad Autónoma de Madrid
https://orcid.org/0009-0006-6229-3541
enrique@scixel.es
Resumen
Las ideas deben ser públicas. No se construye conocimiento si no se comparten ideas. No se avanza si no es posible trepar a hombros de otros. La publicación científica no es conveniente o aconsejable: es un imperativo. Y, sin embargo, llevar a cabo esta labor entraña un problema complejo para el que no parece haber soluciones sencillas. Hoy, la comunidad científica está compuesta por millones de individuos. Gestionar la labor de comunicación de ideas en este escenario de forma correcta, justa y funcional, no resulta una tarea fácil. El texto que sigue es un análisis somero, tal vez sesgado y seguramente vehemente, sobre el estado actual de la publicación científica. Se discutirá cómo ésta ha secuestrado la actividad científica tanto por el esfuerzo y recursos que se deben invertir en ella, como por su influencia a la hora de decidir qué se debe investigar. Y cómo, en connivencia con los investigadores, las revistas han participado del deterioro y banalización de la comunicación científica y la transformación de la ocupación científica en un negocio.
Palabras clave: Alienación social, ciencia de la ciencia, corrupción, difusión selectiva de información, edición de textos, pensamiento crítico, publicación científica.
Abstract
Ideas must be public. No knowledge can be built if ideas are not shared. No progress is made if it is not possible to climb on the shoulders of others. Scientific publication is not just convenient or advisable: it is imperative. And yet, this task constitutes an amazingly complex problem with no simple solutions. The scientific community is made up of millions of individuals. Managing the communication and sharing of ideas in this scenario in a correct, fair and functional way is far from being simple. The following text is a brief (and biased) analysis of the current state of the scientific publication system, being discussed how it has hijacked the scientific activity both because of the effort and resources that must be invested in it, and because of how it influences the direction science research must take. And how, together with researchers, journals have participated in the decline and trivialization of scientific communication and the transformation of science into a business.
Keywords: Social alienation, science of science, corruption, selective dissemination of information, text editing, critical thinking, scientific publication.
Resumo
As ideias devem ser públicas. O conhecimento não se constrói se as ideias não forem partilhadas. Não há progresso se não for possível subir para os ombros dos outros. A publicação científica não é conveniente nem aconselhável: é um imperativo. E, no entanto, a realização desta tarefa envolve um problema complexo para o qual não parece haver soluções simples. Hoje a comunidade científica é constituída por milhões de indivíduos. Gerir o trabalho de comunicação de ideias neste cenário de forma correta, justa e funcional não é tarefa fácil. O texto que se segue é uma análise breve, talvez tendenciosa e certamente veemente, do estado actual do sistema de publicação científica. Será discutido como sequestrou a atividade científica tanto pelo esforço e recursos que nela devem ser investidos, como pela sua influência na decisão do que deve ser investigado. E como, em conluio com investigadores, as revistas têm participado na deterioração e banalização da comunicação científica e na transformação da ocupação científica num negócio.
Palavras-chave: Alienação social, ciência da ciência, corrupção, divulgação seletiva de informação, edição de textos, pensamento crítico, publicação científica.
Introducción
Una tarde de otoño el astrónomo Edmund Halley caminaba atribulado por las calles de Londres. Un colega acababa de encontrar la solución a un problema de enorme complejidad, que llevaba desafiando la inteligencia de científicos y filósofos por décadas. Y la solución que proponía este colega parecía correcta. Edmund lo había comprobado de primera mano. Recientemente el astrónomo había observado la trayectoria de un cometa y sus observaciones y medidas coincidían, con sorprendente precisión, con esta nueva teoría. De hecho, no solo parecía correcta; además, explicaba una gran cantidad de fenómenos. Su potencial era enorme y si sus sospechas eran ciertas, la solución propuesta por su colega lo iba a cambiar todo. Esa tarde de otoño, el mundo había cambiado y Halley era la única persona (sin contar al autor) que lo sabía. El astrónomo a duras penas podía contener su excitación junto con su necesidad de decirle al mundo lo que en ese momento sólo él sabía.
Sin embargo, el motivo de sus tribulaciones era que este genial colega no parecía ser consciente de la importancia de su descubrimiento y por algún absurdo motivo, pretendía mantenerlo en secreto. Edmund tuvo que convencerlo trabajosamente para que explicase esta nueva teoría en un texto y lo hiciese público. El astrónomo incluso ofreció su ayuda en la escritura y correcciones del texto, y prometió que él mismo se haría cargo de los gastos de publicación que, a finales del siglo XVII, eran más que importantes. Finalmente, y gracias a la insistencia de Halley, el 5 de julio de 1687, se publicaba el Principia Matematica (Newton, 2022): una obra que, en efecto, lo cambiaría todo, desde nuestra comprensión del universo hasta la forma de hacer la guerra.
La publicación de ideas y resultados es una actividad consustancial a la ciencia. Una idea nueva carece de valor si no se da a conocer, de manera que pueda ser contrastada, criticada o verificada y que, en fin, podamos aprender de ella. ¿Hubiera sido catastrófico que un huraño y antisocial Newton no hubiese publicado sus trabajos? ¿O que el Principia, en lugar de publicarse, se hubiera perdido, descomponiéndose en un cajón en una granja en Lincolnshire? No, salvo porque las leyes de Newton se llamarían ahora de otra manera, y nuestra comprensión de las mismas se hubiera retrasado en 20 o 30 años. No hubiera sido catastrófico, pero toda la obra de Newton, por más que estuviese majestuosamente alojada en su británico cerebro, hubiera resultado inútil y no habría aportado nada al conocimiento humano.
Un sistema insólito
Es difícil diagnosticar el estado de salud del sistema de publicación científica en la actualidad. Sin embargo, se podría decir que la gran mayoría de investigadores estarían de acuerdo en que está muy lejos de ser ni siquiera aceptable. Otros, menos moderados, dirían que raya lo inadmisible y en algunos casos, lo criminal. Y digo, “en la actualidad” por acotar el asunto y no por caer en nostalgias engañosas; dudo que la publicación científica haya gozado nunca de un excelente estado de salud.
Bien, ¿por dónde empezamos? Tal vez lo más conveniente sea explicar el proceso de publicación de un artículo científico. No todo el mundo lo conoce y, aun cuando se explica, resulta difícil creer que tal cosa exista y funcione del modo en que lo hace.
Los investigadores, como podrán imaginar, llevan a cabo su trabajo laboriosamente, financiados por instituciones públicas o privadas. Una vez consideran que han acumulado conocimiento suficiente acerca de un cierto problema, llega el momento de comunicar sus resultados. Y lo primero que se ha de hacer es elegir en qué revista se va a publicar. Esta decisión depende esencialmente de dos factores: del área de la ciencia en que esté inscrito dicho resultado, y de su relevancia.
La primera cuestión tiene fácil solución. Las revistas científicas han proliferado como bacterias bien alimentadas y hoy disponemos de tantas como se necesiten. Y no dejan de multiplicarse. No importa cómo de especializada sea su área de investigación, ¡hay una revista para usted! (Hanson et al., 2024; Ghasemi et al., 2022)
El segundo problema es un poco más peliagudo. ¿Cuál es la relevancia del resultado que se ha obtenido? ¿Merece la pena intentar publicarlo en una revista importante? ¿O es un resultado menor? Es difícil saberlo, aunque con el tiempo, los investigadores van desarrollando una suerte de sexto sentido, que les permite "predecir" a qué revista conviene enviar un artículo con altas probabilidades de que éste sea publicado.
La elección previa de la revista es importante, además, por un motivo mucho más mundano. A la hora de preparar el texto de nuestro artículo, deberemos ajustarnos a las especificaciones estéticas y formales de la revista elegida. Cada publicación tiene su propio libro de estilo (guidelines) que conviene que los autores revisen y que les informan de cómo deben presentar los artículos; extensión del texto, su estructura, sus secciones, cómo preparar las figuras, tablas o ecuaciones, o cual es el formato adecuado de las citas bibliográficas. Una vez el investigador ha escrito, formateado y maquetado el artículo siguiendo al pie de la letra las indicaciones de la revista, se lo envía al editor.
La figura del editor es oscura y enigmática, y se le suponen una serie de tareas que generalmente no realiza. El editor actuará en primer lugar como filtro. Comprobará, por ejemplo, si el asunto que se trata en el artículo coincide con el área de interés de la revista. Y, tras una lectura rápida y superficial, los editores de algunas revistas importantes deciden además si el valor del artículo que se presenta es suficiente para ser expuesto en su publicación. Esto constituye el primer paso.
Si el editor tiene a bien considerar nuestro artículo, se accederá a la siguiente fase: la revisión por pares. El diligente editor buscará, en una base de datos, a investigadores que trabajen en el mismo ámbito cubierto por el artículo (los pares), y les enviará el texto. Éstos lo leerán cuidadosamente, lo analizarán con esmero, lo criticarán, y prepararán una evaluación que ayudará al editor a decidir si lo que se ha escrito es correcto y si tiene algún valor. La revisión por pares es un proceso de duración variable que puede llegar a extenderse años. Los pares indican errores, discuten con los autores, solicitan que se revisen las teorías, piden que se elaboren ideas de forma más clara o, en ciertos casos, sugieren que se lleven a cabo más experimentos que sustenten las conclusiones. El resultado final de este largo proceso puede ser la recomendación de que el trabajo sea publicado, o justo lo contrario.
Una función de esencial importancia que el editor debe llevar a cabo es la de jugar el papel de mediador: para evitar posibles tráficos de influencias, favoritismos, y otras actividades indeseables, los autores no deben saber quiénes son sus revisores. Y el editor, en medio, hace posible que este proceso se lleve a cabo de forma anónima[1]. Estos pares de los que hablamos, son otros investigadores, igual que los autores, trabajadores dolientes a los que la revista les solicita que, por el bien de la ciencia sacrosanta, trabajen para ella... para la revista. Por supuesto, gratis. De este modo, entre todas las infinitas labores que deben desempeñar los investigadores está la nada trivial tarea de revisar el trabajo de sus pares. Podríamos preguntarnos si este trabajo debería estar remunerado. No tengo respuesta para eso, pero desde luego, la introducción de gratificaciones en el proceso de revisión por pares, introduciría también una nutrida serie de problemas éticos. Supongo que no se puede arreglar una cosa sin romper otra.
Los editores de muchas revistas, por cierto, igual que los pares, son también investigadores que compaginan su trabajo científico con esta tarea. Esto explicaría que la percepción de su trabajo sea oscura, enigmática e irregular. Los editores son trabajadores que tienen jefes, que a su vez tienen jefes, en revistas que a su vez tienen sus propios intereses. Sin embargo, en revistas como Nature, el editor es un profesional a sueldo de una empresa. Mientras que, en las primeras, los editores, al no estar pagados, tienen cierto margen de maniobra para imponer su criterio personal y tratar de mantener unos ciertos estándares éticos; en las segundas no son otra cosa que la voz de su amo.
Pero continuemos con el proceso de publicación. Supongamos, en este punto, que se ha superado la revisión por pares de forma exitosa. El editor nos informará de que tendrá a bien publicar nuestro artículo y nos recordará que ahora le debemos a la revista cierta cantidad de dinero, que por dar un orden de magnitud estableceremos en 1000€ (Morrison, 2021).
Tras todo este proceso obscenamente asimétrico, en el que los investigadores cargan con la mayoría del trabajo y además pagan por llevarlo a cabo, ¿reciben alguna recompensa por esta labor? Por supuesto que no. ¿Reciben alguna compensación en concepto de regalías (royalties) o derechos de autor por el uso de su trabajo en la propia revista, o posteriormente en medios de comunicación? No. No solo eso, los autores deben renunciar a todos sus derechos de propiedad intelectual relativos al artículo para cedérselos a la revista. Pero, al menos, el trabajo será público... ¿O no? El investigador se ha sacrificado y financiado la publicación del artículo (en muchas ocasiones con dinero público) para que ésta sea accesible a sus colegas, y a la sociedad en general, ¿no? No necesariamente, o al menos, no por defecto. En principio, todo el que quiera leer ese artículo, y esto incluye al propio autor, deberá comprar la revista (o el artículo individualmente), o deberá trabajar para una institución que pague la suscripción a dicha revista.
En resumen: los investigadores llevan a cabo la investigación, escriben el artículo, lo formatean y maquetan, diseñan las figuras, corrigen los artículos a sus colegas y (en muchos casos) actúan como editores. Y tras todo este trabajo, pagan para que su artículo sea publicado. Y, finalmente, pagan para leer su propio artículo, o el de sus colegas. Se podría decir que pagan dos veces por un trabajo que ellos mismos han hecho. Pagan, ¿en concepto de qué? ¿Gastos de impresión? ¿El exiguo trabajo del editor? ¿El mantenimiento de la página web de la revista? Aún no lo sabemos.
Todo este proceso es delirante. La existencia de la publicación científica se basa en una necesidad: la información debe compartirse libremente para que el conocimiento avance. Las revistas deberían ser el vehículo que permite satisfacer tal necesidad, y no un obstáculo. Cabría por ejemplo preguntarse cómo afecta este sistema de precios y pagos a distintos investigadores, en distintos estadios de su carrera científica, con distintos presupuestos en distintos países con distintos niveles de riqueza[2].
En cualquier caso, el pago por publicar, el pago por la compra de la revista, o (en algunos casos) los anuncios publicitarios, no son las únicas formas en las que las editoriales científicas amasan buenas cantidades de dinero. Podría ocurrir, por ejemplo, que una revista, tras haber aceptado nuestro artículo, nos envíe un segundo correo en el que al tiempo que alaban nuestros recientes logros científicos, nos propongan enviarles una imagen para que aparezca en la portada. El que un artículo aparezca reseñado en la portada de una revista es una idea cautivadora para los autores. Significa más visibilidad para su trabajo y un cierto reconocimiento de que el artículo es singularmente relevante. Por supuesto, este hipnótico correo no se lo envían sólo a un investigador. Si en ese número de la revista, hay 10 o 20 artículos, es muy posible que este correo les llegue a todos, o a una gran parte de los autores[3]. Y en este punto, ¿quién se hará cargo de hacer dicha imagen, o de pagar a un diseñador para que cree esta imagen para la portada? Los investigadores, naturalmente, como de todo el resto del trabajo. La respuesta general es que la mayoría de autores a los que les llega este segundo correo, hechizados por este canto de sirena, prepara o pide que preparen tal imagen. La revista, ahora, con varios diseños para su portada, elegirá uno. Y así será como el investigador, autor de la imagen agraciada, recibirá un tercer correo felicitándole porque su trabajo aparecerá reseñado en la portada, usando el diseño que él mismo ha enviado, y anunciándole que ahora le debe a la revista una cantidad que puede oscilar entre los 1.500 y los 5.000€, dependiendo de la revista.
Han leído bien.
El investigador emplea tiempo o dinero (o ambos) en preparar una imagen, y a continuación paga para que ésta sea publicada. Esta situación es un auténtico disparate. Pero la cosa no queda ahí. Si este sistema para obtener portadas gratis, no solo le ahorra a la revista el sueldo de un fotógrafo o un diseñador, sino que le aporta copiosos beneficios, ¿qué les impide llenar la revista de portadas? Dicho y hecho. Así hoy algunas revistas no sólo tienen un front cover (portada), sino también un inside cover, un back cover, y un inside back cover[4]. En el mundo de la publicación científica, igual que en el País de las Maravillas, no opera ninguna lógica conocida.
Atender el negocio
Siendo justos hay que decir que, entre toda la inabarcable fauna de revistas científicas, no todas cobran por publicar. Una gran cantidad de revistas no imponen pagos, y otras sólo los solicitan a modo de donación voluntaria para sostener a la sociedad científica bajo la cual se publica tal revista. Igualmente, algunas revistas pertenecen a empresas privadas, y otras a fundaciones o asociaciones (también privadas) que se alimentan de las cuotas de sus miembros. Sin embargo, en 2017 se estimaba que el negocio editorial presentaba ganancias globales totales de 20.000 millones de dólares. Y en 2010, la importante editorial Elsevier declaró beneficios de 700 millones de dólares sobre unos ingresos totales de poco más de 2.000 millones de dólares (Buranyi, 2017). Nótese el rendimiento obtenido. Por otro lado, de acuerdo con un estudio de 2019, el 75% del dinero empleado en publicaciones científicas en Europa, se gasta tan solo en cinco grupos editoriales (Mehta, 2019). Cuatro de ellos, compañías privadas. Y la estadística indica que “los autores prefieren publicar en revistas caras” (Morrison, 2021).
Cabría preguntarse el por qué los investigadores, en este caso, los europeos, deciden voluntariamente someterse a esta forma de extorsión. Y trataré de dar una posible respuesta.
¿Alguna vez se han preguntado cómo se evalúa la calidad de un investigador científico? Si uno quiere otorgar una plaza de funcionario, o un contrato en un centro de investigación, o una buena suma de dinero a un investigador en forma de proyecto, deberá evaluar su currículum. Y en un currículum típico, aparecerán méritos como proyectos o tesis dirigidas, labores de docencia, tareas de gestión, congresos y ponencias a los que se ha asistido, o tareas de divulgación. Pero el principal protagonista en el currículum de un investigador, lo que distingue a los buenos de los regulares, es el número e importancia de sus publicaciones científicas.
¿Y cómo se evalúa la importancia de una publicación científica? Una forma posible es contar el número de veces que es citada, que vendría a ser como evaluar la conmoción que causa tal publicación. Si un artículo llama la atención de la comunidad científica y, por ejemplo, abre un campo de investigación, será citado abundantemente en otras publicaciones. El número de veces que se cita un artículo, nos da una medida de su relevancia, de su popularidad y, tal vez, de cuánta ciencia se está construyendo a su alrededor. Y finalmente, una revista cuyos artículos son muy citados se convertirá en una revista importante.
Y lo que parece haber ocurrido es que la comunidad científica, inconscientemente y de forma colectiva, ha decidido dónde deben ser publicados los artículos relevantes, y con ello, cuáles son las revistas importantes. Y en cuáles deben publicar los "buenos científicos". Y qué publicaciones en qué revistas nos van a acabar premiando con un contrato o con un opulento proyecto de investigación, o sencillamente con una modesta carrera en ciencia. Y estas revistas, sabedoras de este poder y de cómo está en su mano afectar el currículum de un cierto investigador, pueden establecer este sistema surrealista, en el que los científicos pagan por trabajar para ellas. Eso explicaría por ejemplo que el coste de publicación sea proporcional a la importancia percibida de la revista (Solomon and Björk, 2012).
Se da, por tanto, la circunstancia de que estas entidades privadas, terminan recibiendo tremendas cantidades de dinero por parte de centros de investigación públicos y privados, primero, en el proceso de publicación, y segundo, en la compra y suscripción de los centros de investigación a tales revistas. Y no solo eso, sino que tenemos que empresas privadas, deciden quién recibe fondos públicos en forma de becas, proyectos o contratos, y acaban dictando el sentido y dirección de la investigación científica.
La publicación científica se ha convertido así en un negocio, en el peor sentido de la palabra. Uno de estos negocios oscuros que resultan ser buenos compañeros de cama de las estructuras públicas, de formas extrañas y enrevesadas. Una suerte de tumor que, debido a sus ramificaciones, ya no es posible extirpar sin dañar el tejido sano.
Y como negocios (o tumores) que son, deben crecer.
Por ejemplo, si se puede hacer proliferar el número de portadas en una revista, ¿no se podrá también multiplicar el número de revistas? Desde su aparición en el siglo XVII, el número de publicaciones científicas no ha hecho sino aumentar: en parte, obedeciendo al incremento de la complejidad y especificidad del conocimiento científico, y también al aumento del número de investigadores. Pero, en parte, también catalizando esta fiebre enloquecida por mejorar currículos a causa de la cual los investigadores hoy tratan de publicar todo lo que pueden (Delgado-López-Cózar and Martín-Martín 2019). Y por el camino, alimentando la codicia y el poder del monstruo editorial.
Emulando el conocido aforismo swim or sink (nada o húndete) asociado al capitalismo, en ciencia se maneja el no menos conocido publish or perish (publica o muere). Los datos indican que en 2013 se publicaron en el mundo 1.7 millones de artículos científicos. En 2022, este número se acercaba a los 3 millones. Del mismo modo, el número de revistas científicas, se calcula, ha aumentado de forma incesante hasta llegar casi a las centenas de millar [Figura 1]. Y paradójicamente, este aumento continuo del número de revistas y artículos publicados, no parece estar produciendo más que efectos negativos en el ecosistema científico (Hanson et al., 2024).
Figura 1.
Número de artículos y revistas académicas por año.
Nota. En 1b) la escala vertical está, impúdicamente presentada en escala logarítmica (Hanson et al., 2024; Ghasemi et al., 2022).
Una cantidad ingente, ¿de qué?
Actualmente, se publica una cantidad de artículos cuyo conocimiento, lectura y análisis por parte de los investigadores, es sencillamente inabordable. La fiebre por publicar ha provocado, por ejemplo, que vaya siendo más frecuente encontrar articulitos, cada vez más insustanciales, sin que casi importe que nadie llegue a leerlos. Es preferible publicar un resultado repartido en diez articulitos vacíos a lo largo de un año, que preparar un artículo completo y con contenido relevante. Lo segundo tendría el coste de estar doce interminables meses sin publicar. Que un investigador pase un año sin publicar (cualquiera que sea la razón), hace levantar una ceja al resto de investigadores, y daña terriblemente el prestigio y posibilidades de medrar de los científicos. Y, por ello, es importante mantener el ritmo de publicaciones, aunque eso exija que, ocasionalmente, debamos escribir un artículo vacío que nadie va a leer.
Cabe preguntarse si estos millones de artículos científicos, que estamos produciendo, están generando una cantidad proporcional de conocimiento o, sencillamente, suponen un gasto inútil de papel, tinta y espacio en discos duros. ¿Se estarán convirtiendo los científicos en una entidad tautológica, de modo que su único propósito sea el de mantener su estatus profesional, y no el de generar conocimiento, como se presupone?
Por ejemplo, y siguiendo con esta reflexión: para que los artículos científicos formen parte de este edificio de conocimiento que supuestamente estamos construyendo, deben al menos ser leídos por otros investigadores (recordemos las tribulaciones de Halley). Es difícil establecer si un artículo se ha leído o no y por parte de cuánta gente. Pero un dato al que podemos acceder es el número de veces que ha sido citado en otros artículos. Un estudio de 2018 indica que el número de artículos no citados oscila entre el 12% en ciencias médicas, y el 70% en el área del arte y humanidades (Sugimoto and Larivière, 2018). Otro estudio de 2002 concluyó que de las 4300 citas que había recibido un importante artículo en física de la materia condensada, solo el 20% de los autores que citaban el artículo parecían haber leído dicho artículo. El 80% restante lo citaron incorrectamente, asumiendo que en el artículo se decía algo que en realidad no se decía (Simkin and Roychowdhury, 2002).
La interpretación de esta información debe hacerse con cautela. Los motivos para citar (o no) un artículo, pueden ser muy diversos. Una publicación científica puede ser muy citada porque lo que se comunica en ella sea tremendamente disruptivo y esté abriendo un área de investigación. O porque lo que se dice en ella sea erróneo. O puede ocurrir que un artículo absolutamente desconocido, se vuelva relevante pasados 20 años de su publicación. O que un trabajo pase bajo el radar porque editores de distintas revistas no han sabido entender su importancia y ha terminado publicándose en una revista poco conocida. Y, finalmente, y seguramente lo que ocurre con más frecuencia, puede ser que un artículo no se cite porque sea completamente irrelevante, cosa que nos recuerda el aforismo "esto ni siquiera está mal"[5].
En cualquier caso, estas métricas que indican que cada vez parece haber más artículos no citados, podrían estar hablando de una cierta dilución en la cantidad de conocimiento que se deposita en los artículos publicados. Una posible tendencia hacía la banalidad en ciencia.
Por otro lado, si los artículos van a estar vacíos de contenido, y nadie espera que sean leídos, su escritura no entraña mucha dificultad. Con la destreza suficiente se puede preparar un artículo abusando de lugares comunes e ideas manidas, mientras se aliña el texto con alguna gráfica irrelevante, parte de una investigación aún a medio cocer. A esta ciénaga han venido a añadir más lodo las deficientes IAs generativas, que nos ahorran ese tiempo de escritura, que ahora podemos emplear en generar más ideas huecas (Haider, Söderström, and Ekström, 2024). Guillaume Cabanac (Kwon, 2021), un investigador de la Universidad de Toulouse, dedica gran cantidad de su tiempo a detectar anomalías de este tipo: artículos sin sentido, traducciones autogeneradas, usos torpes de IAs en la escritura de trabajos o en su traducción al inglés, o sencillamente, textos frankenstenianos compuestos por trozos de otros artículos. Pistas, en fin, que señalan artículos "basura" que han sido escritos con el único propósito de añadir un ítem al currículum de un investigador que ha sabido aprovecharse de las debilidades del sistema editorial.
El proceso de revisión por pares también se ha visto afectado por este desquiciado aumento en el número de publicaciones. Los investigadores no tienen tiempo físico para corregir, con la atención que esta tarea requiere, los millones de artículos que son publicados cada año. Los errores, descuidos, contradicciones o el fraude científico, por ejemplo, elementos que se podrían detectar durante la fase de revisión por pares, no parecen estar disminuyendo. En 2023 se batió un nuevo récord de artículos retractados (Van Noorden, 2023). Es obvio que ni editores, ni correctores, están siendo capaces de hacer frente a esta tarea de manera efectiva. Y las revistas, en otra muestra de desfachatez que ya no sorprende, no se hacen, ni tan siquiera mínimamente, responsables de ello.
En 2012, Amgen, una empresa dedicada a desarrollar tratamientos médicos, realizó un estudio sobre 53 artículos científicos en el área de la oncología (Baker, 2016). Se eligieron para este estudio los artículos más relevantes en el área. Amgen repitió los experimentos llevados a cabo en estos 53 artículos. Tras meses de trabajo encontró que en sólo seis de estos artículos (el 11%), los resultados eran reproducibles. En un estudio similar, esta vez en el área de la psicología social, de los 100 trabajos analizados, el nivel de reproducibilidad resultó ser del 30% (Baker, 2015).
Existiendo numerosas razones por las que pueda ser difícil reproducir un resultado experimental, estos números son escandalosos. Y sugieren todo tipo de malas praxis que van desde el mero descuido en la experimentación, al fraude científico.
Y como éramos pocos, en el escenario aparecieron las revistas depredadoras (predatory journals). Estas revistas se definen como aquellas en las que se puede comprar la publicación de un artículo (Bogost, 2008; Elmore and Weston, 2020). Puede usted olvidarse de largos procesos de revisión por pares, o molestos controles de calidad. Su artículo puede ser erróneo, incluir notorias falsedades o ser directamente una acumulación de palabras sin sentido. Los predatory journals no son quisquillosos y publicarán su artículo sin hacer preguntas. Listas recientes nos hablan de no menos de 3000 de estas revistas (The Predatory Journals Team, 2024).
En los últimos años, han aparecido también fábricas de artículos o paper mills: empresas que escriben artículos falsos y cuya autoría se puede comprar (Singh, 2024). Otras empresas nos ofrecen aumentar el número de citas de nuestros artículos por una cierta cantidad de dinero (Richardson, 2024).
¿Quién mató al comendador?
El estado de cosas es tan desolador como complicada su reparación. Las soluciones, en caso de haberlas, no parecen sencillas. Uno diría que hay un culpable claro: las revistas. O al menos, ciertos grupos editoriales. Y un segundo actor que es a la vez víctima y verdugo: la comunidad de investigadores que bailan al son -a veces no tienen más remedio- que tocan estas empresas multinacionales. Supongo que es justo decir que todos somos responsables de este estado de cosas. Todos matamos al comendador.
Los investigadores son absolutamente conscientes y conocedores de la situación, tanto si están de acuerdo con ella, como si no. Esto que he descrito aquí se aprende durante el primer año de tesis doctoral. Y yo diría que la mayoría de los científicos con los que tengo contacto, que debido a mi ocupación profesional son muchos y de múltiples áreas de la ciencia, están en alguna medida incómodos, cuando no horrorizados, con la situación. Pero todos están horrorizados de forma individual. Y es muy difícil hacer una revolución de una sola persona.
Y a pesar de todo, los científicos, que por lo general son muy levantiscos, muestran con regularidad su disconformidad y su intención de corregir este disparate. Porque al final del día es justo decir que la mayoría de los investigadores son buenos trabajadores armados con una razonable cantidad de ética profesional.
Por poner algunos ejemplos, el estado de la publicación científica se debate y critica en la comunidad de forma continua. Podemos citar así el trabajo de divulgación de Sabine Hossenfelder (2017), doctora en física y comunicadora científica que ataca con ferocidad las malas praxis en ciencia y en particular las relacionadas con la publicación. También es interesante el trabajo de la bióloga Elisabeth Bik, que dedica gran parte de su tiempo a detectar y señalar el fraude en forma de imágenes manipuladas en artículos científicos (Bik, 2024). En la misma línea, los investigadores detrás del blog Data Colada (Simonsohn et al., 2013) hacen uso de análisis de datos para comprobar la veracidad de artículos publicados en ciencias sociales. Realizando esta suerte de segunda revisión por pares, han descubierto sonoros casos de fraude en su área de estudio (Baek, Isaac, and Writers, 2024; Lewis, 2023; Simonsohn et al., 2021).
Este amplísimo movimiento, del que tan solo he dado unos pocos ejemplos, pone de manifiesto la vacuidad de la función editorial, así como el deteriorado estado de salud de la revisión por pares. Y me gustaría hacer notar que, de nuevo, esta responsabilidad casi policiaca por mantener la santidad de la ciencia, ha vuelto a recaer en manos de los propios investigadores.
Este constante malestar hace que regularmente aparezcan iniciativas tratando de resolver o, al menos, paliar el problema. Un buen ejemplo de esto es el proyecto Arxiv (2024), que, habiendo nacido como un simple repositorio mediante el cual compartir artículos en proceso de escritura, se ha convertido en el lugar donde los investigadores presentan novedades, antes incluso de que se publiquen en revistas. A día de hoy, la plataforma tiene alojados 2.4 millones de trabajos, cubriendo múltiples áreas de la ciencia. La página, que no cuenta con un sistema de revisión por pares, ha desarrollado filtros para mantener ciertos estándares de relevancia y seriedad. El hecho de que en Arxiv los textos sean libremente accesibles ha producido colaboraciones importantes. O ha servido de plataforma para que investigadores lancen preguntas a la comunidad sobre observaciones desconcertantes (Boyajian et al, 2016). Incluso ha permitido hacer detección temprana de fraudes (Ball, 2023) y la plataforma ha facilitado el llevar a cabo numerosos y fructíferos debates.
Otro ejemplo de esfuerzo colectivo por parte de la comunidad por mejorar la situación, es la reclamación de que los artículos sean gratuitos y libremente accesibles. Ya que los investigadores financian la publicación de sus propios artículos, éstos deberían ser gratuitos (o al menos más baratos), y más fácilmente accesibles tanto para los investigadores como para el público en general: lo que hoy se conoce como open access (acceso abierto) (Suber, 2015). Y, los conglomerados editoriales, siempre atentos a las necesidades de la comunidad, recientemente han aceptado tal reivindicación. Así, hoy los investigadores pueden elegir que su artículo sea publicado en la forma tradicional (con el coste tradicional), o bien en un régimen de "acceso abierto" (con el coste tradicional multiplicado por 10). Por poner sólo un ejemplo, publicar en régimen de acceso abierto en Nature puede alcanzar los 12.000€. El coste de la publicación (junto con la indecencia de las revistas) se dispara hasta cantidades desorbitadas si uno quiere publicar en régimen abierto.
Igual que antes, uno podría preguntarse, ¿quién en su sano juicio aceptaría un trato como este? Una posible respuesta sería que un grupo de investigación tenga, no solo el dinero que hace falta para publicar en abierto, sino también el compromiso moral de hacerlo. Y decida sacrificar parte de su financiación para hacer su trabajo más accesible. Otra posible respuesta sería que hoy muchos proyectos europeos de financiación pública, obligan a los investigadores a publicar en acceso abierto (European Comission, 2012). Y es así como una reclamación legítima por parte de los científicos, y una mejora social (la publicación en abierto), se transforma en ganancias para entidades privadas y pérdidas para la investigación (Krawczyk and Kulczycki, 2021).
Con estos bueyes hay que arar
Un punto clave para entender la deriva que ha tomado la ciencia es el hecho de que, recientemente su práctica se haya convertido en un trabajo convencional. Ha sido este uno de los numerosos avances sociales que se dieron durante el siglo XX. La situación profesional de los investigadores se ha regularizado en casi todo el mundo y de este modo se ha abierto a todos los estratos de la sociedad. Ya no es una labor propia de aristócratas o rentistas. Este cambio ha permitido que mucho talento llegue a la ciencia sin importar su extracción social. Y esto es una buena noticia para la comunidad científica y la sociedad en general.
Y, si la actividad científica se ha convertido en un trabajo convencional, no debería extrañarnos que esto haya traído consigo, junto a los beneficios, todas las miserias y malas conductas habituales en un trabajo convencional: competitividad mal entendida, tráfico de influencias, falta de escrúpulos, codicia, sinvergüenzas, déspotas, ineptos o estafadores. Todos estos elementos comparten ecosistema con trabajadores serios, honestos, de ética intachable que respetan de una forma casi religiosa la dignidad del trabajo científico. Y que mantienen sus estándares morales a pesar de que, en este nuevo escenario, esto suponga un lastre a la hora de competir con colegas menos decentes.
El fraude científico y las malas praxis no son algo nuevo (Russell, 2012). Sin embargo, la comunidad científica no ha dejado de crecer desde el siglo XVII. La UNESCO calcula que el número de científicos pasó de 7,79 a 8,85 millones entre 2014 y 2018 (UNESCO, 2021) y parece haber aumentado exponencialmente desde principios del siglo XX. Así que es razonable concluir que hoy habrá muchos más sinvergüenzas en ciencia que hace 120 años. Y dadas las cantidades de dinero que los investigadores invierten en las editoriales, uno esperaría al menos que éstas se esforzasen por proteger a la ciencia de estos canallas. Nada más lejos.
Entre 2000 y 2001, un desconocido investigador, Jan Hendrik Schön se convirtió en el físico más famoso del planeta. En tan solo un año, hizo tres descubrimientos de enorme relevancia en el campo de la física. Schön parecía estar viviendo un annus mirabilis similar al de Albert Einstein. Durante este tiempo llegó a publicar 16 artículos en Nature y Science. Es difícil explicar lo improbable que es esto. Hay investigadores con carreras maravillosas y que hacen contribuciones científicas de gran importancia, que no logran publicar nunca en estas revistas. Y Schön, en 2001, dio en la diana en 16 ocasiones. En total, durante 2001 publicó 38 artículos en diversas revistas.
Por supuesto, y para asombro de muy pocos, en 2002 se descubrió que todo había sido un fraude. Schön había inventado todo lo que había publicado. ¿Y cómo había logrado un joven de 30 años, casi recién llegado al mundo científico, engañar a estos centenarios colosos editoriales? Ahora que tenemos una buena cantidad de información sobre lo que sucedió, Schön, lejos de ser un genio del crimen, parecía más bien una persona torpe e inestable, sin una comprensión clara del funcionamiento del método científico y que, casi accidentalmente, supo darle, a estos conglomerados, lo que necesitaban: artículos y descubrimientos inverosímiles, que revolucionaban el mundo de la física cada dos meses. Resultados que les beneficiaban aumentando las ventas de sus revistas y su presencia en medios de comunicación: “La física se vuelve a romper! Léalo en Science!!!" Las casi infantiles manipulaciones con las que Schön "engañó" a las revistas incluían gráficas duplicadas o datos torpemente manipulados cuya falsedad podía casi verificarse a simple vista.
Y hasta aquí el asunto no es grave. Es inevitable que, en ciencia, como en todas partes, haya malhechores que intentan aprovecharse del sistema. Lo realmente serio del asunto fue el comportamiento que mostraron las revistas antes, durante, y tras este humillante incidente. Se rumorea que las revistas manipularon el sistema de revisión por pares para favorecer que estos artículos fueran publicados lo más rápido posible. Y sólo podemos rumorear porque las revistas, en el mismo instante en que estalló el escándalo, se acogieron a su derecho a no declarar. En un mundo en que la transparencia debe ser ley, las revistas barrieron todo este asunto bajo la alfombra. Abrazándose a esta omertá, se negaron a publicar sus interacciones con Schön en las que al parecer le llamaban con cierta frecuencia para preguntarle si tenía algo nuevo para publicar. O negociaban con él el publicar en su revista y no en la de su competidor a cambio de vaya usted a saber qué.
De acuerdo con el libro de Eugenie Samuel Reich, Plastic Fantastic (2009), una vez se desveló la enormidad del fraude, los editores de Nature aseguraron haber "perdido" toda prueba de interacción con "ese tal Schön del que usted me habla". Por su parte, los editores de Science sencillamente se negaron a revelar información al respecto, bajo el infame pretexto de que la relación entre autores, editores y revisores debía mantenerse en secreto. Así, cuando empezaron a aparecer revisores que declararon haber hecho reportes negativos sobre los artículos de Schön y cómo estos reportes negativos habían sido desestimados por la revista, ésta les recordó, que "todo aquel revisor que hable públicamente sobre sus revisiones relacionadas con Science, será condenado al ostracismo por parte de la revista". Según Reich, estas declaraciones fueron hechas por Donald Kennedy (editor en jefe de Science entre 2000 y 2008) y se realizaron públicamente durante charlas en congresos científicos.
¿Cómo de cierto es lo que cuenta Reich en su libro? Es difícil saberlo. Gran parte de su información tiene como origen conversaciones, presencia en congresos y declaraciones a micrófono cerrado. Y, sin embargo, a nadie que haya trabajado en ciencia le puede sorprender que todo esto sea cierto. Diría que el sentir general es que todo esto es bien sabido por la comunidad. Y el caso de Schön solo fue un episodio en que esta forma de proceder, siendo habitual, se extremó.
El escándalo provocado por Schön fue tal que, a partir de entonces, muchas revistas obligan a los autores a especificar cuál ha sido su contribución en cada trabajo, y a certificar que todos los participantes están de acuerdo con lo que se escribe en ese artículo. Esto que a priori parece una forma de reforzar las normas éticas de la comunidad, es en realidad una artimaña legal para poder lavarse las manos, más libremente si cabe, frente a futuros escándalos.
Estos casos de fraude científico dañan por supuesto el prestigio de universidades, centros de investigación y de todos los que en ellos trabajan. Provocan reflexiones y debates acerca del estado de la producción científica. Los investigadores hacen ejercicios de autocrítica y contrición más o menos sinceros o efectivos. Y mientras tanto, nadie incluye al mundo editorial como parte del problema. Como un gato afortunado, las revistas siempre caen de pie. Se permiten incluso la desfachatez de ser plataformas de dicha discusión y señalamiento, por supuesto sin apuntar nunca a ellas mismas, como si fueran de algún modo ajenas a todo ello y no actores protagonistas de esta tragedia.
Sinvergüenzas como Schön, florecen en un sistema que premia la velocidad, la competitividad desmedida, el sensacionalismo, la cantidad en favor de la calidad y que castiga la cautela, la paciencia, la honestidad y la lentitud que requiere el que las cosas se hagan correctamente. Un sistema al que no le importa el que resultados útiles y relevantes sean el producto de muchas horas de trabajo, análisis y reflexión por parte de muchas personas que se desvelan por llevar su investigación a término. Un sistema que, de forma irresponsable y movido por un voraz apetito por el dinero, sacrifica los buenos usos que la ciencia requiere e invita a la comunidad a que los viole también, si puede ser, con más esmero que Schön. Un sistema que se ha rebajado al uso de los mecanismos de publicidad más inmundos, sin que importe que ésta tenga efectos negativos (Ball, 2004). Y, en fin, un sistema que no admite críticas y que amenaza con desterrar de la polis a aquellos que no sigan sus reglas.
Y, mientras que los felones que habitan en el ecosistema científico se aprovechan de este imperfecto y con frecuencia malintencionado sistema de publicación, el resto de investigadores, lo padecen, sin que, al sistema, como gran colofón, le importe mucho ni una cosa ni la otra, siempre que el alquiler se pague puntualmente.
En este solar deprimente, sin embargo, hay sitio para la esperanza (Woolston, 2021; Villatoro, 2023). La intención de este artículo, igual que el del continuo debate y crítica que tiene lugar dentro de la comunidad científica, no es el desmantelamiento del sistema científico sino su mejora. Una mejora que es posible. ¿Es la iniciativa privada la causante de este disparate? Por supuesto que no. Ya hemos dicho que la culpa puede ser repartida democráticamente entre toda la comunidad científica. Después de todo, los integrantes de estas empresas y sociedades son (o han sido) parte de la comunidad. ¿Pero es razonable que tengan beneficios desorbitados? ¿O que disfruten de un poder omnímodo? ¿O que actúen con tal falta de transparencia y responsabilidad? ¿O que dicten la dirección que ha de tomar la investigación científica? Como pueden ver, el espacio para la mejora es enorme.
Personalmente, y como ex miembro de la comunidad, elijo ser optimista. Los científicos han mostrado en numerosas ocasiones su capacidad para llegar a acuerdos y colaborar. Su talento para resolver problemas y sortear obstáculos. Diría que el atributo de la honestidad sigue abundando entre los que ejercen esta profesión. De otro modo, la ciencia ya se habría roto. O tal vez eso ya esté pasando y esto que escuchamos sean sólo los violinistas que tocan mientras se hunde el barco. Es difícil saberlo. Esperemos que no. Y esperemos también que tarde o temprano, previa caída del imperio o no, esta situación, como mínimo, mejore.
Bibliografía
ArXiv. (2024). ArXiv. Cornell University, New York. https://arxiv.org/
Baek, K., Isaac, B. & Writers, S. (2024, April 11). Harvard Business School Prof. Gino Accused of Plagiarism Following Data Fraud Allegation. The Harvard Crimson. https://www.thecrimson.com/article/2024/4/11/harvard-business-gino-plagarism-allegations/
Baker, M. (2015, April 30). First results from psychology’s largest reproducibility test. Nature, 1-2. https://doi.org/10.1038/nature.2015.17433
Baker, M. (2016). Biotech giant publishes failures to confirm high-profile science. Nature, 530, 141. https://doi.org/10.1038/nature.2016.19269
Ball, P. (2023, September 2). There's no room-temperature superconductor yet, but the quest continues. The Guardian. https://www.theguardian.com/science/2023/sep/02/room-temperature-superconductor-south-korea-lk-99-nuclear-fusion-maglev
Ball, P. (2004, October 8). The memory of water. Nature. The Guardian. https://www.nature.com/news/2004/041004/full/news041004-19.html
Bik, E. (2024). Science Integrity Digest. https://scienceintegritydigest.com/
Bogost, I. (2008). Write-Only Publication. IGI Global and Other Vampire Presses. https://bogost.com/writing/blog/writeonly_publication/
Boyajian, T. S., LaCourse, D. M., Rappaport, S. A., … Szewczyk, A. (2016). Planet Hunters X. KIC 8462852 - Where's the Flux? ArXiv, 1509.03622v2, 1-17. https://doi.org/10.48550/arXiv.1509.03622
Buranyi, S. (2017, June 27). Is the staggeringly profitable business of scientific publishing bad for science? The Guardian. https://www.theguardian.com/science/2017/jun/27/profitable-business-scientific-publishing-bad-for-science
Delgado-López-Cózar, E. & Martín-Martín, A. (2019). El Factor de Impacto de las revistas científicas sigue siendo ese número que devora la ciencia española: ¿hasta cuándo? Anuario ThinkEPI, 13, 1-16. https://doi.org/10.3145/thinkepi.2019.e13e09
Elmore, S. A., & Weston, E. H. (2020). Predatory Journals: What They Are and How to Avoid Them. Toxicologic Pathology, 48(4), 607-610. https://doi.org/10.1177/0192623320920209
European Comission. (2012). Commission Recommendation of 17 July 2012 on access to and preservation of scientific information. European Comission. https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:32012H0417&rid=1
Ghasemi, A., Mirmiran, P., Kashfi, K. & Bahadoran, Z. (2022). Scientific Publishing in Biomedicine: A Brief History of Scientific Journals. International Jounal of Endocrinology and Metabolism, 21(1), 1-10. https://doi.org/10.5812/ijem-131812
Haider, J., Söderström, K. R. & Ekström, B. (2024). GPT-fabricated scientific papers on Google Scholar: Key features, spread, and implications for preempting evidence manipulation. Harvard Kennedy School Misinformation Review, 5(5), 1-16. https://doi.org/10.37016/mr-2020-156
Hanson, M. A., Gómez, P., Crosetto, P., & Brockington, D. (2024). The strain on scientific publishing. ArXiv, 2309.15884v2, 1-66. https://doi.org/10.48550/arXiv.2309.15884
Hossenfelder, S. (2017). Science needs reason to be trusted. Nature Physics, 13, 316-317 https://doi.org/10.1038/nphys4079
Krawczyk, F., & Kulczycki, E. (2021). How is open access accused of being predatory? The impact of Beall's lists of predatory journals on academic publishing. The Journal of Academic Librarianship, 47(2), 1-11. https://doi.org/10.1016/j.acalib.2020.102271
Kwon, D. (2021). Nature's 10: ten people who helped shape science in 2021. Nature, 600(7890), 591-605. https://www.nature.com/immersive/d41586-021-03621-0/index.html
Lewis, G. (2023, September 30). They Studied Dishonesty. Was Their Work a Lie? The New Yorker. https://www.newyorker.com/magazine/2023/10/09/they-studied-dishonesty-was-their-work-a-lie
Mehta, A. (2019, November 6). 75% of European spending on scientific journals goes to 'big five' publishers. Chemistry World. https://www.chemistryworld.com/news/75-of-european-spending-on-scientific-journals-goes-to-big-five-publishers/4010616.article
Morrison, H. (2021, June 24). Open access article processing charges 2011-2021. University of Ottawa. https://doi.org/10.20381/ruor-26549
Newton, I. (2022). Principia Mathematica. Hansebooks.
Reich, E. S. (2009). Plastic Fantastic: How the Biggest Fraud in Physics Shook the Scientific World. St. Martin's Press.
Richardson, R. (2024, July 18). Engineering the world's highest cited cat, Larry. Reese Richardson. https://reeserichardson.blog/2024/07/18/engineering-the-worlds-highest-cited-cat-larry/comment-page-1/
Russell, M. (2012). The Piltdown Man Hoax: Case Closed. History Press.
Simkin, M. V. & Roychowdhury, V. P. (2002). Read before you cite! ArXiv, 0212043v1, 1-4. https://doi.org/10.48550/arXiv.cond-mat/0212043
Simonsohn, U., Nelson, L. & Simmons, J. (2013). Data Colada. Thinking about evidence and vice versa. https://datacolada.org/
Simonsohn, U., Nelson, L., & Simmons, J. (2021, August 17). [98] Evidence of Fraud in an Influential Field Experiment About Dishonesty. Data Colada. https://datacolada.org/98
Singh, S. (2024, May 21). Paper mills and the erosion of research credibility: Researchers beware. Editage. https://www.editage.com/insights/paper-mills-and-the-erosion-of-research-credibility-researchers-beware
Solomon, D. J. & Björk, B.-C. (2012). A study of open access journals using article processing charges. Journal of the American Society for Information Science and Technology, 63(8), 1485-1495. https://doi.org/10.1002/asi.22673
Suber, P. (2015). Open Access Overview. http://legacy.earlham.edu/~peters/fos/overview.htm
Sugimoto, C. R., & Larivière, V. (2018). Measuring Research: What Everyone Needs to Know. Oxford University Press.
Suiter, A. M., & Sarly, C. C. (2019). Selecting a Journal for Publication: Criteria to Consider. Missouri Medicine, 116(6), 461–465. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6913840/
The Predatory Journals Team. (2024). What is a predatory journal? https://predatoryjournals.org/home
UNESCO. (2021). UNESCO Science Report: The race against time for smarter development. United Nations Educational, Scientific and Cultural Organization. https://unesdoc.unesco.org/ark:/48223/pf0000377433
Van Noorden, R. (2023, December 12). More than 10,000 research papers were retracted in 2023 - a new record. Nature. https://www.nature.com/articles/d41586-023-03974-8
Villatoro, F. R. (2023, March 24). Clarivate anuncia las revistas expulsadas del Web of Science y las que perderán su índice de impacto en el JCR de 2023. La Ciencia de la Mula Francis. https://francis.naukas.com/2023/03/24/clarivate-anuncia-las-revistas-expulsadas-del-web-of-science-y-las-que-perderan-su-indice-de-impacto-en-el-jcr-de-2023/
Woolston, C. (2021, June 25). Impact factor abandoned by Dutch university in hiring and promotion decisions. Nature. https://www.nature.com/articles/d41586-021-01759-5
[1] Los pares, sin embargo, a veces, sí conocen la identidad de los autores, lo cual introduce cierta parcialidad en el sistema de revisión.
[2] Cabe hacer notar que algunas revistas tienen precios específicos para países en vías de desarrollo.
[3] Este tipo de proceder recuerda mucho al de estafas bien conocidas relacionadas con aristócratas africanos.
[4] Véase, por poner un ejemplo, el caso de muchas de las revistas de la editorial Wiley.
[5] Das ist nicht nur nicht richtig; es ist nicht einmal falsch!, "Esto no solo no es cierto, ni siquiera está
mal!", frase atribuida al físico teórico Wolfgang Pauli, que se emplea para indicar la falta de relevancia o interés de una idea.