El investigador del Consejo Superior de Investigaciones Científicas (CSIC) Ismael Rafols
del Instituto de Gestión de la Innovación y el Conocimiento INGENIO, centro mixto del
CSIC y la Universitat Politècnica de València, es uno de los autores del Manifiesto de
Leiden, un documento redactado por cinco expertos en evaluación científica que
presenta un decálogo de principios para el empleo transparente y eficaz de los
indicadores bibliométricos, y que ha sido publicado por la revista Nature.
La comunidad científica es consciente desde hace varios años de que se ha producido
un gran incremento en el uso de indicadores bibliométricos a la hora de realizar las
evaluaciones de la actividad científica. Incluso desde la comunidad de expertos en
bibliometría hay una percepción de que este hecho, más que ayudar a la gestión de la
actividad científica, puede estar generando nuevos problemas. En España, por
ejemplo, las oficinas de evaluación han institucionalizado el uso de indicadores
bibliométricos de manera casi automática, provocando situaciones como que la
adjudicación de los sexenios a los investigadores dependa de su factor de impacto,
afectando en muchos casos de manera negativa a la investigación.
El pasado septiembre se celebró en la Universidad de Leiden (Países Bajos) la 19th
International Conference on Science and Technology Indicators en la que, entre otros
temas, se habló de la posibilidad de redactar un documento conjunto que recogiera
una serie de principios que deberían servir como guía para un uso responsable de los
indicadores bibliométricos, dando lugar a lo que se ha llamado el Manifiesto de Leiden.
El Manifiesto de Leiden agrupa diez principios como guía para el empleo de los
indicadores bibliométricos en la evaluación de la actividad investigadora, y que se
pueden resumir en: 1.- Los indicadores, como información cuantitativa que son, no
pueden sustituir a los criterios de evaluación valorativos de los expertos, sino que deben de servirles de ayuda. 2.- La evaluación de la actividad investigadora debe
ajustarse a la misión u objetivos de la institución, investigador o grupo que está siendo
evaluado. 3.- Se han de desarrollar indicadores que reflejen el impacto de actividades
de investigación de ámbito local o regional y que se desarrollan en otras lenguas
distintas al inglés. 4.- Los indicadores deben ser simples, respetando la complejidad,
para facilitar la transparencia de las evaluaciones. 5.- Los evaluados deben poder
verificar el análisis de los indicadores por los que se les ha evaluado, y si no están de
acuerdo pedir una reevaluación. 6.- Se deben tener en cuenta las diferencias en el
impacto que existen entre distintos campos de investigación a la hora de elaborar los
indicadores. 7.- No se pueden usar los indicadores sin tener en cuenta todo el contexto
del investigador. 8.- Hay que evitar las falsas concreciones y precisiones. Por ejemplo,
el factor de impacto de revista se publica con tres decimales, pero sólo un decimal
tiene sentido. 9.- Hay que tener en cuenta el efecto que provocan algunos indicadores
en tanto que incentivos que pueden favorecer unas actividades y desfavorecer otras.
10.- Los indicadores han de ser revisados y actualizados de forma continua.
Ismael Rafols, investigador del CSIC y uno de los autores del Manifiesto de Leiden,
explica que “en absoluto estamos contra los indicadores; son útiles y vistas las
dimensiones y responsabilidad social que tiene la ciencia, son incluso necesarios. Pero
una cosa es utilizarlos de modo responsable para comprender y ayudar a pensar en la
toma de decisiones, y otra es que sean utilizados de forma automática como máquinas
evaluativas. En el caso español la nueva tendencia hacia la máquina evaluativa se
asocia con la vieja burocracia y crea un producto tóxico que creemos que aleja la
ciencia del tejido económico y social”.
La versión en castellano del Manifiesto de Leiden se puede encontrar en:
http://www.ingenio.upv.es/manifiesto