Economía y Empresa 


¿Se puede medir la excelencia investigadora?

Parece evidente que la investigación científica es una actividad económica porque para ejercerla se requiere de unos recursos limitados que tienen usos alternativos, como el tiempo de los investigadores, las instalaciones o los equipos. Las entidades públicas y privadas que la subvencionan se enfrentan a la compleja tarea de evaluar su calidad y establecer políticas que permitan distribuir de la mejor forma posible un volumen limitado de recursos entre proyectos competitivos; Michael Nielsen, en su artículo titulado “The measurement and Mismeasurement of Science”, afirma que “es muy difícil incluso para los mejores científicos evaluar de forma exacta, precisa, el verdadero valor de un descubrimiento científico”.

La medición de la investigación es fundamental para la asignación de recursos

La medición de la investigación es fundamental para la asignación de recursos

La medición cuantitativa de la ciencia se realiza a través de un escaso número de métricas, impuestas habitualmente por poderosas agencias públicas de evaluación, que sirven para conocer qué publicaciones son las mejores, dónde conviene publicar, cuáles son las tendencias y qué valoración científica tiene un determinado equipo de investigación o investigador. Las acreditaciones de la ANECA (Agencia Nacional de Evaluación de la Calidad y Acreditación) y los Criterios de la CNEAI (Comisión Nacional Evaluadora de la Actividad Española) para valoraciones de sexenios, obligan a los investigadores españoles a conocer el funcionamiento de estos indicadores entre los que podemos destacar los siguientes:

Indice-h (h- Index): se calcula en función de la cantidad de citas que han recibido los artículos científicos de un autor. Para calcularlo se ordenan las publicaciones por el número de citas recibidas en orden descendente, se enumeran y se identifica el punto en el que el número de orden coincide con el número de citas recibidas. Podemos buscar el índice h en bases de datos como Web of Science, Scopus o Scimago Journal & Country Rank.

Nº total de artículos (“papers”) publicados: cantidad de publicaciones producidas por un autor durante un tiempo determinado.

Nº citas: contabiliza el número de citas que recibe un artículo o un autor, durante un periodo de tiempo, por parte de otros artículos o publicaciones. Solo se consideran aquellas citas que provienen de publicaciones de alto impacto.

Factor (Índice) de impacto: el Instituto para la Información Científica (ISI) calcula este indicador todos los años para las publicaciones a las que da seguimiento. Mide la repercusión que ha tenido una revista a partir del análisis de las citaciones que han recibido los artículos que se han publicado en ella y permite comparar revistas, establecer rankings y reflejar la relevancia relativa de cada título.
Estas métricas, a pesar de calcular con precisión ciertos atributos, están recibiendo críticas por generar algunos incentivos perversos:

• Obsesionarse solo con las revistas de gran impacto.

• Fragmentar o dividir los contenidos en el mayor número de papers posibles para contabilizar más publicaciones.

• Pausar las publicaciones según el timing de las renovaciones de las subvenciones, o de las exigencias de la carrera profesional, en lugar de presentar los resultados del trabajo cuando está listo.

• Adoptar comportamientos auto-promocionales como el intercambio de citas o las autorías gratuitas.

Las métricas son muy importantes para la evaluación de la ciencia

Las métricas son muy importantes para la evaluación de la ciencia

Cuando estos incentivos perversos se entrelazan pueden tener un impacto muy negativo en los patrones de asignación de recursos y dificultar un análisis objetivo y transparente de la producción investigadora. Por otro lado, el desarrollo de las nuevas tecnologías ofrecen nuevos escenarios para la realización de los estudios métricos y están emergiendo plataformas de acceso abierto que pueden alterar el modelo de distribución actual; algunas disciplinas evolucionan ya en ese sentido y los investigadores están dejando de considerar a las revistas de alto impacto su único canal de difusión y transferencia. Para profundizar en este movimiento de publicaciones de código abierto se puede consultar el Directory of Open Access Journals (DOAJ) que cuenta actualmente con una base de datos de más de 1,6 millones de artículos de revistas de 133 países.

Se empieza a vislumbrar, por tanto, un cambio en las fuentes de transmisión del conocimiento y cabe preguntarse si un aumento de la accesibilidad a la producción científica se traducirá en una mejora de la reputación en el mundo académico. El objetivo último siempre debería ser que la evaluación de la actividad investigadora facilitase el establecimiento de políticas de asignación de recursos basadas en la búsqueda de la excelencia.

Vía| Sintetia

Más información| CNEAI, Colectivo Burbuja, Sin permiso, Ciencia Hoy

Imagen|Time to evaluate, Metro

En QAH|¿Tiene la ciencia siempre la última palabra en todo?, Entrevista a Eduardo Punset

RELACIONADOS