La reforma de la evaluación de la investigación
En los últimos años se ha gestado una corriente internacional que señala la necesidad de reformar las prácticas de evaluación de la investigación. Esta corriente surge como respuesta a una excesiva dependencia de métricas como el número de publicaciones o citas, y busca valorar la diversidad de contribuciones científicas de forma más justa, inclusiva y alineada con los principios de ciencia abierta. Con el objetivo de abrir este debate, la comunidad internacional se ha posicionado en declaraciones y manifiestos como la Declaración de San Francisco DORA (2012), el Manifiesto de Leiden (2015) o los Principios de Hong Kong (2019).
A nivel europeo, la Comisión Europea ha asumido este compromiso como parte de la reforma del nuevo Espacio Europeo de Investigación (ERA), promoviendo prácticas de evaluación que reconozcan mejor la calidad, el impacto y la diversidad de la actividad investigadora.
En este marco, nace en 2022 el Agreement on Reforming Research Assessment (ARRA), fruto de un proceso de cocreación propiciado por la Comisión Europea, en 2021, que establece una dirección común para la reforma de la evaluación, respetando la autonomía y contextos específicos de las organizaciones.
Para llevar a cabo esta ambiciosa reforma se constituyó la Coalición de organizaciones para el avance de la evaluación de la investigación (CoARA), una red internacional que agrupa a más de 700 organizaciones comprometidas con una reforma profunda del sistema de evaluación.
ANECA se adhirió a CoARA en abril de 2023.
ANECA publicó su Plan de Acción 2024-2027 en el marco de CoARA en julio de 2024.
Principios y compromisos
El Acuerdo sobre la reforma de la evaluación de le investigación parte de una serie de principios que definen unas condiciones generales y aquellos que deben ser tenidos en cuenta para los criterios y los procesos de evaluación, así como un conjunto de diez compromisos que las organizaciones que se adhieran deberán cumplir.
-
Principios para las condiciones generales
- Cumplir las normas y prácticas de ética e integridad.
- Salvaguardar la libertad científica.
- Respetar la autonomía de los organismos de investigación.
- Garantizar la independencia y transparencia de los datos, de las infraestructuras y de los criterios empleados para la evaluación de la investigación y para determinar su impacto.
Principios para los criterios y procesos de investigación
Principios de Calidad e Impacto
- Centrar los criterios de la investigación en la calidad, lo que supone recompensar la originalidad de las ideas, así como la conducta profesional y aquellos resultados que van más allá del estado de la técnica. Supone también reconocer una variedad de misiones en la investigación, de metodologías, que los resultados sean verificables y reproducibles, el intercambio de datos y la colaboración abierta. Asimismo, se señala que la evaluación debe basarse en juicios cualitativos para los que la revisión por pares es fundamental, con el apoyo de indicadores cuantitativos, utilizados de forma responsable y cuando proceda.
- Reconocer las contribuciones que suponen un avance en el conocimiento, así como el (potencial) impacto de sus resultados, que pueden ser de muy distinta índole (de naturaleza científica, tecnológica, económica y/o social).
Diversidad, Inclusión y Colaboración
- Reconocer la diversidad de actividades y prácticas de investigación, de resultados, fomentando el intercambio temprano de conocimientos y datos y la colaboración abierta a muy diferentes agentes.
- Utilizar criterios y procesos de evaluación adaptados a los distintos perfiles sobre los que se aplican: en función de las características de cada disciplina, atendiendo a las diferentes etapas en la carrera investigadora, según se trate de enfoques multi, inter y transdisciplinares, etc.
- Valorar la diversidad de las funciones y de las carreras en la investigación; así como la ciencia en equipo y la colaboración.
- Garantizar la igualdad de género, la igualdad de oportunidades y la inclusión.
-
1. Reconocer la diversidad de las contribuciones, así como de las funciones y carreras en la investigación, en función de los objetivos y de la naturaleza de la misma.
2. Basar la evaluación de la investigación, en mayor medida, en métodos cualitativos, recuperando el peso fundamental de la evaluación por pares y sustentando estos juicios en métodos cuantitativos, haciendo un uso responsable de estos indicadores cuando proceda. Los esfuerzos que este abordaje requiere deberán ser debidamente reconocidos en las carreras de los profesionales participantes.
3. Abandonar el uso inadecuado de métricas basadas en revistas y publicaciones; en particular, el uso inadecuado del Factor de Impacto de las Revistas (JIF) y del Índice H.
4. Evitar el uso de las clasificaciones internacionales de las organizaciones de investigación, en tanto que sus métricas no resultan adecuadas para evaluar a los investigadores.
-
5. Destinar los recursos necesarios para llevar a cabo esta reforma de la evaluación de la investigación, permitiendo así lograr los cambios organizativos que se han comprometido.
6. Revisar los actuales criterios, herramientas y procesos de evaluación y desarrollar otros nuevos pertinentes, es decir, adaptados a los distintos contextos sobre los que resultarán de aplicación. Estos son, tanto las unidades e instituciones, como los proyectos e investigadores y siempre de acuerdo con los principios establecidos. Para ello, deberán trabajar en estrecha colaboración todos los agentes implicados.
7. Concienciar sobre la reforma mediante la comunicación, la orientación y la formación sobre los criterios y procesos diseñados, así como sobre su uso; a todos los agentes implicados.
8. Fomentar el intercambio de prácticas y de experiencias para permitir el aprendizaje mutuo, dentro y fuera de la Coalición. Evitar la fragmentación, favorecer la coherencia y con ello, la movilidad de los investigadores.
9. Comunicar los progresos realizados en la adhesión a los Principios y en la aplicación de los Compromisos. Autorreflexión, seguimiento, compartir éxitos y retos; facilitando así el progreso colectivo.
10. Evaluar las prácticas, los criterios y las herramientas desarrolladas, basándose en pruebas sólidas y poniendo a disposición del público los datos empleados para ello.
Hitos destacados
De entre los hitos más destacados que se han ido produciendo en este largo recorrido, se pueden señalar las siguientes referencias:
-
2012
-
Declaración de San Francisco
"Existe una necesidad apremiante de mejorar la forma en la que las agencias de financiación, las instituciones académicas y otros grupos evalúan la investigación científica".
-
-
2014
-
Manifiesto de Leiden
"Las funciones de la investigación cambian o se desplazan y el sitema de investigación con ellos. Los indicadores han proliferado a menudo, mal aplicados."
-
-
2021
-
Anteproyecto UNESCO
Anteproyecto de recomendación de la UNESCO sobre ciencia abierta. En virtud del artículo I de su Constitución, una de sus principales funciones es ayudar a la conservación, al progreso y a la difusión del conocimiento mediante el fomento de la cooperación entre las naciones en todas las ramas de la actividad intelectual.
-
Consulta de la Comisión Europea
Consulta de la Comisión Europea sobre la necesidad de reformar las prácticas de evaluación de la investigación.
-
ANECA se adhiere al Manifiesto de Leiden
Octubre 2021
-
-
2022
-
Publicación del Acuerdo sobre la reforma de la evaluación de la investigación (ARRA)
-
Constitución de CoARA
"Coalition for Advancing Research Assessment"
-
-
2023
-
Adhesión de ANECA a DORA y CoARA
Abril 2023
-
Reforma de la acreditación estatal
A partir de la entrada en vigor de la Ley Orgánica del Sistema Universitario.
-
-
2024
-
9 de febrero - Capítulo Nacional CoARA España
Impulsado por ANECA, CRUE, CSIC y el Instituto de Salud Carlos III.
-
Plan de acción ANECA en el marco de CoARA
Julio 2024
-