Proceso para la reforma de la evaluación de la investigación

Primer Acuerdo Europeo “Ampliando el espectro de lo que se valora en la investigación,con el fin de maximizar la calidad y el impacto de la misma”.

Dada la evolución del movimiento internacional que promueve la necesidad de reformar las prácticas de evaluación de la investigación, la Comisión Europea, entre marzo y noviembre de 2021, propició un proceso fuertemente participado de consultas a todos aquellos agentes que tienen competencias en la evaluación de la investigación, es decir, tanto a organismos evaluadores, como a organizaciones investigadoras, así como también a aquellos que financian o ejecutan la investigación. Todo ello ha cristalizado en un Acuerdo sobre la Reforma de la Evaluación de la Investigación (ARRA, 2022), publicado el 20 de julio de 2022 y abierto oficialmente para su firma el 28 de septiembre del mismo año, que resulta de un proceso de cocreación, en el que participaron más de 350 organizaciones de 40 países. Para llevar a cabo esta reforma se ha constituido una Coalición de organizaciones para el avance de la evaluación de la investigación (CoARA), de alcance mundial, a la que ANECA se adhirió en abril de 2023

En él se hace patente la intención de diseñar una dirección común, siempre respetando la autonomía de las organizaciones, así como sus marcos y contextos específicos pero que, en todo caso, pretende que se realice un esfuerzo notorio para reconocer la diversidad de misiones u objetivos, de carreras, de perfiles, de resultados, de procesos, de prácticas y de actividades que se incluyen dentro de la actividad investigadora a día de hoy, con la finalidad última de maximizar así la calidad y el impacto de dicha investigación. 

El acuerdo se estructura en una serie de principios que definen unas condiciones generales y aquellos que deben ser tenidos en cuenta para los criterios y los procesos de evaluación, así como un conjunto de diez compromisos que las organizaciones que se adhieran deberán cumplir. Según el calendario propuesto para la reforma, cualquier organización que se comprometa, deberá plantear su plan de acción con hitos definidos, hasta 1 año después de haber firmado el acuerdo y, consecuentemente, deberá someterse a una primera revisión que muestre los progresos realizados, a los 5 años.

Principios para las condiciones generales
  • Cumplir las normas y prácticas de ética e integridad. 
  • Salvaguardar la libertad científica.
  • Respetar la autonomía de los organismos de investigación.
  • Garantizar la independencia y transparencia de los datos, de las infraestructuras y de los criterios empleados  para la evaluación de la investigación y para determinar su impacto.
Principios para los criterios y procesos de investigación
Calidad e Impacto Diversidad, Inclusión y Colaboración
  • Centrar los criterios de la investigación en la calidad, lo que supone recompensar la originalidad de las ideas, así como la conducta profesional y aquellos resultados que van más allá del estado de la técnica. Supone también reconocer una variedad de misiones en la investigación, de metodologías, que los resultados sean verificables y reproducibles, el intercambio de datos y la colaboración abierta. Asimismo, se señala que la evaluación debe basarse en juicios cualitativos para los que la revisión por pares es fundamental, con el apoyo de indicadores cuantitativos, utilizados de forma responsable y cuando proceda. 
  • Reconocer las contribuciones que suponen un avance en el conocimiento, así como el (potencial) impacto de sus resultados, que pueden ser de muy distinta índole (de naturaleza científica, tecnológica, económica y/o social).
  • Reconocer la diversidad de actividades y prácticas de investigación, de resultados, fomentando el intercambio temprano de conocimientos y datos y la colaboración abierta a muy diferentes agentes. 
  •  Utilizar criterios y procesos de evaluación adaptados a los distintos perfiles sobre los que se aplican: en función de las características de cada disciplina, atendiendo a las diferentes etapas en la carrera investigadora, según se trate de enfoques multi, inter y transdisciplinares, etc. 
  • Valorar la diversidad de las funciones y de las carreras en la investigación; así como la ciencia en equipo y la colaboración.
  • Garantizar la igualdad de género, la igualdad de oportunidades y la inclusión. 
Compromisos Básicos Compromisos de Apoyo
  • Reconocer la diversidad de las contribuciones, así como de las funciones y carreras en la investigación, en función de los objetivos y de la naturaleza de la misma. 
  • Basar la evaluación de la investigación, en mayor medida, en métodos cualitativos, recuperando el peso fundamental de la evaluación por pares y sustentando estos juicios en métodos cuantitativos, haciendo un uso responsable de estos indicadores cuando proceda. Los esfuerzos que este abordaje requiere deberán ser debidamente reconocidos en las carreras de los profesionales participantes. 
  • Abandonar el uso inadecuado de métricas basadas en revistas y publicaciones; en particular, el uso inadecuado del Factor de Impacto de las Revistas (JIF) y del Índice H. 
  • Evitar el uso de las clasificaciones internacionales de las organizaciones de investigación, en tanto que sus métricas no resultan adecuadas para evaluar a los investigadores.
     
  • Destinar los recursos necesarios para llevar a cabo esta reforma de la evaluación de la investigación, permitiendo así lograr los cambios organizativos que se han comprometido.
  • Revisar los actuales criterios, herramientas y procesos de evaluación y desarrollar otros nuevos pertinentes, es decir, adaptados a los distintos contextos sobre los que resultarán de aplicación. Estos son, tanto las unidades e instituciones, como los proyectos e investigadores y siempre de acuerdo con los principios establecidos. Para ello, deberán trabajar en estrecha colaboración todos los agentes implicados. 
  • Concienciar sobre la reforma mediante la comunicación, la orientación y la formación sobre los criterios y procesos diseñados, así como sobre su uso; a todos los agentes implicados. 
  • Fomentar el intercambio de prácticas y de experiencias para permitir el aprendizaje mutuo, dentro y fuera de la Coalición. Evitar la fragmentación, favorecer la coherencia y con ello, la movilidad de los investigadores. 
  • Comunicar los progresos realizados en la adhesión a los Principios y en la aplicación de los Compromisos. Autorreflexión, seguimiento, compartir éxitos y retos; facilitando así el progreso colectivo.
  • Evaluar las prácticas, los criterios y las herramientas desarrolladas, basándose en pruebas sólidas y poniendo a disposición del público los datos empleados para ello. 
     

Plan de Acción de ANECA

ANECA integró ya en 2023, de manera flexible, las orientaciones de este movimiento internacional de reforma de la evaluación de la investigación, en dos de sus programas de evaluación. Por una parte, modificó la evaluación de la actividad investigadora (Sexenios - Convocatoria 2023), a través de una nueva Resolución de criterios de evaluación y del diseño de un Apéndice de nuevas dimensiones, fuentes y métricas, así como de un baremo general, donde se concretan los criterios de evaluación. Por otra parte, ANECA diseñó un nuevo procedimiento de Acreditación Estatal para los cuerpos docentes universitarios (profesorado funcionario), que incorpora una nueva definición de criterios de evaluación de la docencia, la investigación, transferencia e intercambio de conocimiento y el liderazgo, alineados con las reformas llevadas a cabo en el ámbito internacional en relación con la evaluación de las carreras académicas. Además, en ambos casos y por primera vez, ANECA abrió procesos de información, consulta y participación sobre estos nuevos criterios de evaluación que permitieron abrir un debate con toda la comunidad universitaria y científica.

En julio de 2024, cumpliendo con los compromisos adquiridos con la adhesión a CoARA, la dirección de ANECA presentó en su Consejo Rector el Plan de Acción 2024-2027, que incluye el detalle de las acciones y actividades que la Agencia se compromete a poner en marcha en este periodo para avanzar hacia una nueva cultura de evaluación de la actividad investigadora en toda su diversidad.

Puedes acceder al Plan de Acción en español y en inglés.

Portadas del Plan de Acción CoARA-ANECA en español e inglés
 

Capítulo Nacional

En línea con el Acuerdo y tras la adhesión a la Coalición, España presentó su propuesta de Capítulo Nacional, que está coordinado conjuntamente por la Agencia Nacional de Evaluación de la Calidad y Acreditación de España (ANECA), la Conferencia de Rectores de las Universidades Españolas (Crue) y el Consejo Superior de Investigaciones Científicas (CSIC) y que reúne a más de setenta universidades, centros de investigación, agencias nacionales de garantía de la calidad y sociedades científicas. 

Sus objetivos están en estrecha relación con los compromisos del Acuerdo, con especial atención a los compromisos 6, 7 y 8, relativos a la revisión y diseño de nuevos criterios, herramientas y procesos de evaluación de la investigación, con el compromiso con entidades vinculadas a esta materia, hayan firmado el acuerdo o no, y con el aprendizaje mutuo, respectivamente.

Como plan de trabajo concreto, derivado de la iniciativa que tuvo lugar a principios de 2023, el Foro para la Reforma de la Evaluación de la Investigación en España, promovido por el Ministerio de Universidades, y las principales preocupaciones emergidas del mismo, se proponen 4 desarrollos concretos, que consistirán en lo siguiente: 

  • En primer lugar, en identificar las mejores prácticas tanto a nivel internacional, como europeo y nacional, que puedan servir de inspiración para el desarrollo de nuevas prácticas. 
  • En segundo lugar, analizar dichas prácticas en relación con el contexto nacional, para proponer nuevos modelos de evaluación, que se pondrán a prueba bajo el formato de proyectos piloto. 
  • En tercer lugar, se elaborarán informes sobre los resultados de esos pilotos.
  •  Y, en cuarto lugar, se realizará una evaluación final de los dos primeros años de aplicación, con el objeto de entregar un informe que contenga los principales avances alcanzados y que identifique también los próximos pasos (retos). 

Hitos destacados

De entre los hitos más destacados que se han ido produciendo en este largo recorrido, se pueden señalar las siguientes referencias en el contexto internacional:

  • 2012: Dora (Declaración de San Francisco sobre la evaluación de la investigación)-ANECA se adhirió en abril de 2023: Existe una necesidad apremiante de mejorar la forma en la que las agencias de financiación, las instituciones académicas y otros grupos evalúan la investigación científica. 
  •  2014: Leiden (Manifiesto sobre indicadores de investigación)- ANECA se adhirió en octubre de 2021:  No hay un modelo de evaluación que se pueda aplicar a todos los contextos. Los objetivos de un programa de investigación tienen que estar especificados al principio y los indicadores usados para medir el desempeño tienen que estar claramente relacionados con estos objetivos. Las funciones de la investigación y los objetivos de la evaluación cambian o se desplazan y el sistema de investigación coevoluciona con ellos. Los indicadores han proliferado: normalmente bien intencionados, no siempre bien informados y a menudo, mal aplicados.
  •  2020: Los Principios de Hong Kong para la evaluación de investigadores: Promoviendo la integridad en la investigación: Se presentan cinco principios, enfocándose puntualmente a la necesidad de impulsar el mejoramiento de la investigación, al garantizar que los investigadores sean reconocidos y recompensados explícitamente por conductas que fortalezcan la integridad de la investigación. 
  • 2021: UNESCO (Anteproyecto de recomendación de la UNESCO sobre la ciencia abierta): Cuando se permite que los conocimientos, los métodos, los datos y las pruebas de carácter científico estén disponibles libremente y sean accesibles para todos, se incrementan las colaboraciones científicas y el intercambio de información en beneficio de la ciencia y de la sociedad y se abre el proceso de creación y difusión de conocimientos científicos a los agentes sociales que no pertenecen a la comunidad científica institucionalizada. Todo ello contribuye claramente a la eficiencia y al rendimiento del sistema, aumentando las probabilidades de responder efectivamente a los retos y desafíos actuales. 
  • 2022: CoARA (Coalición de organizaciones para el avance de la evaluación de la investigación)- ANECA se adhirió en abril de 2023: Trabajaremos juntos para hacer posible una reforma sistémica basada en principios comunes dentro de un plazo acordado, y para facilitar el intercambio de información y el aprendizaje mutuo entre todos aquellos que deseen mejorar las prácticas de evaluación de la investigación. 

Ya dentro del contexto nacional, existe un importante marco que recoge el espíritu del acuerdo; así como importantes desarrollos ya sobre el mismo, como son: 

  • 2022: LCTI (Ley 17/2022, de 5 de septiembre, por la que se modifica la Ley 14/2011, de 1 de junio, de la Ciencia, la Tecnología y la Innovación): Los resultados de la investigación estarán disponibles en acceso abierto, gratuito y libre, para lo que se fomentarán los repositorios institucionales o temáticos.
  • 2023: LOSU (Ley Orgánica 2/2023, de 22 de marzo, del Sistema Universitario Ley 2/2023): El conocimiento científico tendrá la consideración de un bien común, accesible y no mercantilizado.
  • 2023-2027: ENCA (Estrategia Nacional de Ciencia Abierta, mayo): Ejes: A. Infraestructuras digitales; B. Gestión de datos; C. Acceso abierto a publicaciones y D. Incentivos y formación. 
  • 2023: RD 678/2023 (Real Decreto de Acreditación Estatal, 18 de julio): Aneca deberá garantizar la coherencia de los méritos y criterios utilizados en sus diversos procedimientos de evaluación. Pretende mejorar la calidad de la evaluación mediante la inclusión de una mayor pluralidad de métodos, criterios y contribuciones evaluadas; así como una mayor contextualización de la evaluación. 
  • 2023: CNEAI (Resolución de 5 de diciembre, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios para la evaluación de la actividad investigadora): Y esto se concreta, conforme a las reglas aplicables a cada disciplina científica, en la solicitud de una narración justificativa de los indicios de relevancia e impacto de cada aportación, apoyados por un uso responsable de indicadores cuantitativos. 
  • 2023: Capítulo nacional: España (ANECA-CRUE-CSIC, 2023): La iniciativa europea de reforma abre una oportunidad para reflexionar sobre el sistema de evaluación de la investigación en España y permitirá plantear propuestas de mejora en línea con el resto de la comunidad investigadora internacional, para que la investigación y la innovación en España sigan creciendo en excelencia e impacto académico y social.