Proceso para la reforma de la evaluación de la investigación

Principios para las condiciones generales
Cumplir las normas y prácticas de ética e integridad.  Salvaguardar la libertad científica. Respetar la autonomía de los organismos de investigación. Garantizar la independencia y transparencia de los datos, de las infraestructuras y de los criterios empleados  para la evaluación de la investigación y para determinar su impacto.

Principios para los criterios y procesos de investigación
Calidad e Impacto	Diversidad, Inclusión y Colaboración
Centrar los criterios de la investigación en la calidad, lo que supone recompensar la originalidad de las ideas, así como la conducta profesional y aquellos resultados que van más allá del estado de la técnica. Supone también reconocer una variedad de misiones en la investigación, de metodologías, que los resultados sean verificables y reproducibles, el intercambio de datos y la colaboración abierta. Asimismo, se señala que la evaluación debe basarse en juicios cualitativos para los que la revisión por pares es fundamental, con el apoyo de indicadores cuantitativos, utilizados de forma responsable y cuando proceda.  Reconocer las contribuciones que suponen un avance en el conocimiento, así como el (potencial) impacto de sus resultados, que pueden ser de muy distinta índole (de naturaleza científica, tecnológica, económica y/o social).	Reconocer la diversidad de actividades y prácticas de investigación, de resultados, fomentando el intercambio temprano de conocimientos y datos y la colaboración abierta a muy diferentes agentes.   Utilizar criterios y procesos de evaluación adaptados a los distintos perfiles sobre los que se aplican: en función de las características de cada disciplina, atendiendo a las diferentes etapas en la carrera investigadora, según se trate de enfoques multi, inter y transdisciplinares, etc.  Valorar la diversidad de las funciones y de las carreras en la investigación; así como la ciencia en equipo y la colaboración. Garantizar la igualdad de género, la igualdad de oportunidades y la inclusión.

Compromisos Básicos

Compromisos de Apoyo

Reconocer la diversidad de las contribuciones, así como de las funciones y carreras en la investigación, en función de los objetivos y de la naturaleza de la misma.  Basar la evaluación de la investigación, en mayor medida, en métodos cualitativos, recuperando el peso fundamental de la evaluación por pares y sustentando estos juicios en métodos cuantitativos, haciendo un uso responsable de estos indicadores cuando proceda. Los esfuerzos que este abordaje requiere deberán ser debidamente reconocidos en las carreras de los profesionales participantes.  Abandonar el uso inadecuado de métricas basadas en revistas y publicaciones; en particular, el uso inadecuado del Factor de Impacto de las Revistas (JIF) y del Índice H.  Evitar el uso de las clasificaciones internacionales de las organizaciones de investigación, en tanto que sus métricas no resultan adecuadas para evaluar a los investigadores.

Destinar los recursos necesarios para llevar a cabo esta reforma de la evaluación de la investigación, permitiendo así lograr los cambios organizativos que se han comprometido. Revisar los actuales criterios, herramientas y procesos de evaluación y desarrollar otros nuevos pertinentes, es decir, adaptados a los distintos contextos sobre los que resultarán de aplicación. Estos son, tanto las unidades e instituciones, como los proyectos e investigadores y siempre de acuerdo con los principios establecidos. Para ello, deberán trabajar en estrecha colaboración todos los agentes implicados.  Concienciar sobre la reforma mediante la comunicación, la orientación y la formación sobre los criterios y procesos diseñados, así como sobre su uso; a todos los agentes implicados.  Fomentar el intercambio de prácticas y de experiencias para permitir el aprendizaje mutuo, dentro y fuera de la Coalición. Evitar la fragmentación, favorecer la coherencia y con ello, la movilidad de los investigadores.  Comunicar los progresos realizados en la adhesión a los Principios y en la aplicación de los Compromisos. Autorreflexión, seguimiento, compartir éxitos y retos; facilitando así el progreso colectivo. Evaluar las prácticas, los criterios y las herramientas desarrolladas, basándose en pruebas sólidas y poniendo a disposición del público los datos empleados para ello.

En línea con el Acuerdo y tras la adhesión a la Coalición, España presentó su propuesta de Capítulo Nacional, que está coordinado conjuntamente por la Agencia Nacional de Evaluación de la Calidad y Acreditación de España (ANECA), la Conferencia de Rectores de las Universidades Españolas (Crue) y el Consejo Superior de Investigaciones Científicas (CSIC) y que reúne a más de setenta universidades, centros de investigación, agencias nacionales de garantía de la calidad y sociedades científicas. 

Sus objetivos están en estrecha relación con los compromisos del Acuerdo, con especial atención a los compromisos 6, 7 y 8, relativos a la revisión y diseño de nuevos criterios, herramientas y procesos de evaluación de la investigación, con el compromiso con entidades vinculadas a esta materia, hayan firmado el acuerdo o no, y con el aprendizaje mutuo, respectivamente.

Como plan de trabajo concreto, derivado de la iniciativa que tuvo lugar a principios de 2023, el Foro para la Reforma de la Evaluación de la Investigación en España, promovido por el Ministerio de Universidades, y las principales preocupaciones emergidas del mismo, se proponen 4 desarrollos concretos, que consistirán en lo siguiente: 

• En primer lugar, en identificar las mejores prácticas tanto a nivel internacional, como europeo y nacional, que puedan servir de inspiración para el desarrollo de nuevas prácticas. 
• En segundo lugar, analizar dichas prácticas en relación con el contexto nacional, para proponer nuevos modelos de evaluación, que se pondrán a prueba bajo el formato de proyectos piloto. 
• En tercer lugar, se elaborarán informes sobre los resultados de esos pilotos.
•  Y, en cuarto lugar, se realizará una evaluación final de los dos primeros años de aplicación, con el objeto de entregar un informe que contenga los principales avances alcanzados y que identifique también los próximos pasos (retos). 

Por su parte, ANECA integra ya, de manera flexible, las orientaciones de este movimiento internacional de reforma de la evaluación de la investigación, en dos de sus programas de evaluación, tanto en la evaluación de los periodos de investigación (Sexenios - Convocatoria 2023; especialmente en la Resolución de criterios de evaluación y en Apéndice de nuevas dimensiones, fuentes y métricas, así como en el baremo general propuesto, donde se concretan los criterios de evaluación; como en la Acreditación Estatal para los cuerpos docentes universitarios. Por primera vez se ha abierto un proceso de información y consulta de los criterios de evaluación de la investigación y se garantizará la coherencia de los méritos y criterios utilizados en los diversos procedimientos de evaluación de la Agencia.

De entre los hitos más destacados que se han ido produciendo en este largo recorrido, se pueden señalar las siguientes referencias en el contexto internacional:

• 2012: Dora (Declaración de San Francisco sobre la evaluación de la investigación)-ANECA se adhirió en abril de 2023: Existe una necesidad apremiante de mejorar la forma en la que las agencias de financiación, las instituciones académicas y otros grupos evalúan la investigación científica. 
•  2014: Leiden (Manifiesto sobre indicadores de investigación)- ANECA se adhirió en octubre de 2021:  No hay un modelo de evaluación que se pueda aplicar a todos los contextos. Los objetivos de un programa de investigación tienen que estar especificados al principio y los indicadores usados para medir el desempeño tienen que estar claramente relacionados con estos objetivos. Las funciones de la investigación y los objetivos de la evaluación cambian o se desplazan y el sistema de investigación coevoluciona con ellos. Los indicadores han proliferado: normalmente bien intencionados, no siempre bien informados y a menudo, mal aplicados.
•  2020: Los Principios de Hong Kong para la evaluación de investigadores: Promoviendo la integridad en la investigación: Se presentan cinco principios, enfocándose puntualmente a la necesidad de impulsar el mejoramiento de la investigación, al garantizar que los investigadores sean reconocidos y recompensados explícitamente por conductas que fortalezcan la integridad de la investigación. 
• 2021: UNESCO (Anteproyecto de recomendación de la UNESCO sobre la ciencia abierta): Cuando se permite que los conocimientos, los métodos, los datos y las pruebas de carácter científico estén disponibles libremente y sean accesibles para todos, se incrementan las colaboraciones científicas y el intercambio de información en beneficio de la ciencia y de la sociedad y se abre el proceso de creación y difusión de conocimientos científicos a los agentes sociales que no pertenecen a la comunidad científica institucionalizada. Todo ello contribuye claramente a la eficiencia y al rendimiento del sistema, aumentando las probabilidades de responder efectivamente a los retos y desafíos actuales. 
• 2022: CoARA (Coalición de organizaciones para el avance de la evaluación de la investigación)- ANECA se adhirió en abril de 2023: Trabajaremos juntos para hacer posible una reforma sistémica basada en principios comunes dentro de un plazo acordado, y para facilitar el intercambio de información y el aprendizaje mutuo entre todos aquellos que deseen mejorar las prácticas de evaluación de la investigación. 

Ya dentro del contexto nacional, existe un importante marco que recoge el espíritu del acuerdo; así como importantes desarrollos ya sobre el mismo, como son: 

• 2022: LCTI (Ley 17/2022, de 5 de septiembre, por la que se modifica la Ley 14/2011, de 1 de junio, de la Ciencia, la Tecnología y la Innovación): Los resultados de la investigación estarán disponibles en acceso abierto, gratuito y libre, para lo que se fomentarán los repositorios institucionales o temáticos.
• 2023: LOSU (Ley Orgánica 2/2023, de 22 de marzo, del Sistema Universitario Ley 2/2023): El conocimiento científico tendrá la consideración de un bien común, accesible y no mercantilizado.
• 2023-2027: ENCA (Estrategia Nacional de Ciencia Abierta, mayo): Ejes: A. Infraestructuras digitales; B. Gestión de datos; C. Acceso abierto a publicaciones y D. Incentivos y formación. 
• 2023: RD 678/2023 (Real Decreto de Acreditación Estatal, 18 de julio): Aneca deberá garantizar la coherencia de los méritos y criterios utilizados en sus diversos procedimientos de evaluación. Pretende mejorar la calidad de la evaluación mediante la inclusión de una mayor pluralidad de métodos, criterios y contribuciones evaluadas; así como una mayor contextualización de la evaluación. 
• 2023: CNEAI (Resolución de 5 de diciembre, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios para la evaluación de la actividad investigadora): Y esto se concreta, conforme a las reglas aplicables a cada disciplina científica, en la solicitud de una narración justificativa de los indicios de relevancia e impacto de cada aportación, apoyados por un uso responsable de indicadores cuantitativos. 
• 2023: Capítulo nacional: España (ANECA-CRUE-CSIC, 2023): La iniciativa europea de reforma abre una oportunidad para reflexionar sobre el sistema de evaluación de la investigación en España y permitirá plantear propuestas de mejora en línea con el resto de la comunidad investigadora internacional, para que la investigación y la innovación en España sigan creciendo en excelencia e impacto académico y social.