Primeros resultados del proyecto PEI3AC sobre nuevas metodologías de evaluación académica

• La Agencia reúne a las personas evaluadoras participantes en una serie de experimentos para analizar conjuntamente la evidencia obtenida y reflexionar sobre futuras mejoras en los procesos de evaluación

ANECA ha celebrado este 14 de julio una jornada de trabajo dedicada a la presentación y discusión de los resultados preliminares del proyecto PEI3AC (Pilot Experiments for Innovative Academic Assessment under ANECA’s CoARA Action Plan), una iniciativa financiada por el programa europeo CoARA Boost – Cascade Funding para explorar, evaluar y validar metodologías innovadoras de evaluación académica. El encuentro ha reunido en la sede de la Agencia a las personas evaluadoras que han participado en los experimentos desarrollados en el mes de marzo, con el objetivo de compartir aprendizajes, contrastar resultados y reflexionar sobre posibles mejoras de los procesos de evaluación.

PEI3AC fue uno de los proyectos seleccionados en la segunda convocatoria de financiación impulsada por CoARA, dentro del programa Horizon Europe, orientado a promover cambios institucionales y nuevas prácticas de evaluación de la investigación. En el caso de ANECA, el proyecto se ha desarrollado en el contexto de la implantación del nuevo procedimiento de acreditación estatal regulado por el Real Decreto 678/2023 y de los compromisos asumidos por la Agencia en materia de reforma de la evaluación de la investigación.

La iniciativa ha contado con la participación voluntaria de 47 personas evaluadoras del programa ACADEMIA procedentes de diferentes ámbitos de conocimiento, universidades y territorios, representando 42 disciplinas, 22 comisiones de acreditación y 15 comunidades autónomas, con una composición paritaria y equilibrada en términos de género y experiencia evaluadora.

El proyecto se ha articulado en torno a tres días de experimentos destinados a abordar algunos de los principales desafíos de la evaluación académica. El primero se centró en el posible efecto de distintas formas de presentar la información curricular, comparando formatos narrativos desagregados y formatos más agregados o sintéticos. El segundo analizó el papel de los indicadores cuantitativos frente a descripciones cualitativas de las contribuciones científicas. El tercero exploró la posible existencia de sesgos inconscientes asociados a perfiles académicos no canónicos mediante la evaluación de trayectorias con diferentes características personales y profesionales.

Además de resultados cuantitativos y cualitativos, el proyecto ha proporcionado una valiosa información sobre las prácticas evaluadoras y los procesos de deliberación. Entre las conclusiones preliminares destaca la amplia aceptación del componente narrativo como herramienta de evaluación, la importancia de seguir reforzando la formación y orientación de las personas evaluadoras y el papel que desempeñan los espacios de discusión colectiva para favorecer la consistencia de las decisiones y la reflexión compartida sobre los criterios de evaluación.

 
La jornada de hoy constituye una nueva fase del proyecto, centrada en la difusión y discusión de los resultados con quienes han participado directamente en los experimentos: Se analizaron las dinámicas observadas en los procesos de evaluación individual y colectiva y se abrieron espacios de trabajo para identificar propuestas de mejora relacionadas con los formatos curriculares, las herramientas de apoyo a la evaluación, las guías orientadoras para perfiles diversos y el funcionamiento de las comisiones de evaluación.

Con esta iniciativa, ANECA continúa avanzando en su estrategia de reforma de la evaluación académica basada en la obtención de evidencia empírica y en la participación activa de la comunidad evaluadora. Los resultados de PEI3AC contribuirán a reforzar el conocimiento disponible sobre el funcionamiento real de los procesos de evaluación y servirán de apoyo para futuras mejoras metodológicas, tanto en la Agencia como en el contexto europeo de reforma de la evaluación de la investigación impulsado por CoARA.