Política científica: Debates en torno a la evaluación científica: Criterios actuales y posibles transformaciones en el sistema

Resumen

El espacio inicia con palabras de su moderador, Santiago Garriga Olmo, quien repone acerca de los objetivos generales del taller: profundizar algunas discusiones centrales en torno a la evaluación científica en Argentina y las críticas a lo que se denomina “paradigma hegemónico”.

Toma la palabra el Dr. Reinaldo Pis Diez (UNLP-CONICET) quien propone presentar un panorama de algunas cuestiones generales acerca de las instancias referentes a la evaluación científica. Inicia su exposición con algunas reflexiones en torno a la instancia de evaluación de mayores dedicaciones con las preguntas ¿Qué se evalúa para decidir si un informe es aceptado o no? ¿Qué sucede cuándo evaluamos ¿Cómo se procede en las comisiones evaluadores? ¿Qué es lo mínimo que se le exige a un/a investigador/a? ¿Puede un/a evaluador/a hacer una revisión “a conciencia” de varias presentaciones en, por ejemplo, 48 horas? En base a estos interrogantes desliza algunas reflexiones. En general se suele pedir una mínima cantidad de papers por aspirante, lo cual reduce a quien evalúa a un “contador de papers”. Propone que los/as evaluadores/as deben ser explícitos en los criterios que usarán para evaluar la productividad científica, fundamentalmente para aquellos/as que se están iniciando en el camino de la investigación. También desliza la propuesta que cuando se participe en comités que realicen evaluaciones de promociones o permanencias, estas se lleven a cabo basándose en conocimiento científico y no en métrica de papers. En este sentido se pregunta ¿Se puede plantear un cambio en el paradigma de evaluación de pares? ¿Podemos dejar de contar papers y leer los trabajos?

A continuación, toma la palabra la Dra. Laura Rovelli (IdIHCS-CONICET) quien propone reflexionar acerca del panorama global en torno a las discusiones referentes a la evaluación científica, la cual tiene resonancias internacionales, pero más allá de estas generalidades propone repensar las particularidades regionales. Repone acerca de algunas declaraciones internacionales respecto a la temática, como la DORA, del año 2013. Ésta es una de las iniciales, pero hay otras iniciativas que cuestionan la evaluación de la investigación en términos cuantitativos. Y también su restricción a quienes pueden pagar a los oligopolios de publicaciones internacionales.

Inclusión, diversidad, justicia, igualdad, son algunos de los temas que resuenan en la comisión europea, que se suma a la reforma para el bloque europeo. El tema está en agenda internacional. Se discute acerca de la importancia de apostar a infraestructuras abiertas y a intercambios de investigación durante el proceso de investigación.

Otra de las cuestiones en las que repone la tallerista es acerca de lo que se denomina “carreras tempranas”. Concepto reciente y no estabilizado, resulta uno de los puntos más vulnerables al momento de la evaluación, al que se suman desigualdades regionales y de género. También se destaca en la exposición la necesidad de incorporar a la ciudadanía a los procesos de investigación/ evaluación: diálogo con otros conocimientos, diálogo con el territorio, etc.

Con relación a la declaración de 2022 de CLACSO-FOLEC argumenta que presentó algunas propuestas de reformas. Si bien las diferencias regionales son evidentes, habría que poner algunos lineamientos generales: ciencia con relevancia social, evaluación cualitativa y trabajo en equipo son de los más destacables.

Como asunto importante, la tallerista hace hincapié en la necesidad de hacer dialogar a los actores involucrados: Investigadores/as- bibliotecas- posgrados (formación en evaluación), etc. Para ella es un momento de transición, donde hay mucho por hacer y reforzar.

En torno a la formación y articulación, destaca la propuesta de jerarquizar las publicaciones nacionales y regionales y fortalecer el acceso abierto para poder leer y publicar sin necesidad de pago. La evaluación importa, para fortalecer las políticas universitarias y la investigación de manera ampliada. Todo esto contribuye a la soberanía cognitiva y a la generación del conocimiento. Cierra su intervención con algunas preguntas: ¿Cuáles son los principales obstáculos en sus carreras tempranas en investigación? ¿Cómo fueron formados/as para evaluar? ¿Cómo debería orientarse la evaluación en sus carreras? ¿Cómo puede mejorarse?

Por último, el Dr. Julián Bilmes (IdIHCS-CONICET)) inicia su presentación en torno a algunas de las principales problemáticas en Argentina referentes a la evaluación científica. Destaca las siguientes: el sesgo hacia lo cuantitativo; el anonimato en la evaluación de recursos y personas; la falta de coherencia con políticas y planes y el solapamiento de sistemas de evaluación; la evaluación antes de que se proceda con las investigaciones; la utilidad social (meramente enunciativa) y qué se entiende por ello; la evaluación exclusivamente por pares y no otros/as;  los conceptos que se asumen como universales (por ej. “Excelencia científica”); y la falta de transparencia.

Se pregunta: ¿Quiénes evalúan y quienes deberían evaluar? Actualmente este aspecto está centrado en pares. Para él, se debería incorporar a otros actores extraacadémicos. ¿Cómo evaluar? Julián resume algunas propuestas en torno a los interrogantes mencionados:

-la revisión de sistemas de evaluación con las políticas de estado y con las políticas de ciencia y tecnología

-la inclusión de actores extraacadémicos

-transparentar y democratizar todo proceso de evaluación. Minimizar criterios personalizados

- resolver con mecanismos transparentes para las elecciones de evaluadores/as

-Suprimir el anonimato en la evaluación de personas y recursos

- Ampliar y diversificar los criterios de evaluación

- Desburocratizar y coordinar las diversas instancias de evaluación

- Evaluación de evaluadores

Las presentaciones cierran con estas propuestas y se abre ronda de preguntas y reflexiones. Entre ellas podemos destacar:

La idea de que hay que tener y favorecer un recorrido permanente de evaluación. Por otro lado, no perder de vista el dinamismo del sistema.

¿Por qué se sigue evaluando de la misma forma?

No es que falte debate en torno a estas problemáticas, falta implementar resoluciones. Resulta difícil la incorporación de algunas cuestiones como ser la apertura, la participación y otras metodologías. ¿Por qué? Por la
cultura internacionalizada de ciertos criterios. Una de las cuestiones que se deberían reforzar es el acceso a infraestructuras abiertas, que la producción que está alojada en los repositorios institucionales pueda ser captada.

¿Cómo abrir el juego a otros/as evaluadores/as?

¿Hay experiencias en otros países o instituciones donde se desarrollen otras formas de evaluación?

Luego de la ronda de preguntas se da por finalizado el taller.