La evaluación como parte de la política científica y tecnológica

La evaluación es considerada un aspecto central de las políticas de ciencia y tecnología (CyT), especialmente desde la segunda mitad del siglo XX, cuando la actividad del sector alcanzó mayores proporciones (período caracterizado como “industrialización de la ciencia” por Salomon, 1997). Este rol, sin embargo, está sujeto a permanentes debates y tensiones, fundamentalmente porque a través de los procesos de evaluación se distribuyen recursos, se accede a puestos estables de trabajo, se asciende en la carrera profesional, se consolidan o desechan líneas de investigación y se construyen o desmerecen reputaciones.

Todo proceso evaluativo pretende de forma explícita valorar progresos, medir resultados, ponderar efectos, atribuir puntajes; pero de forma implícita actúa performativamente, dando pautas que orientan, organizan y privilegian un tipo de actividades en detrimento de otras. Diversos estudios han mostrado cómo los actores del complejo científico y tecnológico adecúan sus prácticas a lo que se espera de ellos (Davyt & Velho, 1999; Fernández Esquinas et al., 2011). Por esta razón la evaluación es además una herramienta fundamental para introducir cambios en las políticas implícitas del sector CyT de un país. Re-tomando las categorías de Herrera (1975), se podría decir que modificando los procesos evaluativos se podría lograr que una política explícita (planes de CyT) se vuelva implícita (normas, valores y formas de organización que efectivamente guían las prácticas de los actores).

La evaluación es un instrumento al servicio de quien planifica, financia y/o gestiona las actividades de CyT. El objeto a evaluar es muy diverso: desde escalas macro como podrían ser las políticas, los planes de I+D y los programas nacionales; de nivel meso, como las evaluaciones institucionales, los sub-sistemas o las áreas específicas; y finalmente de nivel micro, como son las evaluaciones de individuos, grupos de investigación y proyectos particulares. Por otra parte, cabe destacar que el proceso evaluativo puede realizarse en diferentes momentos: previo al inicio de la actividad (ex ante), en el transcurso de la misma (intermedia) o al finalizar (ex post).

En síntesis, la evaluación es un tema clave y de una enorme complejidad que suele quedar oculta para la mayoría de los actores que toman parte de una fase del proceso evaluativo, lo que sumado a los procesos inherentes de burocratización que con-lleva la actividad, generan una sensación de opacidad y falta de transparencia para muchos de los/as evaluados/as (Atrio, 2018). En el presente artículo no pretendemos agotar un tema para el cual existe una abundante literatura especializada, sino recuperar las críticas emergentes en relación al modelo están-dar de evaluación por productos, analizar problemáticas concretas de la evaluación en nuestro país, y finalmente presentar una serie de propuestas desde la Cátedra Libre Ciencia, Política y Sociedad de la UNLP.

El paradigma hegemónico en cuestión: la evaluación por productos

El enfoque más extendido en evaluación de la CyT a nivel global es el consagrado en los Manuales de Frascati (1963) y de Oslo (1992) de la Organización para la Cooperación y el Desarrollo Económico (OCDE).¹ Se trata de una perspectiva lineal que mide los ingresos al sistema -básicamente dinero invertido y recursos humanos existentes- en relación a los resultados obtenidos, traducidos en cantidad de artículos científicos publicados en revistas con referato (usualmente denominados papers), o bien del desarrollo tecnológico alcanzado, medido en cantidad de patentes obtenidas. Es un paradigma de evaluación que utiliza la matriz insumo-producto de la economía aplicado a la producción de CyT. Con el paso del tiempo ambos manuales tuvieron diversas ampliaciones y anexos, y aunque conservaron la matriz de análisis con que fueron hechos originalmente, se fueron complejizando e incorporando variables complementarias. Sin embargo, los papers y patentes siguen siendo los ítems más valorados en las evaluaciones académicas.

De todas las críticas y cuestionamientos que este paradigma de evaluación ha recibido, destacamos las siguientes:

• El producto de la CyT se reduce a un conjunto de resultados medibles y cuantificables, minusvalorando o directamente dejando de lado aspectos como la relevancia social, la intervención en la gestión pública, la integración regional, el impacto ambiental, la comunicación pública, entre otros.

• Los resultados científicos y los productos tecnológicos tienden a aparecer como de autoría individual, ocultando la dimensión social de la actividad y despreciando así el rol de los equipos y grupos de investigación, las redes científicas y la colaboración.²

• No entran en consideración los escenarios institucionales, sus cambios en el tiempo y sus particularidades regionales, obviando que la relación in-sumo-producto está mediada necesariamente por estas realidades y sus especificidades.

• Refuerza la imagen positivista de la CyT al asumir implícitamente una única metodología de producción y circulación de conocimientos, y considerar que todos los campos del saber pueden ser evaluados según un parámetro estándar.

• El uso simplificado y descontextualizado de indicadores bibliométricos como el factor de impacto, el índice H y otros similares para la valoración de la producción científica promueven una competencia desigual entre disciplinas y regiones, favoreciendo y reforzando el poder de las bases de datos y editoriales oligopólicas.³

Diversas declaraciones y manifiestos a nivel internacional, con una amplia adhesión tanto de científicos/ as individuales como de asociaciones, instituciones y publicaciones científicas, cuestionan esta metodología de evaluación (DORA, 2002; Hicks et al., 2015). Sin embargo, la evaluación por productos continúa siendo hegemónica. Esto se debe en parte a sus méritos intrínsecos, tales como la simpleza en su aplicación, la facilidad y economía para la obtención de datos y una comparabilidad de resultados que facilita la gestión y asignación de recursos. Estos aspectos suelen imponerse frente a enfoques alternativos que plantean estrategias más elaboradas y específicas, pero que por ese mismo motivo resultan más complejas de implementar. Por otra parte, y a manera de hipótesis, señalamos que la persistencia de la evaluación por productos se corresponde con los intereses de las potencias globales expresados en la OCDE, debido a que esta lógica de evaluación tiende a fortalecer la ciencia mainstream en los países centrales y el cientificismo en la periferia (Kreimer, 2011).

Principales problemáticas de la evaluación de la CyT en Argentina

En nuestro país, al igual que en otras partes del mundo, crecieron los cuestionamientos al paradigma de evaluación vigente, especialmente durante la expansión del sector CyT impulsada por los gobiernos de Néstor Kirchner y Cristina Fernández (2003-2015). En esos años hubo debates, reflexiones y propuestas que se plasmaron en diferentes documentos y normativas, entre los que se destacan los elabora-dos por el MinCyT entre 2011 y 2012⁴ , el Reglamento de evaluación del CONICET (2008) y sus sucesivas modificaciones, y la creación de una comisión interinstitucional para las Humanidades y Ciencias Sociales (CIECEHCS, 2014). Como consecuencia de ello, en esos años se diseñaron y propusieron nuevos proyectos y líneas de financiamiento aso-ciadas al desarrollo tecnológico, social y productivo: principalmente los Proyectos de Desarrollo Tecnológico y Social (PDTS) y los fondos sectoriales como FONTAR, FONSOFT y FONARSEC, que incorporaron mecanismos diferentes de evaluación.⁵ También se adoptaron más recientemente nuevos criterios para el ingreso a carrera de investigador y becas en el CONICET, referidos a temas estratégicos y de fortalecimiento institucional. Estas iniciativas –que no analizaremos en este documento- representan experiencias a tener en cuenta a la hora de pensar cambios en los mecanismos de evaluación.

Los temas que analizaremos a continuación constituyen, a nuestro entender, problemáticas centrales en la evaluación de las actividades científico tecnológicas en nuestro país. Surgen además en forma recurrente en los debates, no siempre de forma explícita, y persisten a pesar de las propuestas de cambio. Estos son:

1. Sesgo excesivo hacia lo cuantitativo. La aplicación acrítica de la evaluación por productos ha conducido a la cuantificación de los resultados de investigación como indicador casi único de excelencia científica. Esto ocurre a pesar de que se ha señalado recurrentemente la necesidad de hacer primar valoraciones cualitativas. Entre las consecuencias negativas que produce se destacan: a) la orientación de la investigación hacia temas “de moda” y con mayor posibilidad de ser publicados en revistas de “corriente principal”, en detrimento de problemáticas locales o regionales; b) el fortalecimiento de disciplinas e instituciones tradicionales, y de los grupos ya consolidados, menoscabando a aquellos en formación o ubicados en áreas geográficas no centrales; c) la implantación de la lógica de “publicar o perecer”, que conlleva a la multiplicación innecesaria y productivista de la cantidad de publicaciones, muchas veces superfluas y carentes de valor en términos científicos; d) burocratización de la actividad científica y superficialidad de las actividades de evaluación, que se limitan al conteo de papers y a la aplicación de índices bibliométricos prearmados, todo lo cual genera un creciente malestar que se vive en términos de alienación laboral.

2. Anonimato en la evaluación de recursos y personas. Ignorar quién evalúa no es garantía de calidad y, por el contrario, puede ser fuente de posibles discrecionalidades. Al tratarse de recursos públicos, el anonimato en la evaluación de proyectos de I+D, fondos de investigación e ingresos a planta permanente resulta violatorio de las Leyes Nacionales 25.200 y 27.275 que garantizan, respectivamente, la necesaria transparencia de cualquier instancia de evaluación en los organismos del Estado y el derecho de acceso a la información pública. Entre las principales consecuencias del anonimato, el mayor problema es que puede dar lugar a irresponsabilidades en el ejercicio del poder de juzgar, lo que se traduce en dictámenes mal fundados, nepotismo encubierto, arbitrariedades y otros, que suelen que-dar ocultos y “protegidos” del escrutinio público. La resistencia que aún persiste en algunas instituciones integrantes del complejo CyT es inexplicable, más aún cuando en algunos organismos del sector –por ejemplo las universidades nacionales- las evaluaciones ya son públicas. ⁶⁷

3. Falta de coherencia con políticas y planes, y solapamiento de sistemas de evaluación. Se observa en muchos organismos una falta de adecuación y consistencia de los sistemas y criterios de evaluación, con las políticas y planes que esos propios organismos impulsan y con planes nacionales y regionales de CyT. Se trata de una de las problemáticas más sufridas por los/as investigadores/as en su cotidianeidad y más reconocida por las propias instituciones.⁸ Su origen está en la desarticulación y falta de coordinación interinstitucional e interministerial entre todos los organismos que integran el complejo CyT (CONICET, universidades, organismos descentralizados, ANPCyT), dado que cada uno de ellos implementa sus propios mecanismos y sistemas, y generalmente no se comparte la información. Las consecuencias más importantes son: a) la falta de coordinación entre los organismos posibilita in-consistencias en los criterios de evaluación de una instancia dada con los planes y políticas públicas, resultando incluso a veces contradictorios con las mismas y produciendo además superposición de plazos y convocatorias con demandas y objetivos a veces incongruentes; b) dado que las evaluaciones no se comparten, cada organismo hace su propia evaluación, lo cual conduce a que un mismo actor, proyecto o institución sea evaluado múltiples veces, sobrecargando innecesariamente el sistema. Así, es común, por ejemplo, que un organismo evalúe la promoción de un/a investigador/a, que en otra instancia se evalúe la acreditación de un proyecto en el que participa el/la mismo/a investigador/a, y en una tercera instancia se evalúe la adjudicación de fondos; c) el uso de múltiples plataformas virtuales para la carga de antecedentes (CVar, SIGEVA CONICET, SIGEVA por universidades, Incentivos, etc.) genera una excesiva burocratización y sobrecarga de trabajo que podría evitarse.

4. Primacía de la evaluación ex ante. Hay un predominio casi absoluto de la evaluación previa de las propuestas de investigación -sean planes de trabajo o proyectos-. Por lo general, la evaluación intermedia y ex post se reduce al cumplimiento de pasos formales -llenado de formularios en tiempo y forma- que no suelen afectar el curso de los proyectos, y es particularmente notoria la ausencia de evaluaciones en los lugares de trabajo (in situ).⁹ Las únicas evaluaciones intermedias, in situ y ex post que se realizan son aquellas vinculadas a la cuestión financiera en tanto contralor fiscal, y están enfocadas en la rendición de gastos y el inventario de bienes. Como consecuencia, se genera una distancia entre lo que un proyecto o plan de trabajo dijo que se va a hacer y lo que efectivamente se hace, y se desaprovecha el uso de los resultados para reorientar las actividades, ahorrar presupuesto y mejorar la calidad y pertinencia de la CyT realizada en el país.

5. Utilización meramente declarativa de criterios de utilidad social. Aunque las grillas de formulación de proyectos incluyen ítems en los cuales hay que explicitar las áreas de impacto y utilidad social de los resultados y su pertinencia, esto no suele ser tenido en cuenta. Se produce un uso declarativo del impacto y la utilidad social, a los meros fines de aprobar el proyecto, pero luego no tiene efectos prácticos, dado que la producción CyT es evaluada por productos tradicionales (papers y patentes). No se valoran otras formas de comunicación de resulta-dos y a veces se desmerecen formas de difusión no tradicionales, como pueden ser medios alternativos, publicaciones en acceso abierto, difusión web, actividades de divulgación entre otras vías que facilitan la utilización social del conocimiento. Se trata de una expresión del desdoblamiento entre lo que se dice y lo que se hace, particularmente gravitante a la hora de pensar cómo vincular la CyT con los problemas sociales de nuestro país.

6. Evaluación exclusivamente por pares. La evaluación por pares es considerada unánimemente una garantía de la calidad del trabajo CyT. Sin embargo, el hecho de que la evaluación sea exclusivamente realizada por especialistas tiene consecuencias negativas tales como:

   • se tiende a adoptar las pautas vigentes de evaluación a nivel internacional y no según problemáticas nacionales, favoreciendo la adopción de temas y metodologías de investigación mainstream en detrimento de las problemáticas y tradiciones nacionales y regionales;

   • se genera una endogamia corporativa, ya que la evaluación controlada por pares da lugar a lógicas de reproducción de grupo (intercambio de favores, estatus y prestigio), antes que a dinámicas de resolución de problemas sociales;

   • en proyectos y planes de impacto social, en general, no se incluye a actores extra académicos (trabajadores, campesinos, comunidades u otros, sean éstos beneficiarios o posibles víctimas de un desarrollo CyT) en ninguna etapa de la evaluación, y es muy poco frecuente la participación de actores económicos (empresas) y políticos (organismos del Estado, municipios).

7. Conceptos que se asumen como objetivos y universales. Los procesos de evaluación suelen estar basados en criterios que hacen referencia a expresiones tales como calidad, excelencia, productividad, pertinencia, impacto, etc. Lejos de tratarse de términos con acepciones generalizadas, se trata de conceptos con una fuerte carga valorativa y múltiples significados. Al no explicitar la definición de estos conceptos (es decir, qué debe evaluar el/la evaluador/a) se está asumiendo que existe una idea común al respecto, que es objetiva y universal. Lo cual, implícitamente, conduce a la adopción de los criterios dominantes emana-dos de los países centrales y propagados por el mundo a través de los organismos internacionales (BID, BM, OCDE). El creciente esfuerzo de vinculación del sector CyT con el ámbito empresarial también debe alertarnos acerca de la necesidad de definir claramente los criterios de evaluación, para evitar que sea el sector privado el que modele las pautas de investigación del Estado.

8. Falta de transparencia en la evaluación. A pesar de que ha habido avances en los últimos años, todavía existen instancias, mecanismos y procedimientos de evaluación que no son lo suficientemente públicos y transparentes: criterios ambiguos, parámetros y puntajes no explícitos, falta de conocimiento tanto de evaluadores/as como de evaluados/as de las grillas a utilizar, dictámenes inaccesibles, entre otras, son elementos frecuentes que dan cuenta de este problema.

Algunas propuestas para mejorar los procesos de evaluación en CyT en Argentina

Sobre la base del diagnóstico anteriormente realizado, desde la Cátedra Libre CPS proponemos las siguientes acciones que consideramos necesarias para orientar cambios en los procesos de evaluación:

1. 1. Revisión de los sistemas de evaluación para que sean consistentes con las políticas de Estado y con un Plan Nacional de CyT. No hay posibilidad de discutir una propuesta de nuevos paradigmas en evaluación fuera del marco de un Proyecto Nacional y su correspondiente política de CyT. Sin entrar en detalles definimos un modelo de país deseable como aquél que se caracteriza por un desarrollo soberano, inclusivo y ambientalmente sustentable. De lo cual se desprenden, grosso modo, políticas públicas de CyT dirigidas a resolver necesidades sociales, ambientales y productivas, a partir del estudio interdisciplinario de los problemas nacionales y regionales. Para la elaboración de estas políticas se debería contar con la más amplia participación de otros actores sociales además de los vinculados al complejo CyT. Con este enfoque se procura avanzar en la integración de la CyT con el gobierno y la sociedad (aparato productivo, demandas sociales) en un marco de soberanía científica y tecnológica, constituyendo no ya un complejo, sino un Sistema Nacional de CyT. Los criterios y mecanismos de evaluación de la actividad CyT deberán ser acordes con las políticas públicas definidas en el marco de este proyecto de país y expresadas en un Plan Nacional de CyT.
2. 2. Inclusión de actores sociales, políticos y económicos en la evaluación. En el esfuerzo por vincular la CyT con necesidades nacionales, es imprescindible la participación de los actores que hacen parte de nuestra sociedad en los procesos de evaluación. Nos referimos a la inclusión, según el caso, de sindicatos, movimientos sociales y de la economía popular, comunidades organizadas, PyMEs, empresas públicas, representantes de la industria y el agro, organismos del Estado, y otros. Para ello será necesario diseñar los mecanismos institucionales e identificar las etapas del proceso en que podrían sumarse a la evaluación, para que estos actores tengan un rol productivo tanto para el sistema CyT como para ellos mismos. Y, como se dijo en el punto anterior, también incluirlos en la elaboración de la política CyT, para que tenga sentido su posterior participación en los procesos de evaluación. De esta forma, los actores sociales involucrados podrían analizar el cumplimiento de los objetivos propuestos en cada política sectorial que los afecte, y su participación en la definición de la agenda CyT sería un re-aseguro frente a los posibles cambios de rumbo de gobierno, y a la vez ayudaría a convertir una política gubernamental en Política de Estado.
3. 3. Transparentar y democratizar todo el proceso de evaluación. Las tecnologías de la información hacen posible hoy que todas las etapas del proceso puedan ser accesibles públicamente, por lo que no hay razones para continuar manteniendolas en el anonimato o la privacidad. Proponemos darle la más amplia publicidad a los procedimientos y criterios de evaluación, que puedan ser conocidos con anterioridad a su aplicación, que sean explícitos ¹⁰ y que su adopción responda a procesos públicos y consensuados con todos los actores que hacen parte del proceso de evaluación. En los casos en que los evaluadores o las instancias que conforman utilicen criterios ad hoc, no públicos ni explicita-dos previamente, éstos deberían figurar claramente enunciados en el dictamen que se emite. Asimismo, la transparencia debe alcanzar a todos los aspectos del proceso evaluativo, incluyendo la selección de evaluadores/as y las instancias de impugnación y recusación.
4. 4. Suprimir el anonimato en la evaluación de personas y recursos. Proponemos que los dictámenes de evaluación de personas y recursos sean firmados por todas/os las/os evaluadoras/es que participaron de la tarea, incluidos los asesores/as de comisiones de evaluación, y que sean accesibles públicamente, lo que sin dudas, sería un gesto que todo el sistema valoraría como una señal de transparencia. La resistencia que existe al respecto no tiene mayores fundamentos, se basa en el temor a los cambios y en cierta inercia institucional. La mención de los/as evaluadores/as debe valorarse positivamente como parte de las actividades CyT que requieren no sólo de conocimiento y experiencia, sino también de tiempo y dedicación, por lo que merecen ser reconocidas adecuadamente.
5. 5. Ampliación y diversificación de los criterios de evaluación. Se hace necesario salir del esquema que impone el predominio de la evaluación por productos tradicionales con marcado sesgo cuantitativo. Para ello deben ampliarse los criterios de evaluación, en principio, incorporando variables cualitativas -criterio de importancia, consecuencias de la investigación, oportunidad, importancia regional, publicación y/o difusión de resultados en acceso abierto, vinculación con actores sociales, entre otros-, y luego incorporando criterios cuantitativos que contemplen las condiciones en que la investigación científica se realiza en cada región del país, su coherencia con las políticas públicas, su aporte genuino al conocimiento, los fondos reales con que contaron los/as investigadores/as, la ponderación de relaciones entre las instituciones del sistema y los actores sociales, o el ahorro para el país de un posible desarrollo tecnológico. Sin dudas, no es una tarea fácil, pero hay experiencias en ese sentido y es posible pensar pasos inmediatos. Por ejemplo, en la evaluación de personas, el/a investigador/a podría presentar junto a su CV un documento con otras valoraciones en relación a su actividad y una selección acotada de sus publicaciones para ser evaluadas cualitativamente y en profundidad. En ese sentido, nociones como la de “trayectoria global del investigador” permiten una valoración que vaya más allá de los indicadores bibliométricos de impacto y contemple el conjunto de las actividades de el/la investigador/a.
6. 6. Des-burocratización y coordinación entre instancias de evaluación. Es imprescindible la coordinación entre los organismos de CyT con miras a evitar la multiplicidad de instancias de evaluación (por lo general con diversas grillas y lógicas institucionales) y la consecuente recarga de trabajo innecesario para los/as investigadores/as, evaluadores/as y gestores/as. La coherencia global dada al sistema por la existencia de un plan de CyT debería colaborar en la coordinación entre las instancias. Por otro lado, la publicidad del proceso evaluativo permitiría reutilizar los dictámenes de evaluaciones anteriores en sus considerandos, evitando así un derroche de recursos públicos. Con el mismo fin, es preciso avanzar hacia un sistema único nacional de CV, construido con la mayor amplitud posible de modo tal que permita observar la trayectoria global de los/as investigadores/as. Y coordinar entre los distintos organismos de CyT los períodos de convocatorias a becas, ingresos a carrera y otros para reducir la carga laboral destinada a evaluaciones y su excesiva e innecesaria periodicidad. Los fondos de investigación de escasa envergadura, por ejemplo, podrían ser adjudicados de forma automática con la sola aprobación del presupuesto de institutos y laboratorios, y dedicar más tiempo a la evaluación de procesos más complejos y proyectos de gran porte, asociados a programas de alto impacto social, que sean adjudicados mediante concursos públicos a los cuales apliquen proyectos, redes y grupos, y no individuos.
7. 7. Realizar evaluaciones in situ y ex post en grandes proyectos. Para proyectos de envergadura mayor, instituciones y en otros casos que pudiera justificarse, la evaluación debería contemplar la realización de visitas a los lugares de trabajo o donde se llevará a cabo el proyecto, permitiendo, entre otras cosas, entrevistas personales. Este mecanismo, muy usado en otras instituciones del mundo, ha mostrado ser una herramienta sumamente eficaz para incentivar la evaluación cualitativa, permitiendo además un intercambio activo entre evaluadores/as y evaluados/as que redunda positivamente en la calidad del proceso y en sus resultados, independientemente de la decisión que se tome. Por otro lado, en los casos de grandes proyectos, es preciso la inclusión de evaluaciones ex post de resultados e impactos, que incluya a los/as investigadores/as pero también a los/as actores sociales, políticos y económicos vinculados.
8. 8. Evaluación de evaluadores. La publicidad de todo el proceso permitirá evaluar la actividad de los/as evaluadores/as. Podría construirse un Banco Nacional Público de Evaluadores/as en donde se visualicen los antecedentes personales en el tema y eventualmente una selección, a cargo de el/la propio/a evaluador/a, de dictámenes emitidos. Esto tendría varias consecuencias positivas, como por ejemplo una mayor valoración de esta actividad como antecedente profesional. Se favorece además una ética de la evaluación, al tener que efectuar dictámenes bien fundados, detallados y consistentes, evitando juicios ligeros, eufemismos y otras malas prácticas. También deberían existir instancias de formación para la actividad, que podrían incluirse en los estudios de grado y posgrado.

Finalmente, y como parte de una ética que queremos promover, creemos que es preciso avanzar hacia una evaluación colaborativa y formativa, inclusiva y plural, contextual y situada. Aunque siempre habrá un inevitable costado competitivo, en la medida en que se disputan recursos y accesos a cargos que son limitados, no debe perderse de vista el sentido de la evaluación.

Referencias

Argentina. Ministerio de Ciencia, Tecnología e In-novación Productiva. Comisión Asesora sobre Evaluación del Personal Científico y Tecnológico (2011 y 2012). Documentos 1 y 2: Hacia una redefinición de los criterios de evaluación del personal científico y tecnológico. Proyectos de desarrollo tecnológico y social (PDTS). Recuperados de https://vinculacion.conicet.gov.ar/wp-content/uploads/sites/2/Docu-mento-I-Comision-Asesora-Evaluacion-del-Perso-nal-CYT-version-13-09-121.pdf

Argentina. Ministerio de Ciencia, Tecnología e Innovación Productiva. Secretaría de Planeamiento y Políticas en Ciencia, Tecnología e Innovación Productiva (2013). Argentina Innovadora 2020: Plan Nacional de Ciencia, Tecnología e Innovación. Lineamientos estratégicos 2012-2015. Recuperado de: https://www.argentina.gob.ar/sites/default/files/pai2020.pdf

Atrio, J. (2018): “¿Cómo perciben los investigadores del CONICET al sistema institucional de evaluación de la ciencia y la tecnología?”, Revista Iberoamericana de Ciencia, Tecnología y Sociedad, vol. 13, n° 37, pp. 189-229.

CPS, C. L. (2018). Publicaciones científicas, ¿comunicación o negocio editorial?. Ciencia, Tecnología y Política, 1(1), 005. https://doi.org/10.24215/26183188e005

Comisión Interinstitucional de Elaboración de Criterios de Evaluación para las Humanidades y Ciencias Sociales CIECEHCS (2014). Criterios de evaluación de la producción científica de las humanidades y las ciencias sociales. Buenos Aires.

Davyt, A. & Velho, L. (1999). Excelencia científica: la construcción de la ciencia a través de su evaluación. Comisión Sectorial de Investigación Científica (CSIC), Uruguay. Redes, 6 (13), pp. 13-48.

DORA (2002). San Francisco Declaration on Research Assessment. Recuperado de: https://sfdora.org (última visita 20/09/19).

Fernández Esquinas, M., Díaz Catalán, C., & Ramos Vielba, I. (2011). Evaluación y política científica en España: el origen y la implantación de las prácticas de evaluación científica en el sistema público de I+D (1975-1994). En T. González de la Fe & López Peláez, Innovación, conocimiento científico y cambio social. Ensayos de sociología ibérica de la ciencia y la tecnología (págs. 93-130). Madrid: Centro de Investigaciones Sociológicas (CIS).

Herrera, A. (1975). Los determinantes sociales de la política científica en América Latina. Política científica explícita y política científica implícita. En J. Sábato (Comp.) (1975). El pensamiento latinoamericano en la problemática ciencia-tecnología-desarrollo-dependencia. Buenos Aires: Paidós.

Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature News, 520 (7548), 429. https://doi.org/10.1038/520429

Kreimer, P. (2011). La evaluación de la actividad científica: desde la indagación sociológica a la burocratización. Dilemas actuales. Propuesta educativa, 36(20), 59-77. Recuperado de: http://www.propuestaeducativa.flacso.org.ar/archivos/dossier_articulos/60.pdf

Naidorf, J., Vasen, F. & Alonso, M. (2015). Evaluación académica y relevancia socioproductiva: los proyectos de desarrollo tecnológico y social (PDTS) como política científica. Cadernos PROLAM/USP, 14(27), 43-63. https://doi.org/10.11606/issn.1676-6288.prolam.2015.103235

Porta, F. & Lugones, G. (Dirs.) (2011). Investigación científica e innovación tecnológica en Argentina: impacto de los fondos de la Agencia Nacional de Promoción Científica y Tecnológica. Bernal: Universidad Nacional de Quilmes.

Salomon, J.-J. (1997). La ciencia y la tecnología modernas. En Salomon, J.-J., Sagasti, F. & Sachs, C. (Comps.). La búsqueda incierta: Ciencia, tecnología, desarrollo. México: Fondo de Cultura Económica.

Wuchty, S.; Jones, B. F.; Uzzi, B. (2007). The increasing dominance of teams in production of knowledge. Science, 316 (5827), pp. 1036-1039. doi: http://dx.doi.org/10.1126/science.1136099

Notas