Una reflexión pendiente: sistemas y procesos de evaluación científica

Claudia Figari

 

El sistema y el proceso de evaluación científica constituyen una temática crucial con alcance nacional, regional e internacional. Su debate sistemático ha ocupado, en los últimos dos años, a un grupo de investigadores (de diferentes instituciones científicas) entre quienes nos encontramos, debido a la relevancia que asumía en relación con el ingreso, permanencia y promoción en el sistema científico. Fruto de los intercambios que
hemos sostenido, se conformó la Comisión Interinstitucional de elaboración de criterios de evaluación para las Humanidades y las Ciencias Sociales- CIECEHCS quien produjo el Documento: Criterios de evaluación de la producción científica de las Humanidades y Ciencias Sociales [1].

En ese contexto, el conjunto de investigadores/as que conforman la CIECEHCS organizó la Jornada: “Discusión sobre sistemas y proceso de evaluaciónque se realizó el lunes 11 de noviembre con sede en el IDES [2]. El propósito del encuentro ha sido generar un espacio de reflexión y  producción colectiva y recuperar las experiencias de los investigadores en una temática que vertebra al sistema científico. La Jornada se organizó
en torno a tres ejes abarcadores de las principales cuestiones analizadas en el citado Documento: I. ¿cómo es y cómo debiera ser considerada la especificidad en las Ciencias Sociales y Humanas en el sistema de evaluación? [3]; II. ¿cómo evalúa los actuales criterios de jerarquización y ponderación de los componentes de informes, proyectos, solicitudes de promoción?, ¿los reformularía?, ¿cómo? [4]; III. ¿qué condiciones debería
reunir un postulante para acceder a beca y a carrera de investigador en cualquier de sus categorías? [5]. El tratamiento de cada Eje se inició con las reflexiones de algunos colegas que oficiaron de comentaristas [6].

La síntesis que desarrollamos en este boletín recupera los principales núcleos de problematización que se derivan tanto de los aportes de los comentaristas como de la riqueza de las intervenciones de los participantes a la Jornada, que convocó a casi 100 investigadores, becarios y técnicos de diferentes instituciones del país.

Acerca del sentido y alcance de la evaluación en las Ciencias Sociales y Humanas

Una problemática que cobró centralidad en los intercambios ha sido la importancia de considerar la especificidad de las Ciencias Sociales y Humanas en los sistemas de evaluación, y, en este sentido reconocer los “contextos de sentido” en los que produce, apelando a su inscripción en un tiempo y espacio definidos. La importancia que asume reconocer su ubicación contextual supone valorizar los espacios locales, regionales, en los que cobran alcance las problemáticas que se investigan. Sin embargo, se destaca una limitante: el dominio de criterios procedentes de las Ciencias Exactas y Naturales, y la importancia que asumen los criterios empresariales en las lógicas de imposición de determinados modelos de evaluación de la producción científica. Se destacó en ese contexto de intercambio el movimiento crítico de ideas que se impulsa en otros países en los que se debaten las concepciones imperantes en la forma de hacer ciencia y de la cual deriva determinada concepción de la evaluación, basada en resultados mensurables, cuantificables. Así, las Jornadas abrieron un espacio de problematización sobre la concepción imperante en torno a la evaluación, en la cual subyace una idea rectora: medir, registrar, rendir cuentas, controlar. Esta concepción se distancia de aquella basada en la evaluación de procesos, comprensiva y cualitativa. Justamente, y como se ha postulado, si la evaluación requiere de un objeto medido sobre la base de referentes y criterios, entonces ¿cuáles son esos objetos y criterios?, ¿se trata de medir sólo cierto tipo de producción?, ¿qué modelo subyace: la evaluación sólo es medir? Hubo coincidencia acerca de la importancia de reflexionar sobre los modelos subyacentes en los sistemas de evaluación, su desnaturalización reenvió también a algunas preguntas claves: ¿para quiénes investigamos?; ¿cuál es el perfil del investigador/a?, ¿con qué sujetos se intercambia en el proceso de evaluación? Así, el debate sobre los instrumentos de medición no puede disociarse de la concepción de evaluación en la que cobran coincidencia acerca de la importancia de reflexionar sobre los modelos subyacentes en los sistemas de evaluación, su desnaturalización reenvió también a algunas preguntas claves: ¿para quiénes investigamos?; ¿cuál es el perfil del investigador/a?, ¿con qué sujetos se intercambia en el proceso de evaluación? Así, el debate sobre los instrumentos de medición no puede disociarse de la concepción de evaluación en la que cobran sustento.

El debate se centró también en la valorización de las publicaciones (indizadas) como patrón de medida imperante. Esta referencia se constituyó en un núcleo de
problematización recurrente en los debates, y se señaló que la tradición del libro en las Ciencias Sociales y Humanas debe ser valorizada y recuperada justamente atendiendo a su especificidad. Al respecto se señala que aún resulta relevante resolver las evaluaciones de calidad de los libros que se editan.

Como parte del diagnóstico realizado se expuso la limitante que supone producir sólo para un público de pares y la necesidad de ampliar la mirada y valorización con respecto a otro tipo de producciones como, por ejemplo, la audiovisual. En este escenario de debate, recuperar la especificidad atendiendo a su contextualización, en términos de ubicación temporoespacial y cultural, supone tanto valorizar la tradición del libro y de diferentes tipos de producciones como promover la valorización de Ciencias Sociales y Humanas públicas y críticas, fortaleciendo redes latinoamericanas/regionales.

Algunas contribuciones también señalaron que determinados modelos de evaluación promueven determinadas prácticas científicas y, en ese marco, se apuntó a la importancia de reflexionar acerca de la formación de jóvenes investigadores.

De esta forma, se destacó, por un lado, que determinados criterios conllevan cierta
concepción acerca de la evaluación y, por el otro, que su preeminencia define prácticas científicas, de modo tal que romper este círculo requiere ampliar la mirada para reflexionar acerca de las concepciones imperantes, y desde allí re-pensar las prácticas que se dinamizan y el perfil de investigador/a que suponen.

Acerca de los procesos de evaluación: su gestión institucional

La experiencia acumulada de muchos de los colegas que participaron en diversas
comisiones evaluadoras en CONICET y en Universidades (incluso en diferentes períodos) ha aportado un valioso insumo para reflexionar colectivamente acerca de la concreción  del proceso de evaluación y su relevancia en el ingreso al sistema científico y en su permanencia y promoción, en el marco de la CIC y en diferentes Universidades. Un debate se centró en la concurrencia y/o divergencia de los sistemas de evaluación imperantes en CONICET y en diferentes Universidades, cuestión que aún amerita ser tomada en consideración dadas las especificidades que asumen.

El proceso de evaluación ha sido muy debatido a partir de la complejidad del sistema decisional que supone, de los actores intervinientes y de los criterios imperantes (a veces cambiantes, no explícitos). Así, un punto medular de los intercambios ha sido la necesidad de explicitar los criterios vigentes que regulan la incorporación, promoción y permanencia en el sistema científico. Otro de los tópicos centrales radicó en cómo se alcanzan (o no) acuerdos, por ejemplo, entre las Comisiones evaluadoras y la instancia de Junta en el CONICET. A su vez, se destacó la complejidad del proceso de evaluación que demanda un tiempo considerable y una determinada formación para ser llevado a cabo. A su vez, el diagnóstico efectuado puso de relieve la multiplicación de las tareas de evaluación (como pares, miembros de comisiones y otras instancias, etc.), y se sostuvo
que esta situación atentaba contra la calidad del proceso de evaluación.

Algunas propuestas que surgieron del intercambio fueron: explicitación de los criterios según momento de la carrera; claridad en la formulación del orden de mérito; elaboración de criterios que tomen en consideración la variedad disciplinar y diferentes tradiciones científicas y, en el caso de las becas iniciales, ponderar el promedio histórico en las carreras de grado.

Con respecto al propio proceso de evaluación, se insistió en la necesidad de explicitar públicamente y con antelación los criterios de evaluación y los mecanismos de decisión. En este sentido, por ejemplo, se propuso realizar actas con las principales decisiones que se toman. Una propuesta también se orientó a incorporar, como en el caso del personal de apoyo en CONICET, las veedurías gremiales. En este último sentido, se postuló la importancia de dar apertura a las paritarias en el CONICET, que incluyan tanto a los técnicos como a investigadores.

En consecuencia, se ha señalado la importancia de concebir a los investigadores/as como trabajadores, así como de valorizar aspectos concernientes a su trayectoria global y a la labor realizada en diferentes esferas de actuación -en coherencia con la labor científica-. Estas consideraciones cobran centralidad en resguardo del derecho a la carrera y de una concreta aplicación del Estatuto que rige la actividad, como, por ejemplo, las referencias a que la evaluación debe ser cualitativa y subsidiariamente cuantitativa. Asimismo, y como se mencionó en las Jornadas, esta referencia está afirmada en la resolución 087 del 28 de enero de 2013 del CONICET, relativa a la evaluación.

Hacia el futuro: los integrantes de la CIECEHCS nos hemos comprometido con los
participantes a remitir una sistematización de lo debatido en las Jornadas y hemos
coincidido en la importancia de multiplicar los foros de debate en las diferentes
instituciones.

Notas
[1] Se trata de un documento abierto, pensado para ser enriquecido y problematizado, justamente, el propósito ha sido y sigue siendo tejer una trama que posibilite un debate en profundidad acerca de los sistemas y procesos de evaluación en el sistema científico.
[2] Miembros de la CIECEHCS que organizaron las Jornadas: José Antonio Castorina, Amalia Eguía, Claudia Figari, Rosana Guber, Guillermo Neiman, Celia Rosemberg, María Teresa Sirvent, Irene Vasilachis de Gialdino.
Las siguientes instituciones promovieron las Jornadas: Asociación Latinoamericana de Investigación Cualitativa -ALIC-; Centro de Estudios e investigaciones Laborales -CEIL CONICET-; Instituto de Desarrollo Económico y Social/Centro de Antropología Social/Centro de Investigaciones Sociales-IDES CAS/CIS CONICET; Instituto de Investigaciones en Ciencias de la Educación -IICE UBA-; Instituto de Investigaciones en Humanidades y Ciencias Sociales- IdIHCS UNLP CONICET-. Agradecemos los registros realizados en el transcurso de las Jornadas por Cinthia Wanschelbaum y Alina Fontana. Asimismo, agradecemos la colaboración y asistencia técnica de Irene Brousse, Inés Colombo y Viviana Gómez.
[3] Comentaristas generales: Elizabeth Jelin (CIS-IDES) y Juan Ignacio Piovani
(IdIHCS/UNLP)
[4] Comentaristas generales: Sabina Frederic ( UNQUI) y Susana Celman (UNR)
[5] Comentaristas generales: Telma Piacente (UNLP) y Fernanda Beigel (UNCuyo)
[6] Rosana Guber, María Teresa Sirvent e Irene Vasilachis de Gialdino estuvieron a cargo de la presentación y Claudia Figari de la síntesis final.

Para citar este artículo: CEIL, "Una reflexión pendiente: sistemas y procesos de evaluación científica", 9 diciembre, 2013, URL:http://www.ceil-conicet.gov.ar/2013/12/una-reflexion-pendiente-sistemas-y-procesos-de-evaluacion-cientifica/. Consultado: 19 enero, 2020