Evaluación de impacto de la investigación, aportes para la construcción de un modelo propio en la Institución Universitaria del Areandina-Colombia
Research impact assessment: contributions to the construction of a model at the Areandina University Institution in Colombia.
Omar Eduardo Peña Reina https://orcid.org/0000-0003-0519-4417
Universitaria del Areandina-Colombia
opena9@areandina.edu.co
https://doi.org/10.59722/serc.v1i1.971
Nota: Este artículo de reflexión parte de un trabajo en equipo de la Dirección Nacional de Investigación y Desarrollo Científico (DNI) de la Fundación Universitaria del Área AndinaColombia, conformado por Fernando Barrios A, asesor metodológico, Marcela Ruge U, Lizet Tarache Ch, Paola Ocampo C, Valeria Velásquez O, Miguel Arroyo R y Omar Peña R.
Palabras claves: Educación superior, evaluación, impacto de la investigación, modelo de evaluación, proyectos de investigación
Resumen
Este documento describe los principales referentes teóricos y metodológicos, a partir de los cuales se realizó la evaluación de impacto de una muestra de proyectos de investigación aplicada y formativa de la Fundación Universitaria del Área Andina, Colombia, entre los años 2018 y 2020, como también unas conclusiones preliminares del análisis cuantitativo y cualitativo. La investigación hace parte del plan de mejora institucional en la vía de la reacreditación institucional multicampus otorgada por el Consejo Nacional de Acreditación (CNA) y el Ministerio de Educación Nacional (MEN) en el año 2021.
De acuerdo con los resultados de la investigación, se proyecta construir un modelo propio de evaluación de la investigación para la institución, que permita entre otros, realizar ajustes a su política de investigación, a la gestión de la investigación y sus estrategias, cómo también acordar criterios e indicadores propios para unificar y definir los parámetros con los cuales se dará cuenta del impacto de investigación que realiza Areandina.
Abstract
This document describes the main theoretical and methodological references, from which the impact evaluation of the applied and formative research projects of the Fundación Universitaria del Área Andina, Colombia, will be carried out between 2018 and 2020. The research is part of the plan for institutional improvement in the path of multi-campus institutional reaccreditation granted by the National Accreditation Council (CNA) and the Ministry of National Education (MEN) in the year 2021.
According to the research findings, it is planned to build its own research evaluation model for the institution. This model will allow, among other things, to make adjustments to its research policy, research management, and strategies. Additionally, it will establish criteria and indicators specific to unify and define the parameters by which the research impact carried out by Areandina will be realized.
Introducción
Son múltiples las aproximaciones conceptuales y metodológicas para evaluar el impacto de la investigación que realizan las instituciones de educación superior. En el caso de Areandina, el interés por conocer el real impacto de su investigación se ha convertido en un proyecto institucional con el que se busca evaluar, entre otros, qué beneficio real han tenido las instituciones, grupos y comunidades a los que se han dirigido los proyectos de investigación financiados en el periodo 2018-2020. Conocer de qué manera se ha retroalimentado el currículo con estas investigaciones, cómo los proyectos han contribuido a la disminución de brechas en los diferentes territorios en los que hace presencia la institución a través de la oferta de programas presenciales; Bogotá, Pereira (región centro-occidente de Colombia) y Valledupar (región Caribe, al norte del país).
Alrededor del concepto de evaluación de impacto, se puede decir que en general, la ambigüedad de este se evidencia en la restricción y exclusión de algunos enfoques o beneficiarios de la intervención y de la dimensión temporal del impacto. Por ejemplo, el enfoque antropocéntrico de Research England (2019) en "economía, sociedad y / o cultura" con la aparente exclusión de impactos ambientales, no humanos beneficiarios y generaciones futuras; por otra parte, Nutley et al. (2007) y Morton (2015) definen el impacto como cambios en: “conciencia, conocimiento y comprensión; ideas, actitudes y percepciones, y políticas y prácticas”
Como resultado de la investigación se busca entonces evaluar el impacto desde dos contextos. El primero centrado en los individuos e interrelaciones internas y externas de organizaciones que participan en la investigación, que son objeto de estudios o que se seleccionaron como beneficiarios del proyecto. Los segundos serían los afectados indirectamente por la investigación. Ambos elementos son fundamentales en la multidimensionalidad del impacto que genera la investigación. Para responder a la pregunta: ¿Cuál ha sido el impacto que han tenido los proyectos de investigación realizados por la Fundación Universitaria del Areandina en el periodo 2018-2020?
La construcción de este modelo de evaluación contempla una mirada desde la teoría del cambio y el análisis de la cadena de resultados; pues desde estos enfoques se muestran los mecanismos o procesos que, acompañados de los insumos, actividades y resultados de corto y largo plazo, vislumbran cómo la investigación genera impacto. Asimismo, podemos definir la relación dinámica entre la investigación y las variables multidimensionales del impacto, de manera que una varía con la otra. Para un resultado eficiente, el uso de metodologías cualitativas y/o cuantitativas de evaluación, permite generar un ejercicio soportado en la evidencia. Esto lleva a pensar que el impacto de una investigación son los beneficios demostrables y/o perceptibles para los individuos, grupos, organizaciones y la sociedad (incluidas las entidades humanas y no humanas en el presente y el futuro) que están vinculados causalmente (necesaria o suficientemente) a investigar.
En resumen, el proyecto busca en el contexto de la autoevaluación institucional y de la mejora continua de la Dirección, evaluar, entre otros, la pertinencia de la investigación que promueve, la aplicación de su política de investigaciones (acuerdo 021 de 2019) en la que se declara la apuesta por la investigación formativa y aplicada y en la que se definen tres grandes focos de acción; innovación educativa, humanización de las profesiones y transformación social, gestión ambiental y desarrollo territorial. Su objeto central es evaluar el impacto que los proyectos han tenido en los diferentes ámbitos; políticos, sociales, institucionales, culturales y ambientales, como también la producción lograda en las diferentes tipologías del Ministerio de Ciencia, Tecnología e Innovación (Minciencias)
Se trata de una mirada amplia de la evaluación de impacto, que contemple la producción científica, la coherencia de la investigación con la misión institucional y su pertinencia en contextos reales, como base para definir un modelo propio de evaluación.
Este artículo realiza un bosquejo general de documentos bibliográficos que se han elaborado sobre la evaluación de impacto de proyectos de investigación, desde distintos escenarios académicos. En primer lugar, dará una mirada contextual sobre el estado del conocimiento de la temática abordada desde una visión cienciométrica. Se realiza una discusión teórica sobre distintas referencias bibliográficas que generan un escenario de reflexión en torno a los modelos y categorías que se usan en la actualidad sobre la temática. Por ejemplo, desde la construcción de un marco para el monitoreo y evaluación de proyectos, según el sistema de mejor gestión y complementario al Modelo Estándar de Control Interno (MECI), se presenta el ciclo de vida de los proyectos a través de cuatro procesos: i) financiar la I+D; ii) desarrollar la investigación; iii) comunicar resultados y iv) aplicar conocimiento (Ofir, Schwandt, Duggan, & McLean, 2016).
A su vez se hace una descripción de la metodología que soporta el proyecto de investigación y cierra con las reflexiones, inquietudes y retos que el equipo de trabajo ha encontrado en el desarrollo de la investigación.
Estado del arte y revisión de literatura: La revisión bibliográfica se basa en una serie de documentos guiados por discusiones internacionales actuales y otros que compilan experiencias nacionales en Colombia. La revisión se divide entre modelos de medición de impacto de proyectos de investigación; metodologías propias para la construcción de dichos modelos; y artículos de discusión y reflexión teórica que deconstruyen modelos y métodos utilizados desde la cienciometría.
Los modelos revisados son construidos desde distintas instituciones privadas y educativas que requieren para su quehacer investigativo elaborar dichas evaluaciones. El modelo de medición de impacto para los proyectos sociales de la facultad de ingeniería de la Universidad Católica de Colombia (Torres & Arias, 2017) se desarrolla bajo un trabajo de grado para optar al título de Ingeniero y busca Identificar los principales indicadores que los programas académicos han utilizado de manera particular, para medir el impacto o dar cuenta de este. El texto hace una revisión teórico conceptual de la evaluación de impacto social, propone indicadores base a partir de los proyectos sociales identificados, para culminar en un diseño y adecuación de un modelo de evaluación de impacto de los proyectos sociales de la facultad de Ingeniería de la citada universidad.
La construcción del modelo tiene como base las metodologías Scrum para la gerencia y desarrollo del proyecto, la metodología IMI - Iniciativa de Medición de Impacto, la metodología de marco lógico para la revisión documental y la teoría general de sistemas para entender el contexto global de los proyectos de responsabilidad social de la facultad. A partir de ello se plantea la metodología para revisar y evaluar los proyectos que hacen parte del universo de análisis, la cual contempla cuatro fases: 1. Analizar los proyectos sociales de la facultad de Ingeniería, con el fin de identificar indicadores; 2. Recopilar indicadores para la medición de impacto social en proyectos sociales y técnico-sociales implementados en otras instituciones a nivel nacional e internacional; 3. Determinar indicadores transversales a los cuatro programas de la facultad de Ingeniería y; 4. Proponer un modelo de medición de impacto. Por último, plantea una discusión interesante entorno al trabajo del sociólogo Marcos Valdés, quien enfatiza que el impacto de proyectos sociales que intentan constatar los cambios producidos por las intervenciones no busca determinar el nivel de logro de los objetivos propuestos por un determinado proyecto, sino que los ignora expresamente, dándole mayor importancia a efectos que no necesariamente se deducen de los objetivos de la intervención social.
El segundo modelo es de monitoreo y evaluación para la medición de resultados e impacto de los proyectos de investigación, creación artística e innovación, de la vicerrectoría de investigación de la Universidad Nacional de Colombia (Martínez Collantes, 2012). Este modelo inicia con una conceptualización y diseño en el marco de las normativas institucionales y nacionales. Posteriormente construye un marco para el monitoreo y evaluación de los proyectos según el sistema de mejor gestión y complementario al Modelo Estándar de Control Interno (MECI). Así, el modelo propio para la investigación creación se basa en el modelo de Björk, quien presenta el ciclo de vida de los proyectos a través de cuatro procesos: i) financiar la I+D; ii) desarrollar la investigación; iii) comunicar resultados y; iv) aplicar conocimiento. Finalmente se construye un modelo propio para los proyectos de investigación, creación artística e innovación de la universidad, con miras a realizar un monitoreo durante el ciclo de vida de los proyectos que inicia con el año 0, luego al primer año y finalmente a los dos años; teniendo como base los siguientes indicadores: i) contexto; ii) producto; iii) resultado y; iv) impacto.
Desde el enfoque metodológico hay tres artículos de discusión sobre la construcción de nuevas formas de medición del impacto de las investigaciones; el primer documento es “Research QualityPlus an holistic approach to evaluating research” (Ofir, Schwandt, Duggan, & McLean, 2016), diseñado por el Centro de Desarrollo en Investigaciones, que plantea un nuevo enfoque para evaluar la calidad de la investigación que tenga en cuenta las preocupaciones y los objetivos sociales, descentralizando los mecanismos de evaluación, las estructuras y las plataformas. Este artículo propone que los modelos anteriores se basan en la mirada científica del investigador sobre la ciencia en sí misma, cómo se debe percibir y concebir, desde la ciencia valida y rigurosa; por esta razón la descentralización de la ciencia para medir su pertinencia e impacto, teniendo al investigador como un solipsista sin contexto, es necesaria.
Las métricas deben tener en cuenta la complejidad y la interacción social que implica vínculos e intercambios entre investigadores, formuladores de políticas, comunidades y profesionales. La efectividad de la investigación no solo está en las manos de los investigadores sino de todos los actores que interactúan, en las tres esferas de la investigación: esfera de control, esfera de influencias y esfera de intereses; finalmente propone un marco de evaluación que consta de tres componentes: i) influencias claves; ii) investigación de las dimensiones y subdimensiones de calidad y; iii) evaluar rúbricas.
Dentro de este enfoque se puede identificar el artículo de Diego Benítez (2019), quien busca medir el impacto de distintos proyectos de construcción de paz en Colombia, desde la etapa de diseño del proyecto con el modelo lógico y la teoría del cambio que ayuden a identificar y hacer seguimientos a los procesos que tiene el proyecto antes de la implementación, al igual que contar con indicadores de medición claros.
El artículo “Evaluating impact from research: A methodological framework” (Reed, Ferre, & Martin-Ortega, 2021) desarrolla una tipología de diseños de evaluación de impacto y propone un marco metodológico para guiar las evaluaciones, revisar su importancia y el alcance del impacto, mediante cinco tipos de evaluación: i) métodos experimentales y estadísticos; ii) métodos basados en textos, orales y artes; iii) métodos de análisis de sistemas; iv) enfoques basados en indicadores y; v) enfoques de síntesis de evidencia.
En esta revisión un artículo que aporta elementos de gran interés y que coincide con los objetivos del proyecto es: “A better measure of research from the global south - Funders Jean Lebel and Robert McLean describe a new tool for judging the value and validity of science that attempts to improve lives”. En el cual (Lebel y McLean, 2018), exponen la necesidad de cambiar el modelo en que se evalúan las investigaciones aplicadas y traslacionales, ya que, al trabajar con experiencias locales se enfrentan a distintos factores que influyen en sus procesos de investigación, haciéndolas más específicas, pero de igual forma más complejas de llevar a cabo.
Los investigadores involucrados en las investigaciones consideran que las personas beneficiarias de los proyectos son quienes están en la mejor posición para juzgar el valor y la validez del trabajo realizado. Los autores consideran que existe una debilidad relacionada en la forma en que se mide la ciencia, ya que su mirada es demasiado estrecha y subestiman las soluciones únicas a problemas únicos. La calidad de la investigación ha sido supeditada a la presión en las publicaciones en inglés, donde todo está sesgado hacia las publicaciones que se realizan en Estados Unidos y Europa Occidental, considerando en un nivel inferior las publicaciones en idiomas locales. Por lo tanto, el IDRC (International Development Research Centre) presenta su herramienta para evaluar la calidad de la investigación que se basa en reconocer adecuadamente las investigaciones locales.
Proponen la herramienta RQ+, la cual tiene tres principios: Identificar los factores contextuales (resalta la importancia del entorno donde se realizan las investigaciones), articular dimensiones de calidad (integridad científica, legitimidad, importancia, una medida de relevancia y originalidad) y posicionamiento tomando como base el uso de rubricas y evidencias (las evaluaciones deben ser sistemáticas, comparables y basadas en evidencia empírica cualitativa y cuantitativa).
Para los autores es posible y esencial cambiar la forma en que se evalúan la investigación aplicada transnacional, consideran la importancia de construir un modelo propio para las instituciones, los países y las regiones, donde se identifique el valor de la cultura local con estrategias apropiadas al contexto.
Metodología:
La evaluación del impacto de la investigación
Se define la evaluación de impacto como un proceso para evaluar la importancia y el alcance multidimensional de los efectos tanto positivos como negativos de los proyectos de investigación que han participado en las convocatorias internas de Areandina. En este proceso la imparcialidad de revisión modificada mirará desde diferentes perspectivas una retroalimentación formativa que permita de alguna manera aprender de los errores, modificar o eliminar procesos, o reducir impactos negativos y diseñar una investigación con mayor articulación frente a la política institucional, al sello transformador Areandino y a la dimensionalidad del beneficio. (Scriven, 1991; Patton, 1996; Joly et al., 2017).
El ejercicio responsable de la investigación y su impacto debe contemplar diferentes horizontes de tiempo, en diferentes escalas sociales (de individuos a sociedad), escalas espaciales (de local a lo internacional) y en múltiples dominios (incluyendo lo social, económico, ambiental, cultural, la salud y el bienestar). Además de estos dominios de impacto final, hay una variedad de dominios intermedios donde pueden ocurrir impactos que incluyen comprensión / conciencia, cambio de actitud, cambio de comportamiento y toma de decisiones, desarrollo de políticas y capacidad (según la tipología de impacto de Reed (2018)).
Así entonces la investigación realizará la evaluación de impacto desde los resultados de los proyectos, en particular a partir de los productos de nuevo conocimiento tales como: artículos, libros, capítulos de libros, entro otros; productos de apropiación sociales tales como: informes de investigación, documentos de trabajo, memorias y participación en eventos científicos, entre otros; productos de formación del recursos humano como son las asesorías de trabajos de grado; y por último, se contemplan algunos productos de Desarrollo Tecnológico e Innovación, como son los softwares. Los resultados serán evaluados por pares internos y externos, a partir de un instrumento propio que se diseñó y valido, el cual se ilustra más adelante.
La evaluación de impacto combina en este contexto escenarios específicos y complementarios. Por una parte, se enfrenta al propósito principal del aprendizaje, pensamiento, comportamiento y beneficios de la población directamente afectada por la intervención, el compromiso con la investigación. Desde lo complementario, genera evaluaciones intermedias o matizadas de los efectos tácitos e implícitos de la investigación a las que puede ser necesario acceder indirectamente y evaluar en términos cualitativos. Con base en la definición de impacto anterior, está claro que la evaluación de impacto no solo se ocupa de identificar los impactos finales (por ejemplo, beneficios económicos o para la salud y el bienestar), sino también la gama de impactos intermedios que ocurren en el camino hacia el impacto (por ejemplo, comprensión / conciencia, cambio de comportamiento y política).
Para reportar un resultado de evaluación de impacto con base en la evidencia debemos contemplar la importancia y el alcance de los resultados que lleva el desarrollo de una investigación. Mientras que la importancia nos muestra la magnitud o la intensidad del efecto de la investigación en individuos, grupos u organizaciones (Álvarez et al. (2010); Research England (2019)), el alcance muestra el número, extensión o diversidad de individuos, grupos u organizaciones que se benefician de la investigación (según Douthwaite et al. (2003) e Research England (2019)). Esta evidencia nos permite decir, por ejemplo, si un proyecto de investigación impacta más que otro en sus beneficiarios o en el cambio relativo que puede generar sobre un indicador que afecte directamente a una población beneficiada.
Un indicador o factor calificativo puede ser crucial para demostrar la evidencia de impacto positivo, negativo o ambiguo porque nos muestra el nivel de alcance e importancia del impacto en la investigación. Con base en ello se puede evidenciar, por ejemplo, si el impacto en magnitud y alcance se propagó social, espacial o institucionalmente desde el momento en que se implementó. Asimismo, se puede evidenciar si realmente se generó un cambio notorio en el aprendizaje, comportamiento, prácticas o percepciones de la unidad mínima de análisis o de un conglomerado de corte espacial, social o institucional.
Realizar este ejercicio desde Areandina es muy importante por dos razones. En primera instancia nos permite reevaluar, modificar o eliminar algunos procesos con base en los resultados que muestre el ejercicio; se busca que este proceso permita ser más eficientes en la asignación de horas para el profesor investigador, en la producción científica, reasignación de recursos y diseño de términos de referencias para las convocatorias internas. En segundo lugar, permite establecer una legitimidad de un trabajo de investigación para una audiencia interna, asegurando una mejora de la calidad de los proyectos y para una audiencia externa debido a la creciente cantidad de recursos requeridos por los investigadores, recursos que plantean preguntas sobre el costo de oportunidad de dicha investigación. Además, esta apuesta por la calidad de la investigación; contribuirá tanto en la producción como en la pertinencia, posicionamiento y visibilidad de la Institución.
El primer propósito esencial de la evaluación es abordar las cuestiones organizativas en el ámbito académico. En particular, evaluaciones que nos permitan optimizar la organización de las instituciones, reforzar los principios de responsabilidad y enfatizar la aplicación de criterios explícitos y racionales para la toma de decisiones y políticas.
Se observan ventajas e inconvenientes en las distintas metodologías. Dados estos pros y contras, muchos de los métodos son complementarios. Potenciar las debilidades de los indicadores numéricos podrían remediarse revisándolos por pares, por ejemplo, antes de entrar en detalles sobre lo que se está evaluando, puede ser útil presentar un modelo estilizado sobre cómo se puede representar el proceso de investigación como un sistema. En la cadena de resultados de la evaluación de impacto se utilizan unos recursos financieros y de tiempo, que usualmente son insumos que tendrá en cuenta la organización para lograr productos y éstos a su vez, generan un impacto multidimensional en la sociedad. La habilidad de la institución para transformar insumos en productos depende de las estructuras y procesos en la misma, pero todo el proceso de transformación también depende del funcionamiento de la economía. Por supuesto es importante no olvidar que se está en una institución universitaria con las complejidades propias del mundo académico
El papel clave de la evaluación es evaluar si se están cumpliendo o no los objetivos. Para cumplir con este propósito, obviamente se requiere que los objetivos estén claramente definidos. La eficacia de un sistema de investigación es cuantificar los insumos utilizados por las instituciones, por ejemplo, el número de investigadores o los recursos invertidos. Claramente, estas medidas no necesariamente esclarecen cómo el sistema de investigación funciona o si hay un impacto beneficioso.
En este sentido y de acuerdo con Arnold y Guy (1997) se pueden identificar algunos problemas típicos de evaluación, son estos:
● Oportunidad ¿Los resultados esperados del proyecto fueron los correctos?
● Economía: ¿El proyecto ha salido más económico de lo que se esperaba?
● Eficacia ¿El proyecto ha cumplido con las expectativas propuestas? ¿Se logran las metas físicas y financieras propuestas en los términos y entregables del proyecto? ¿Cómo se compara el ROI con las expectativas del proyecto?
● Eficiencia ¿Cuál es el retorno de la inversión del proyecto de investigación? (ROI) ¿Los recursos son utilizados de forma óptima y oportuna?
● Eficiencia del proceso ¿El proyecto de investigación funciona bien?
● Calidad: ¿Qué tan buenos son los resultados del proyecto de investigación?
● Impacto ¿Qué ha sucedido como resultado de los propuesto en el proyecto de investigación?, ¿Existe una valoración oportuna desde lo socioeconómica global, incluyendo los efectos positivos y negativos, tanto aquellos que son deseados y estaban previstos, como los no previstos y no deseados?
● Adicionalidad ¿Qué ha sucedido con ocasión de la ejecución del proyecto de investigación, además de lo que hubiera sucedido de todos modos?
● Desplazamiento ¿Qué no ha sucedido en el proyecto de investigación que hubiera sucedido en su ausencia?
● Mejora de procesos ¿Cómo podemos hacerlo mejor? ● Estrategia ¿Qué debemos hacer a continuación?
Frente a estos dilemas, en el contexto de la investigación de Areandina, se vincularon en la discusión los siguientes:
● Pertinencia ¿El objetivo del proyecto es consistente con las prioridades de desarrollo de la población y las políticas de la entidad ejecutora y el organismo financiador?
● Sostenibilidad. ¿Se aprecia una capacidad óptima para mantener los impactos positivos del proyecto por un largo periodo de tiempo?
● Objetividad bibliométrica ¿Cuántos son los entregables del proyecto de investigación relacionados con apropiación social y generación de nuevo conocimiento? ¿Los entregables académicos son visibles en la comunidad científica?
● Innovación educativa ¿El proyecto generó implementación de un cambio significativo en el proceso de enseñanza-aprendizaje en Areandina?
● Humanización de las profesiones ¿El proyecto de investigación impulsa el concurso de una comunidad de profesionales que se identifiquen entre sí, que construyan una identidad social y una postura crítica con su entorno?
● Alineación con ODS. ¿El proyecto responde a la solución de alguno (os) de los objetivos de desarrollo sostenibles a 2030?
● Transformación social, gestión ambiental y desarrollo territorial. ¿El proyecto de investigación promueve la transformación social, la gestión ambiental y el desarrollo territorial?
Dentro de la metodología definida para esta evaluación, la muestra de proyectos de investigación se seleccionó de manera aleatoria y otro parte fue una muestra intencionada. El enfoque del proyecto es carácter tanto cualitativo como cuantitativo. En el proyecto se tuvieron dos momentos de evaluación por parte de pares externo e internos, un primer momento de validación del instrumento, y el segundo de aplicación del instrumento.
En el proceso de validación del instrumento inicialmente se definieron unos criterios con sus indicadores, estos fueron: Eficacia, eficiencia, sostenibilidad, tecnologías, tasa de desempleo, alfabetización, cultura y valores, satisfacción de la comunidad, número de personas beneficiadas, participación de la comunidad y pertenencia. Con el ánimo de hacer una validación inicial del instrumento antes de aplicarlo a los proyectos de la muestra.
En el esquema de trabajo de esta investigación, se vinculó como asesor temático y metodológico al profesor invitado por Areandina PhD, Juan Ponce de CLACSO-Ecuador. Fruto de la revisión con el experto se ratificó la importancia que el modelo a proponer debe tener con la misión y proyecto educativo institucional (PEI), se resaltó cómo cada región determina frente a las diferentes variables; institucionales, económicas, sociales, culturales y ambientales la implementación e impacto de los proyectos. A su vez coincide el experto con el equipo en tener una mirada más amplia del impacto de los proyectos superando lo cienciométrico, sin dejar de considerarlo, para reconocer un mayor espectro de efectos y resultados en grupos y comunidades.
Como resultado de las reuniones con el asesor mencionado, se ajustaron los criterios base del instrumento con el cual los pares evaluarán los proyectos que se les asignen y se les asigno su peso, se acordaron los siguientes: Pertinencia y oportunidad (15 %), eficacia (15%), eficiencia (15 %), impacto/propósito (15%), sostenibilidad (15 %), calidad teórica y metodológica (10 %) y objetividad bibliométrica (15 %).
Los indicadores seleccionados tuvieron una evaluación cuantitativa, para lo cual se empleó la escala de Likert de 1 a 5, donde 1 es el menor valor y 5 el mayor valor. Se realizó una evaluación de los proyectos en la ventana de tiempo entre 2018 y 2020. La información se tomó del sistema de información de la institución (SIGIIP), donde se encuentran alojadas la información y productos de los proyectos de investigación de la institución; siendo una herramienta óptima para el diseño, seguimiento y evaluación de proyectos del tipo I+D+i.
La selección de los expertos fue esencial para garantizar la calidad en la evaluación, estos fueron seleccionados acorde con su capacidad técnica en la temática del proyecto que se evalúo, experiencia e historial de desempeño ético y profesional en la gestión de proyectos.
Establecimiento de la muestra y resultados de la aplicación
Para el establecimiento de la línea base del proyecto se utilizó la historia disponible de las convocatorias internas de Investigación aplicada en Areandina. Esto permitió abordar la disposición de proyectos desde el año 2018, con la disposición de la documentación del proyecto en la ficha SIGIIP, donde deben estar descritos en los antecedentes y justificación del proyecto, los elementos de partida del escenario que justificaron el proyecto. Este insumo será indispensable para el conocimiento de la información. No obstante, es necesario disponer también de información documental de la política institucional de referencia que sustenten la información del proyecto, como los términos de referencia de las convocatorias; internas o externas y el andamiaje institucional que sustenta la investigación en Areandina.
Partimos de la información disponible de 397 proyectos, y se selecciona una muestra de 58 proyectos con base en un error muestral permitido del 10% y un nivel confianza de 90%
Tabla 1. Cuadro muestral de acuerdo con el universo de 397 proyectos
|
NC/Err or |
Cuadro de Muestra de acuerdo con la Población (N) =397 |
|
|
|
|
|||||||
|
|
1% |
2,0 % |
2,5 % |
3,0 % |
3,5 % |
4,0 % |
5,0 % |
6,0 % |
7,0 % |
8,0 % |
9,0 % |
10,0 % |
|
90% |
37 5 |
322 |
291 |
260 |
231 |
205 |
161 |
128 |
103 |
84 |
69 |
58 |
|
95% |
38 1 |
341 |
316 |
290 |
264 |
239 |
195 |
160 |
131 |
109 |
91 |
77 |
|
99% |
38 8 |
362 |
345 |
327 |
307 |
287 |
249 |
214 |
183 |
157 |
135 |
117 |
Fuente: Cálculo de los autores
La muestra aleatoria se distribuyó de manera estratificada, conforme a la participación histórica de los proyectos entre 2018-2020, de las facultades de la institución. Para la muestra se tomaron siete facultades, que tuvieron proyectos durante los años mencionados. La facultad de ciencias de la salud y del deporte, tuvo 158 proyectos y se tomó una muestra del 45% (21 proyectos); la facultad de ciencias administrativas, financieras y contables tuvo durante este periodo 51 proyectos y se tomó una muestra del 14% (7 proyectos); la facultad de ciencias sociales y humanas tuvo 38 proyectos y se tomó una muestra del 11% (5 proyectos); la facultad de Derecho tuvo 12 proyectos se tomó una muestra del 3% (2 proyectos), la facultad de diseño, comunicación y bellas artes tuvo 25 proyectos y se tomó una muestra del 7% (3 proyectos); la facultad de ingeniería y ciencias básicas tuvo 60 proyectos y se tomó una muestra del 17% (8 proyectos); finalmente la facultad de educación tuvo 10 proyectos y se tomó una muestra del 3% (1 proyecto). Así se obtuvo la muestra aleatoria de 48 proyectos, como lo muestra la siguiente tabla:
Tabla2. Muestreo por facultades.
|
|
2018 |
|
2019 |
2020 |
Total |
PROTYECOS MUESTRA |
||||||
|
Facultades |
Total |
% año respecto al
total de fac. |
Proyectos
|
Total |
% año respecto al
total de fac. |
Proyectos año
|
Total |
%de año respecto al
total de fac. |
Proyectos
|
|||
|
Salud |
44 |
28% |
6 |
66 |
42% |
9 |
48 |
30% |
7 |
158 |
21,42 |
21 |
|
45% |
||||||||||||
|
Adm |
11 |
22% |
1 |
19 |
37% |
3 |
21 |
41% |
3 |
51 |
6,92 |
7 |
|
14% |
||||||||||||
|
Sociales y humanas |
9 |
24% |
1 |
11 |
29% |
1 |
18 |
47% |
2 |
38 |
5,15 |
5 |
|
11% |
||||||||||||
|
Derecho |
6 |
50% |
1 |
2 |
17% |
0 |
4 |
33% |
1 |
12 |
1,63 |
2 |
|
|
|
|
|
|
|
|
|
|
|
3% |
|
|
|
Diseño |
2 |
8% |
0,27 |
15 |
60% |
2 |
8 |
32% |
1 |
25 |
3,39 |
3 |
|
7% |
||||||||||||
|
Ingenierías y ciencias básicas |
23 |
38% |
3 |
19 |
32% |
3 |
18 |
30% |
2 |
60 |
8,14 |
8 |
|
17% |
||||||||||||
|
Educación |
0 |
0% |
0 |
7 |
70% |
1 |
3 |
30% |
0 |
10 |
1,36 |
1 |
|
3% |
||||||||||||
|
Total |
95 |
|
132 |
117 |
354 |
48 |
48 |
|||||
|
|
|
|
|
|
||||||||
|
|
26,84% |
|
37,29% |
33,05% |
100,00% |
|
|
|||||
Fuente: Cálculo de los autores
Para la muestra intencional (10 proyectos) se tuvieron en cuenta tres criterios; primero que los proyectos tuvieran más de un producto científico (artículos, capítulos, etc.); segundo, que tuvieran los documentos completos (informes, fichas técnicas, etc.); tercero, se tomaron los proyectos que la Dirección Nacional de Investigación consideraban de ato impacto por su reconocimiento tanto interno como externo a la institución. Con este esquema se tomaron tres proyectos del año 2018, tres del año 2019 y cuatro proyectos del año 2020.
En el año 2023 se aplicaron los indicadores validados por los pares internos y externos (Pertinencia y oportunidad, eficacia, eficiencia, impacto/propósito, sostenibilidad, calidad teórica y metodológica y objetividad bibliométrica) a los 57 proyectos de la muestra, a continuación, sus resultados:
Pertinencia y oportunidad. Grado en el cual el objetivo del proyecto es consistente con las prioridades de desarrollo de la población y las políticas de la entidad ejecutora y el organismo financiador Este aspecto requiere de la valoración que hace un experto frente a los resultados, en términos de los resultados de sus objetivos, que obtuvo el proyecto en su desarrollo.
Gráfico 1: Pertinencia y oportunidad.
Fuente: propia-análisis de datos.
Eficacia. Grado en el cual se logra el cumplimiento de las metas de un proyecto. Se trata de la verificación del cumplimiento de los objetivos de una Intervención (propósito), Así mismo, esta evaluación incluye una comparación presupuestal entre lo ejecutado y lo proyectado.
Gráfico 2: Eficacia.
Fuente: propia-análisis de datos.
Eficiencia. Análisis de los resultados con relación a la utilización óptima y oportuna de los recursos asignados.
Gráfico 3: Eficiencia.
Fuente: propia-análisis de datos.
Sostenibilidad. Posibilidad de mantener el proyecto en un periodo de tiempo dando continuidad o escalando los propósitos planteados en el objetivo inicial que genera dinámicas de colaboración y posibles retornos económicos, sociales o ambientales a largo periodo de tiempo.
Gráfico 4: Sostenibilidad.
Fuente: propia-análisis de datos.
Calidad teórica y metodológica. Evaluación de la consistencia en la formulación del proyecto en los aspectos teóricos y metodológicos.
Gráfico 5: Calidad teórica y metodológica.
Fuente: propia-análisis de datos.
Impacto/Propósito. Valoración global, incluyendo los efectos positivos y negativos, tanto aquellos que son deseados y estaban previstos, como los no previstos y no deseados, de igual forma, lo que ha sucedido como resultado de los propuesto en el proyecto de investigación. Los tipos de impactos que se evalúan por lo general en los proyectos de desarrollo son:
tecnológicos, institucionales, económicos, políticos, socioculturales y ambientales. (SALUD,
ORGANIZACIONES, ECONÓMICOS, SOCIOECONÓMICOS, MEDIO AMBIENTE,
CIENTÍFICO TECNOLÓGICO) Gráfico 6: Impacto/Propósito. Salud.
Fuente: propia-análisis de datos.
Gráfico 7: Impacto/Propósito. Económico Financiero.
Fuente: propia-análisis de datos.
Gráfico 8: Impacto/Propósito. Socio económicos.
Fuente: propia-análisis de datos.
Gráfico 9: Impacto/Propósito. Medioambientales.
Fuente: propia-análisis de datos.
Gráfico 10: Impacto/Propósito. Científicos tecnológicos.
Fuente: propia-análisis de datos.
Gráfico 11: Impacto/Propósito. Organizaciones.
Fuente: propia-análisis de datos.
Objetividad bibliométrica. Valora la calidad y cantidad de los entregables planeados y desarrollados del proyecto de investigación relacionados con apropiación social y generación de nuevo conocimiento y su visibilidad en la comunidad científica. Este indicador se está trabajando por parte del equipo de la Dirección a partir de la producción registrada por los investigadores en su CvLAC en el marco de la actual medición de grupos de investigación de Minciencias
A manera de conclusión:
Los resultados de la muestra permiten concluir que en general, los proyectos de investigación realizadas por la Institución han tenido impacto positivo en los indicadores señalados, a pesar de que en su momento no fueron formulados con esta perspectiva.
De acuerdo con la muestra (58 proyectos), el indicador de pertinencia y oportunidad fue el que logro el mayor porcentaje de cumplimiento con un 45, 6 %.
Dentro de los indicadores de impacto el de medio ambiente fue el que tuvo menor porcentaje de cumplimiento, es decir se han realizado un menor número de proyectos y un menor impacto de éstos, a pesar de la apuesta de Areandina por el tema.
El indicador de impacto en salud es el que mayor porcentaje tiene dentro de las respuestas, lo que significa que buena parte de los proyectos de Areandina, impacten en la salud de la población.
Por otra parte, en el análisis cualitativo a las respuestas de los pares, se puede concluir que los proyectos tienen algunas limitaciones metodológicas, como la ausencia de interacciones presenciales con las comunidades y el uso de muestras pequeñas; la falta de evidencias de resultados por lo cual no se cuenta con la capacidad de generar un impacto a largo plazo. También se resalta la falta de productos académicos y evidencias concretas que respalden los objetivos de los proyectos. Por otro lado, los pares observan que los informes finales no evidencian el proceso de la investigación en su totalidad, y señalan que el contexto de la pandemia del COVID-19, resultó ser un desafío importante para culminar y llevar a cabo las investigaciones; otro factor importante de mencionar es la dependencia de los recursos en especie y en dinero por parte de la institución, para los proyectos, lo cual limita la sostenibilidad de estos. Sin embargo, los pares también reconocen el potencial de los proyectos para generar cambios significativos si se abordan adecuadamente los desafíos identificados y se consideran mejoras. En particular, la participación comunitaria, el enfoque de género, la evaluación de impacto a largo plazo y la divulgación científica son elementos esenciales para el éxito de futuras iniciativas. En resumen, se subraya la necesidad de fortalecer la metodología investigativa, una mejor recolección de datos, una planificación más cuidadosa y la inclusión de las comunidades en el proceso de investigación para maximizar los beneficios sociales y académicos de estos proyectos.
Lo que sigue en el proyecto es que a partir de esta batería de indicadores se culmine la construcción del modelo, socializarlo con la comunidad académica e iniciar su implementación en la formulación de algunos de los proyectos que se presenten a las convocatorias internas de proyectos del año 2026, previo acuerdo con los investigadores.
A manera de conclusión:
• Uno de los mayores retos para el equipo de trabajo fue la conceptualización de impacto de la investigación, en varias sesiones se ha discutido el concepto a partir del estado del arte que se construyó y del enfoque metodológico del proyecto. Las tensiones propias entre la misión de la Institución, su PEI, su política de investigaciones y los proyectos de investigación que realiza; muestra el interés por profundizar en interrogantes como: ¿Qué se está haciendo?, ¿Cómo se está haciendo y hacia dónde va la investigación en Areandina? No sólo de cara a una reacreditación institucional, se trata de cuestionamientos axiológicos que en parte se buscan abordar en esta investigación, pues el equipo de la Dirección reconoce la importancia de modelos cienciométricos como el de Minciencias que en buena medida nos determinan, pero a la vez se pregunta por el impacto real y concreto que las investigaciones de Areandina dejan en instituciones, grupos y comunidades.
• Si la institución se declara como de acceso, de carácter multicampus y con la apuesta por el desarrollo de los territorios donde hace presencia, surge la pregunta: ¿Realiza su investigación Areandina, en tal sentido? y ¿esto se refleja en el impacto de la misma?
Frente a estos cuestionamientos y con el fin de tener una mirada institucional en el tema, se definió el concepto contemplando la apuesta desde Investigación y Responsabilidad Social, funciones sustantivas de la universidad. En consenso entre las dos áreas y con el visto bueno de la Vicerrectoría Académica, se acordó:
“El impacto en Areandina se define como un conjunto de resultados y/o transformaciones que se derivan de programas, proyectos e intervenciones que desarrollan sus funciones sustantivas y que generan efectos sociales, económicos, culturales y/o ambientales”.
Para una mayor ilustración del concepto, se entienden los resultados como los efectos y productos que se derivan de los programas, proyectos e intervenciones en los cuales se identifican de manera clara características como: Cantidad, calidad y tiempo. Así también se entiende que estos resultados pueden ser evaluados en un corto plazo y medidos en un largo plazo.
Las transformaciones en el marco del proyecto educativo institucional (PEI) y del sello transformador Areandino, se entienden como el cambio en el ser, hacer, conocer y tener, de las personas, grupos, comunidades e instituciones, con los cuales Areandina desarrollan intervenciones desde sus funciones sustantivas.
¢ Si el impacto se da directamente sobre una población beneficiada y en el corto plazo, habría una evaluación.
¢ Si es en el mediano y largo plazo el impacto trasciende de la población beneficiada a una connotación multidimensional habría una medición
• Considerando que los impactos de un proyecto se dan sólo después de algunos años de su ejecución, entre 3 y 5, el equipo de investigación ha contemplado realizar una segunda fase de la investigación, en la cual, a partir de la identificación de los proyectos de mayor impacto, la evaluación se centrará en la población beneficiada identificando los resultados de los proyectos en el mediano y largo plazo.
• Aun cuando en los últimos años se ha fortalecido el uso del sistema de información SIGIIP, lo cual sin duda facilita la gestión de la investigación, aún se encuentran debilidades en el uso y apropiación de este por parte de los investigadores, lo ha que ha dificultado en algunos casos, la consecución de resultados concretos de los proyectos de investigación para la remisión a los pares externos.
“Evaluar el impacto de la universidad constituye un proceso sistemático, metódico y multidimensional que hace posible el conocimiento de los efectos de la vida universitaria, relacionándolos con las metas propuestas y los recursos movilizados. Asimismo, se podría decir que la evaluación es un proceso que facilita la identificación, la recolección y la interpretación de informaciones útiles a los encargados de tomar decisiones y a los responsables de la ejecución y gestión de los programas de la universidad, en particular para quienes trazan estrategias de investigación e innovación” (Castro S, 2014)
Referencias
• Acuerdo 021 de 2019, política nacional de investigaciones de Areandina.
• Alvarez, S., Douthwaite, B., Thiele, G., Mackay, R., Cordoba, D., Tehelen, K, 2010. Participatory Impact Pathways Analysis: a practical method for project planning and evaluation. Dev. Pract. 20, 946–958
• Benítez, D. (2019). Criterios de distinción entre ciencia y pseudociencia: historicidad, crítica y vigilancia epistemológica. Boletín Científico Sapiens Research, 26-32.
• Castro S, Gómez C, Lein F. (2014). Gestión e impacto de las investigaciones universitarias:
Pensando caminos para Uniandes,
https://dialnet.unirioja.es/descarga/articulo/6756302.pdf
• Douthwaite, B., Schulz, S., 2011. Spanning the attribution gap: the use of program theory to link project outcomes to ultimate goals in INRM and IPM. In: Paper presented at the INRM Workshop. Cali (Colombia).
• Lebel, J., & McLean, R. (2018). A better measure of research from the global south. Nature, 23-26.
• Martínez Collantes, J. (2012). Modelo de Monitoreo y Evaluación para la Medición de Resultados e Impacto de los Proyectos de Investigación, Creación artística e innovación. Bogotá: Universidad Nacional de Colombia.
• Ofir, Z., Schwandt, T., Duggan, C., & McLean, R. (2016). Research QualityPlus an holistic approach to evaluating research. Ottawa: IDRC.
• Reed, M., Ferre, M., & Martin-Ortega, J. (2021). Evaluating impact from research: A methodological framework. Research Policy, 1-14
• Research England. Guidance on Submissions. REF 2019/01, 2019. Access via:
https://www.ref.ac.uk/publications/guidance-on-submissions-201901
• Scriven, M, 1991. Beyond formative and summative evaluation. In: McLaughlin, M.W., Phillips, D.C. (Eds.), Evaluation and Education: At Quarter Century. The University of Chicago Press, Chicago, IL, pp. 18–64.
• Torres, M., & Arias, J. (2017). Modelo de evaluación de impacto para los proyectos sociales para la facultad de ingeniería de la Universidad Católica de Colombia. Bogotá: Universidad Católica.