Diseño e implementación de un modelo de medición de indicadores de impacto en programas académicos

Diana Marcela Santos Pulido

Unidades Tecnológicas de Santander

dmsantos@correo.uts.edu.co

Cielo Gómez Bustos

Unidades Tecnológicas de Santander

cgomez@correo.uts.edu.co

Jeison Marín Alfonso

Unidades Tecnológicas de Santander

https://orcid.org/0009-0003-2079-3642

jmarin@correo.uts.edu.co

RESUMEN

El Consejo Nacional de Acreditación CNA en el ajuste realizado al modelo de acreditación en el año 2020 a través del acuerdo 02 del Consejo Nacional de Educación Superior CESU, otorgó mayor importancia a la medición de los efectos de las acciones realizadas por los programas académicos y las instituciones (CNA, 2020). Es así como, los aspectos a evaluar quedaron formulados de tal forma que las instituciones deben evidenciar este impacto y asegurar la pertinencia de los programas en su contexto social y académico, así como la calidad que estos ofrecen a sus estudiantes. Debido a esto, se inició un proceso al interior del grupo de investigación en Innovación para el Fortalecimiento de los Sistemas Internos de Aseguramiento de la Calidad Superior - GINACE UTS para identificar los aspectos en los que el CNA tiene interés en medir el impacto. Esto motivó la realización de un trabajo interdisciplinar con las diferentes dependencias de la institución, para primero identificar los indicadores de resultado que pueden generar impacto y luego diseñar una metodología que permita su medición cuantitativa, mediante la creación de “fichas técnicas” asociadas a cada uno de los indicadores de impacto. En cada ficha técnica se estableció una fórmula matemática para calcular el indicador de impacto con base en los indicadores de resultados. Finalmente, este modelo se implementó en los programas académicos: Ingeniería Electrónica, Ingeniería en Telecomunicaciones e Ingeniería Electromecánica, los cuales posteriormente obtuvieron la acreditación en alta calidad.

Palabras clave: Autoevaluación, impacto, modelo matemático, programas de educación.

Design and implementation of a model for measuring impact indicators in academic programs

ABSTRACT

The National Accreditation Council CNA in the adjustment made to the accreditation model in 2020 through agreement 02 of the National Council of Higher Education CESU, gave greater importance to the measurement of the effects of the actions carried out by the academic programs and institutions (CNA, 2020). Thus, the aspects to be evaluated were formulated in such a way that the institutions must evidence this impact and ensure the relevance of the programs in their social and academic context, as well as the quality they offer to their students. As a result, a process was initiated at the Technological Units of Santander UTS, within the research group on Innovation for the Strengthening of Internal Systems for Higher Quality Assurance - GINACE UTS, to identify the aspects in which the CNA is interested in measuring impact. This motivated the realization of an interdisciplinary work with the different units of the institution, to first identify the result indicators that can generate impact and then design a methodology that allows its quantitative measurement, through the creation of "technical cards" associated with each of the impact indicators. In each technical sheet, a mathematical formula was established to calculate the impact indicator based on the outcome indicators. Finally, this model was implemented in the following academic programs: Electronic Engineering, Telecommunications Engineering and Electromechanical Engineering, which subsequently obtained high quality accreditation.

Keywords: Self evaluation, quality control, mathematical models, educational qualifications.

INTRODUCCIÓN

Por lo general los procesos de calidad en los programas e instituciones de educación superior existe una cultura de medición de indicadores de resultados asociados a las misionales de docencia, extensión e investigación, y a los diferentes factores que inciden en la calidad del programa, como los medios educativos, la infraestructura física y tecnológica, los servicios de bienestar entre otros.

Sin embargo, no se están evidenciando los efectos de estos resultados. Por ejemplo, es común que un programa tenga las estadísticas de cuantos docentes tienen formación posgradual, pero no se tiene documentando el impacto que estos profesores han causado en los diferentes procesos del programa como la investigación, los modelos pedagógicos, o inserción del programa en contextos nacionales e internacionales, esto hace que los buenos resultados obtenidos se queden como un dato más en las estadísticas y no se analice realmente la evolución de la calidad del programa.

Este fenómeno, seguramente fue identificado por el Consejo Nacional de Acreditación, lo cual lo motivó a incluir la medición de estos efectos en una variedad de aspectos asociados a los diferentes factores de la calidad, por lo tanto, las instituciones de educación superior, actualmente se ven obligadas a establecer una metodología de medición de estos impactos sobre todo si se proyecta obtener o mantener la acreditación en alta calidad.

En coherencia con lo anterior, en el Grupo de Investigación en Innovación para el Fortalecimiento de los Sistemas Internos de Aseguramiento de la Calidad Superior – GINACE, adscrito a la Oficina de Autoevaluación y Calidad (OACA) de las UTS, se diseñó un modelo que permite la medición de indicadores de impacto, el cual se justifica desde los siguientes elementos:

· Necesidad de cuantificar el impacto: Para la UTS, en su modelo institucional de autoevaluación, no solo es importante medir los resultados de las acciones realizadas, también, hacer una estimación de los impactos de estas acciones en la alta calidad, o, dicho de otra forma, el efecto positivo de la implementación de los planes de mejoramiento y fortalecimiento de la institución y de los programas académicos. Dado que el nuevo modelo del CNA igualmente solicita esta estimación de impactos, la necesidad de cuantificarlos se hace mayor para lograr la acreditación de los programas.

· Coherencia con las líneas de investigación grupo GINACE, adscrito a la OACA: En el grupo de investigación existe una línea denominada: “Aseguramiento de la calidad en educación superior”, cuyo objetivo es aplicar procesos de sistematización de la información, de tal forma que se generen nuevos procedimientos y procesos que permitan fortalecer las acciones en aseguramiento de alta calidad. Claramente esta propuesta de medición de indicadores de impacto corresponde a un nuevo procedimiento que permite fortalecer la calidad de la educación del programa.

· Coherencia con el Plan de Desarrollo Institucional 2021 – 2027: En el PEDI, está planteada la línea 4 denominada: “Aseguramiento de la Calidad de la Educación”, la cual plantea promover una cultura de autoevaluación, autocontrol y regulación. La medición de estos indicadores de impacto son una herramienta valiosa en estos tres aspectos, posibilitando medir la evolución, de un grupo de indicadores desde la autoevaluación, autocontrol y regulación.

De acuerdo a esto, en este trabajo se diseñó e implementó un modelo de medición de indicadores de impacto de las acciones realizadas por los programas académicos de las Unidades Tecnologías de Santander, asociado a los factores del modelo de autoevaluación, como herramienta para evaluar la evolución de los indicadores de calidad. Para conseguir este objetivo, primero se identificaron los aspectos asociados a indicadores de impacto descritos en el acuerdo 02 2020 del CESU, para luego establecer para cada indicador de impacto la forma de cuantificarlos, con base en indicadores de resultado del programa, con participación de las dependencias de las UTS asociadas a cada indicador. Posteriormente se diseñó una ficha técnica por cada indicador, que sirva de instrumento para recoger la información de los indicadores de resultado y se calcule de forma cuantitativa el indicador de impacto. Finalmente, para validar el modelo, se implementó en programas académicos seleccionados de las UTS el modelo de medición de sus indicadores de impacto usando las fichas técnicas, con el fin de evaluar su evolución entre fases de autoevaluación y autorregulación.

Este trabajo se fundamenta en el concepto de “impacto” y su estudio desde diferentes perspectivas, tomando a diversos autores para su utilización dentro de la investigación (Aponte G & Pérez C, 2021), (Aponte, 2007), (Partidário, 2012), (Vanclay, 2015) y (Rincón, 2018).

METODOLOGÍA

Teniendo en cuenta los aspectos mencionados, la Oficina de Autoevaluación y Calidad desarrolló una metodología para medir cuantitativamente una lista de indicadores de impacto, los cuales se calculan con base en indicadores de resultado del programa, y están asociados a los factores y características seleccionadas del modelo de autoevaluación. Cada indicador de impacto tiene una ficha técnica asociada donde se detalla, y además se describe su articulación con el modelo, los indicadores de resultado con los que se cuantifica, la fórmula matemática de cálculo, y el análisis del resultado obtenido, entre otros campos.

Específicamente este proceso incluyó las siguientes etapas:

· Etapa 1. Selección de los impactos que se van a medir

· Etapa 2. Formulación preliminar de los indicadores de impacto

· Etapa 3. Diseño preliminar de la metodología de medición de cada indicador

· Etapa 4. Reuniones de grupos para validar y ajustar los indicadores de impacto

· Etapa 5. Diseño de las fichas técnicas

· Etapa 6. Implementación en los programas

Los programas académicos de la UTS deberán medir estos indicadores de forma periódica, para evidenciar la evolución y avance del programa en términos del impacto de sus acciones. Aunque el periodo de medición varía, de acuerdo a la naturaleza de cada indicador, se espera, al menos, medir estos indicadores a corte de cada finalización de un proceso de autoevaluación y a corte de cada finalización del seguimiento a los planes de mejoramiento y fortalecimiento. De esta forma, en los programas, durante la vigencia de un registro calificado o una acreditación, estos indicadores se habrán medido como mínimo 3 veces y será posible analizar en una línea de tiempo la evolución del programa.

RESULTADOS Y DISCUSION

A continuación, se describe como se desarrolló de la estrategia, de acuerdo a las etapas mencionadas.

1. Identificación de los aspectos asociados a los indicadores de impacto descritos en el acuerdo 02/2020.

Para el desarrollo de esta fase, el grupo de investigación GINACE identificó los aspectos asociados con impactos en el marco del acuerdo 02 de 2020. Al final de este documento se anexa la relación de aspectos a evaluar asociados con impactos.

Con relación a los aspectos identificados vale la pena resaltar, que el modelo de autoevaluación del CNA (2020), relaciona 238 aspectos por evaluar de los cuales 38 fueron identificados como aspectos donde se solicita la evaluación explicita de algún tipo de efecto o impacto. En este listado se destaca la intencionalidad del Ministerio de Educación, de medir el impacto asociado a elementos como, por ejemplo:

· Impacto de políticas y estrategias institucionales

· Impacto de los procesos de orientación y seguimiento a los estudiantes.

· Impacto de la aplicación del estatuto docente.

· Impacto de la política de seguimiento a los egresados.

· Impacto de las estrategias pedagógicas implementadas para la gestión del currículo.

· Impacto de la vinculación del programa con diferentes sectores académicos.

· Impacto de la internacionalización del currículo

· Impacto de la aplicación de estrategias de comunicación.

2. Cuantificación de los indicadores de impacto

Se inició un proceso con el objetivo de establecer para cada indicador de impacto la forma de cuantificarlos, con base en indicadores de resultado del programa, con participación de las dependencias de las UTS asociadas a cada indicador. Esta etapa contó con las siguientes fases:

· Clasificación de los aspectos de impacto identificados en diferentes dimensiones de aplicación. Estas dimensiones se basaron en los factores de calidad descritos en el modelo de autoevaluación, en las misionales de los programas académicos (docencia, investigación y extensión), en las condiciones de calidad para registros calificados, y en la organización por jefaturas, coordinaciones, departamentos y grupos de trabajo al interior de las UTS.

· Articulación de los aspectos de impacto con las unidades académicas y administrativas que tienen incidencia en su análisis, esto con el objetivo de conformar los grupos focales de trabajo donde se realiza el diseño del indicador.

· Reunión con los grupos focales para el diseño del indicador de impacto, de esta forma se establece el mecanismo para calcular de forma cuantitativa el indicador de impacto, en función de los indicadores de resultados asociados a cada uno.

· Formulación final del listado de indicadores de resultado y de indicadores de impacto.

Esta etapa de cuantificación de los indicadores dio como valor agregado la construcción de un formato institucional que contiene el listado definitivo de indicadores de resultado y de indicadores de impacto. En total se formularon 68 indicadores de impacto.

3. Diseño de fichas técnicas

Una vez formulados los indicadores de resultado y de haber determinado el mecanismo de cálculo de los indicadores de impacto con base en estos, se diseñó una herramienta de recolección de información denominada ficha técnica. Estas fueron elaboradas una por cada indicador, y sirven de instrumento para recoger la información y calcular de forma cuantitativa el indicador de impacto. La estructura de la ficha técnica contiene los siguientes elementos:

· Información básica del indicador de impacto

· Indicadores de resultado para la medición del indicador

· Fórmula de cálculo del indicador

· Resultado del indicador

· Comportamiento del indicador

· Análisis/Interpretación de los resultados del indicador

· Datos de codificación de la ficha técnica.

A continuación, se describen cada uno de los elementos que la componen.

Información básica del indicador de impacto:

En esta sección se describen elementos relacionados con: factor asociado, aspecto por evaluar, característica asociada, nombre del indicador, tipo de indicador según su vigencia (permanente o temporal), indicador según su medición (cualitativo o cuantitativo), y la definición o descripción del indicador.

Indicadores de resultado para la medición del indicador - Definición de Variables.

Los indicadores de resultado son los datos que ingresa el programa, que son el insumo para calcular los indicadores de impacto. En esta sección se describen elementos relacionados con ellos como: nombre de la variable, unidad de medida, fuente de información, periodicidad de recolección de la información y resultado. Más adelante en la ficha técnica, el indicador de impacto será calculado de acuerdo a los datos que se ingresen manualmente en el campo de “resultado”

Fórmula de cálculo del indicador

En este campo se encuentra explicada la fórmula donde en función de las variables de resultado se calcula el indicador de impacto. Igualmente se especifica la unidad de medida del resultado y finalmente se muestra el resultado cuantitativo del indicador. Adicionalmente, en esta parte se solicita que se especifique el responsable de realizar la medición, el responsable del análisis del indicador, y el valor, la fecha y la fuente de la línea base.

Resultado del indicador

En esta sección, se registra el resultado del indicador en los diferentes periodos de medición. A pesar que una ficha técnica sirve solo para calcular el valor de un indicador de impacto en el periodo actual de medición, es deseable llevar el registro del resultado de dicho indicador en periodos anteriores de medición, para poder observar la evolución.

Comportamiento del indicador

Si con el paso del tiempo, se tiene registro de los resultados del indicador de impacto en vigencias pasadas, en esta sección se muestra de forma gráfica, con un gráfico de barras, el comportamiento en el tiempo del indicador. También es posible colocar la meta del indicador a la vigencia actual y los límites superior e inferior adecuados, para que, de forma gráfica, se pueda analizar mejor el estado actual de dicho indicador en comparación con el valor y los límites esperados.

Análisis/Interpretación de los resultados del indicador

Por cada periodo o vigencia en que se midió el indicador, es necesario hacer un análisis de los resultados obtenidos. No es suficiente con mostrar el valor cuantitativo del indicador sino además se debe explicar lo que significa este resultado, es decir, como este resultado evidencia el impacto en el programa académico de las variables de resultado formuladas. Por eso en esta sección de la ficha técnica, se deja un campo para que se describa brevemente este comportamiento. Además, al lado de la descripción, se da la opción de especificar el estado del indicador: si es adecuado, si está en alerta o si está crítico. Existe un campo para describir el comportamiento del indicador en cada vigencia en la que fue medido y al final se colocó un campo de observaciones generales.

Datos de codificación de la ficha técnica.

En la parte inferior la ficha técnica termina especificando el código asignado al indicador, la versión y la fecha en que el indicador fue actualizado. El código asignado tiene que ver con el número del indicador, el factor y la característica. Ejemplo: Código I1F1C1: Indicador 1, del factor 1, característica 1.

4. Validación de resultados

La validación de la pertinencia de cada uno de los indicadores de impacto formulados y sus respectivas fichas técnicas, se realizó en el momento de realizar las reuniones con cada dependencia responsable y experta en el indicador formulado, como se muestra en a la siguiente tabla.

Tabla No. 1:

Grupo Focal

Factor	Grupo focal participante en la validación
1	Oficina de Autoevaluación y Calidad (OACA)
2	Oficina de Desarrollo Académico (ODA)
3	Oficina de Desarrollo Académico (ODA)
4	Dirección de investigaciones y Extensión
5	Oficina de Desarrollo Académico (ODA)
6	ODA (Sistema de atención a estudiantes)
7	Oficina de Relaciones interinstitucionales Departamento de idiomas y humanidades
8	Dirección de investigaciones y Extensión (DIE)
9	Bienestar Institucional
10	Oficina de Autoevaluación y Calidad (OACA)
11	Oficina de Autoevaluación y Calidad (OACA) Talento Humano
12	Recursos Físicos- Contabilidad

Fuente: elaboración propia

Posteriormente se implementó el modelo en los siguientes programas académicos de las Unidades Tecnológicas de Santander, de los cuales cuatro se encontraban en procesos para obtener la acreditación en alta calidad y dos, son programas acreditados:

• Profesional en Ingeniería Electrónica

• Profesional en Ingeniería en Telecomunicaciones

• Profesional en Ingeniería Electromecánica

• Tecnología en Implementación de Sistemas Electrónicos Industriales

• Tecnología en Gestión de Sistemas de Telecomunicaciones

• Tecnología en Operación y Mantenimiento Electromecánico

En la Oficina de Autoevaluación y Calidad (OACA) se hace un seguimiento y realimentación de todos los procesos de autoevaluación, donde se verifica la aplicación de esta innovación, la cual ha sido efectiva, y se ha estandarizado su uso en todos los procesos.

CONCLUSIONES

Se diseñó un nuevo modelo para la medición de indicadores de impacto asociados a los resultados de los procesos de autoevaluación de programas académicos, en coherencia con el modelo propuesto por el CNA en el año 2020 para acreditación en alta calidad. El modelo se compone de 68 indicadores de impacto, los cuales se asocian a características de calidad que deben ser evaluadas. El modelo se implementó en programas acreditados o en busca de la acreditación en alta calidad, lo cual fortaleció dichos procesos. Dado que el modelo fue construido bajo la normativa gubernamental en Colombia para la alta calidad, este puede ser reproducible en cualquier programa académico de instituciones de educación superior en Colombia, y se constituye en un importante aporte para los procesos de gestión de la calidad.

REFERENCIAS BIBLIOGRÁFICAS

Aponte G, C., & Pérez C, A. (2021). Evaluaciones de impacto en la educación superior. Colombia.

CNA. (2020). Acuerdo 02 Modelo de acreditación en alta calidad.

Partidário, M. (2012). Evaluación de Impactos. USA: Editora de las Series FasTips.

Rincón, C., & Adriana, P. (2018). Metodología para la evaluación de impacto de la extensión en la educación superior. Económicas CUC.39, 137–152.

Vanclay, F. (20015). Evaluación de Impacto Social:Lineamientos para la evaluación y gestión de impactos sociales de proyectos. Landscape Portrait.