Diseño

El análisis de ponderación de dimensiones, componentes y criterios definidos en el Manual de Acreditación Oficial de Programas de Posgrado del SINAES fue realizado bajo un modelo mixto (cualitativo y cuantitativo). En su diseño, se consideraron tres fases para la recolección, análisis y gestión de la información. El diseño de este estudio es cuantitativo. La figura 1 presenta el flujograma de recolección, análisis de información y gestión de datos durante el proceso. La recolección de datos consistió en un cuestionario a diferentes actores sobre su percepción de la relevancia de ciertos criterios, dimensiones y componentes. En la segunda fase, se ejecuta un promedio de la calificación de la encuesta y un análisis de componentes principales (agrupación). Finalmente, en la tercera fase, se agrupan ambos análisis de la segunda fase y se realiza un grupo focal para determinar la relevancia y validación de esta información.

Nota: 1. Recolección de datos por medio de cuestionario. 2. Análisis de promedios de puntuaciones de cada componen- te. 3. Agrupación de componentes según análisis estadístico tipo clúster. 4. Jerarquización de componentes según pun- taje promedio. 5. Jerarquización de componentes según análisis exploratorio. 6. Análisis de similitudes entre modelos. 7. Análisis de la relevancia y validación de dimensiones, componentes y criterios con base en análisis de la información recolectada.

Figura 1 Flujograma de procesos de recolección, análisis de información y gestión de datos 

Participantes

La información fue obtenida, analizada y gestionada por la CAC, encargada de todos los procesos de autoevaluación, compromisos de mejoramiento y otras gestiones en pro de la calidad de la Escuela CIEMHCAVI. Esta comisión permanente está compuesta por las personas que ocupan el cargo de Dirección y Subdirección, la persona coordinadora de la CAC, la persona coordinadora del posgrado, cuatro personas miembros del personal académico y una persona representante del personal administrativo.

Las personas participantes fueron actoras del proceso de autoevaluación de posgrados 2018-2022 referente a la Maestría en Salud Integral y Movimiento Humano (MSIMH). Con dicho propósito, participaron un total de 20 personas involucradas en los diferentes procesos de la autoevaluación (15 actoras del proceso y 5 miembros de la CAC) y su selección fue a conveniencia. De ellas, dos fungen en cargos de dirección de la Escuela, una desempeña cargos administrativos del programa de posgrado, una persona miembro del Comité de Gestión Académica de la Maestría, cinco personas miembros de la CAC, tres fueron personas graduadas, cinco fueron miembros del personal académico, dos personas tutoras de trabajos finales de graduación y una persona egresada del posgrado, con trabajo final de graduación en marcha.

Procedimiento

Fase 1. Recolección de información

El Manual Oficial de Acreditación de Programas de Posgrado del SINAES está conformado por dimensiones de calidad, denominadas: Relación con el contexto, Recursos, Proceso educativo y Resultados. Cada una de esas dimensiones, a su vez, está constituida por criterios de calidad que han sido agrupados en componentes, cuya nomenclatura ha sido definida por el ente acreditador, según su naturaleza temática. Así, por ejemplo, la dimensión Relación con el contexto está constituida por dos componentes: Proceso de admisión e Ingreso, y Correspondencia con el contexto. Otro ejemplo es el componente Plan de es- tudios que, junto con otros cinco, constituye la dimensión Recursos.

Para recolectar la opinión de las personas consultadas en este proceso de ponderación, cada una de ellas fue contactada por medios digitales oficiales de la Universidad, con la solicitud de completar un cuestionario de una única pregunta para clasificar los componentes del manual del SINAES.

Los componentes fueron presentados en el orden de aparición en el manual del SINAES y las personas participantes debían clasificarlos en una escala tipo Likert, la cual se entiende como una escala de calificación sobre el grado de acuerdo o desacuerdo con una declaración o enunciado; según la relevancia y aporte de cada componente para la calidad de la carrera de posgrado. El puntaje 1 señala el componente más relevante para la calidad de la carrera y el puntaje 18 corresponde al menos relevante para la calidad de la carrera. La indicación dada fue “puntuar de 1-18 de forma jerárquica la relevancia de cada componente”.

Fase 2. Análisis de información

Los resultados obtenidos fueron tabulados en una hoja de datos digital (Excel, Microsoft, CA, USA). El primer paso fue realizar un promedio de los puntajes dados a cada componente y clasificarlos según este promedio en orden de importancia de acuerdo con las personas participantes. Seguidamente, los datos en bruto fueron incluidos en un modelo de análisis factorial exploratorio denominado análisis de componentes principales (PCA). El PCA tiene como objetivo extraer la información más representativa de un conjunto de esta y agruparla según la correlación de los datos.

Para ello, se realizó un PCA siguiendo protocolos publicados previamente. La factorización de los 18 componentes/variables se exploró mediante una matriz de correlación, se consideraron para la extracción aquellos coeficientes r< 0,7 entre variables. Después de la exclusión de las variables con varianza= 0, las variables resultantes (n = 18) se escalaron y centraron utilizando puntajes/valores Z. La idoneidad del PCA se confirmó mediante la prueba de adecuación de Kaiser-Meyer-Olkin (KMO= 0.63) (Hair et al., 1995; Kaiser, 1960) y la significación de la prueba de esfericidad de Bartlett (p< 0.05) (Bartlett, 1954; Hair et al., 1995).

Por su parte, la retención factorial se realizó de acuerdo con los criterios de Kaiser; en consecuencia, se consideraron aquellos autovalores > 1 para cada componente principal (CP) (Kim y Mueller, 1978) y se utilizó un método de rotación ortogonal VariMax a fin de identificar altas correlaciones entre componentes para ofrecer diferente información (Thompson, 2004). Aquellas cargas de CP >0.7 se considera- ron para la extracción (Hair et al., 1995) y, cuando se encontró una carga cruzada entre las CP, solo se retuvo la carga factorial más alta (Kaiser, 1960).

Fase 3. Gestión de información

Finalmente, ambos resultados cuantitativos derivados de la Fase 2 de análisis de información fueron integrados por la CAC y se procedió a un análisis cualitativo, donde se identificaron similitudes al agrupar los CP encontrados correspondientes con cada una de las categorías de valores promedios obtenidos.

Para ello, se identificaron seis grupos de tres evidencias cada uno, donde según el grupo recibirán un puntaje. Esta agrupación y jerarquización de componentes fue analizada en un grupo focal en el cual se discutió la información considerando un proceso de revisión y validación. Dicho proceso tomó en cuenta el análisis de cada dimensión, componente y criterio con base en cuatro puntos clave: pertinencia con el programa, relevancia dentro el programa, economía y oportunidades de mejora.

Datos descriptivos

Entre los datos descriptivos, la respuesta de las 15 personas actoras del proceso se puede acceder en la tabla 1; esta representación indica el promedio del puntaje dado por las personas actoras a cada componente según su relevancia para la calidad del programa. Además, l color verde indica mayor prioridad y el rojo menor prioridad. En la tabla 1, se puede observar que los tres componentes mejor calificados fue- ron plan de estudios, personal académico y metodología de enseñanza y aprendizaje. Los componentes que le siguen en relevancia fueron desarrollo docente, correspondencia con el contexto e investigación.

El orden de relevancia, del 1 al 18, de acuerdo con el proceso de consulta y análisis de datos, se observa en la tabla 2.

Resultados del análisis de componentes principales

El análisis de componentes principales arrojó que el modelo explica un 78.8% del comportamiento de los datos. El primer componente principal explica un 24.1% del total de la varianza y agrupa los componentes de infraestructura, investigación y equipo y materiales. El segundo componente explica un 15% del modelo y agrupa admisión e ingreso, correspondencia con el contexto y personal académico. La figura 2 muestra todos los resultados obtenidos.

Figura 2 Resultados de análisis de componentes principales 

Agrupación y similitudes entre análisis cuantitativos

La figura 3 muestra la calificación de ambos análisis (descriptivo y factorial-exploratorio), así como su agrupación y puntaje respectivo de acuerdo con la ponderación de ambos métodos.

Figura 3 Agrupación y clasificación de componentes según puntuación dada por cada método cuantitativo 

Jerarquización de dimensiones y componentes

La tabla 2 hace referencia al valor porcentual dado a cada uno de los criterios, componentes y dimensiones. La CAC asignó un valor porcentual equitativo entre cada uno de los criterios correspondientes a cada componente, por lo que el valor de cada componente se dividió en la cantidad de criterios solicitados.

Tabla 3 Puntaje asignado a cada dimensión, componente y criterio de acuerdo con el valor asignado por las personas autoras 

Análisis de ponderación y gradación por dimensiones de autoevaluación

Los resultados integrados de este modelo cuanti-cualitativo y de la agrupación de cada uno de los facto- res señala como más relevantes las dimensiones de “Recursos” (45%) y “Proceso educativo” (32%); datos que tienen fundamento en que son las dimensiones o factores con mayor cantidad de componentes internos: seis y cinco, respectivamente.

Del primer factor (Recursos), se reconoce que “son condición necesaria para realizar actividades educativas de calidad” (^{SINAES, 2012}, p. 28), pues integran los elementos financieros e infraestructurales, así como el personal tanto académico como administrativo, y el programa de formación en sí. Todos estos se deben evaluar desde diferentes aristas, se aplican en este análisis: la cantidad, la disponibilidad y la calidad. Los recursos son un factor determinante de la calidad de la educación, pues, aunque el mismo SINAES (2012) reconoce que los recursos “por sí mismos no garantizan la calidad de un programa de pos- grado” (p. 28); para autores como ^{Araujo y Walker (2020}) y ^{Morera-Castro et al. (2018}), estos favorecen la obtención de experiencias de aprendizaje y el desarrollo de actividades de enseñanza que aseguran la calidad. Además, en caso de estar ausentes, no podrían gestarse del todo dichas dinámicas; motivo por el cual es considerado el principal factor determinante de la calidad para la MSIMH.

Acerca de la dimensión “Proceso educativo”, se reconoce que es la piedra angular de la ejecución de cualquier programa de estudios superiores (^{Betancur et al., 2021}). Para efectos del SINAES (2012), se define como “el funcionamiento mismo o puesta en práctica del programa de posgrado” (p. 28). Dentro de los elementos que se involucran, se puede enumerar el desempeño docente desde la perspectiva del estudiantado y de la institución, las metodologías docentes y su aplicación, la atención de las necesidades del estudiantado, la integración de la investigación en el programa de estudios y los procesos de vinculación del posgrado con la institución universitaria (^{Anchundia y Santos, 2020}; ^{Ortiz et al., 2022})

. Ante todo, esta dimensión responde a la coherencia entre la vivencia del proceso educativo y el plan de estudios propuesto; hecho que permite identificar la existencia de una guía lógica y aplicable del programa de estudios en la realidad académica y profesional.

En un segundo orden de relevancia, se encuentra la dimensión “Relación con el contexto” (15%), esta toma en consideración la importancia ligada a la respuesta que brinda el programa de la carrera a la realidad nacional, tanto del ámbito profesional como investigativo (^{Dillon et al., 2020}). Dentro de esta dimensión, se encuentra el componente “Correspondencia con el contexto”, el cual presenta el mayor valor/componente % de todos los diferentes factores evaluados (4.5%); esto debido a que la interacción contextual es considerada como el factor fundamental que brinda sentido a la existencia de una carrera universitaria, a la vez que se puede ligar con la función propia de las instituciones de educación superior de impactar las sociedades en las cuales se encuentran. Este punto se detalla más en el siguiente apartado (4.2.).

En tercer lugar, se ubica la dimensión “Resultados” (4.66%), la cual hace referencia a “la concreción de los resultados que el programa obtiene en función de lo previsto en el proceso formativo y en los fines y políticas de la universidad” (SINAES, 2012). Este, aunque es un factor de gran influencia en el programa de posgrado a partir de la devolución que hacen las personas graduadas e instituciones contratantes (^{Morera-Castro et al., 2017}), no parece ser considerado como un determinante de la calidad específica de la carrera de forma general, pues no es un proceso que se ligue directamente al desarrollo de los cursos ni del trabajo final de graduación.

Finalmente, en un cuarto orden, se encuentran las dimensiones de “Admisibilidad” (2%) y “Sostenibilidad” (1.33%), las cuales no poseen un ligamen directo con el plan de estudios y su calidad, sino que establecen los parámetros mínimos para poder ser sujeto el programa de posgrado a una acreditación, en el primer caso; y la capacidad de sustentar sus propios gastos de forma efectiva en el segundo (SINAES, 2012). Hecho que, aunque claramente es de gran interés institucional, no es una problemática que atañe o resuena de manera significativa dentro de los sectores académico y estudiantil, cuando se piensa, de forma general, en procesos de calidad. Por estas razones, dichas atribuciones muestran una consideración de menor impacto e interés para las personas participantes.

Análisis de ponderación y gradación por componentes de autoevaluación

Los componentes son “grandes áreas de desarrollo institucional que expresan los elementos con que cuenta la institución y sus programas para el conjunto del quehacer académico” (SINAES, 2012, p. 30), y estos se distribuyen dentro de las diferentes dimensiones ponderadas y graduadas en el apartado anterior.

De forma general, se estableció en una estratificación de acuerdo con el peso atribuido en cuanto a importancia de cada componente para el aseguramiento de la calidad del programa de posgrado (valor porcentual), de ello resultan las categorías de “muy alto peso”, “alto peso”, “moderado peso” y “bajo peso”. A continuación, se explica en detalle dicha categorización:

• Muy alto peso: aquellos componentes con un “Valor %” superior al 10%, dentro de estos se pue- den contar “Personal académico”, “Infraestructura” (pertenecientes a la dimensión “Recursos”) e “Investigación” (de la dimensión “Proceso educativo”); en todos los casos, con un peso atribuido de 12%. El personal académico claramente es un factor determinante en la calidad de cualquier programa de estudios y define las posibilidades de desarrollo de este (^{Anchundia y Santos, 2020}), mientras que el acceso a infraestructura adecuada o de altos estándares promueve oportunidades de enseñanza-aprendizaje e investigación de alto nivel (^{Acosta y Acosta, 2016}), como es requerido para un programa de posgrado. Finalmente, la investigación es un elemento primordial para una Maestría de tipo académica, en la cual el foco se centra justamente en el potenciamiento de esta acción sustantiva universitaria (^{Araujo y Walker, 2020}; ^{Cabrera y Jerves, 2022}).

• Alto peso: aquellos componentes con un “Valor %” entre un 7 a un 9%, en este nivel se ubican “Correspondencia con el contexto” (dimensión “Relación con el contexto”), “Plan de estudios” (dimensión “Recursos”) y “Metodología de enseñanza aprendizaje” (dimensión “Proceso educativo”); todos los anteriores con una “Valor %” de 9%. La correspondencia con el contexto, como ya se ha mencionado previamente, es un elemento determinante sobre la percepción de la calidad, pues se liga con el nivel de actualización de los conocimientos en el programa educativo (^{Dillon et al., 2020}). Asimismo, asegura que se cumplan normas y convenciones tanto educativas como investigativas que generen un impacto real en el medio en que se desenvuelve el posgrado.

El plan de estudios es la guía estructurada que justifica y establece las bases en las cuales se asientan los saberes por desarrollar, su correcta aplicación, flexibilidad y apertura a experiencias diferenciadas (^{González-Barea et al., 2021}), que son fundamentales para el aseguramiento de la calidad en la MSIMH. La metodología con la cual se enseña y, por ende, se generan los aprendizajes, es un factor que ha venido tomando preponderancia en los escenarios educativos en las últimas dos décadas (^{Ávalos et al., 2021}). Por sí misma, la correcta aplicación de esta metodología permite el fortalecimiento de la habilidades y conocimientos de las personas estudiantes, lo recomendable es un desarrollo de forma abierta, flexible y centrada en el estudiantado (^{Anchundia y Santos, 2020}).

• Moderado peso: aquellos componentes con un “Valor %” entre un 4 a un 6%, en este nivel se ubican “Proceso de admisión e ingreso” (dimensión “Relación con el contexto”), “Equipo y materiales” (dimensión “Recursos”) y “Desarrollo docente” (dimensión “Proceso educativo”); todos los anteriores con un “Valor %” de 6%. El proceso de admisión es un factor complejo y de gran repercusión para un programa de posgrado, pues involucra desde el atractivo para las personas profesionales nacionales e internacionales que quieran ingresar en la MSIMH, hasta cómo dicho proceso establece mecanismos claros para permitir el acceso a personas con posibilidades reales de poder concluir el plan de estudios (^{González-García, 2022}).

Los equipos y materiales son insumos físicos que permiten la adecuada ejecución de las actividades formativas e investigativas del programa de posgrado; también se relacionan con el equipo tecnológico disponible para la ejemplificación y aplicación. Razón por la cual, si bien es cierto son necesarios en gran medida para el desarrollo de un proceso de calidad, el impacto que esto pueda tener más allá de las condiciones óptimas mínimas no suele apreciarse como un requisito, sino como un valor agre- gado (^{Torres-Salas et al., 2018}). Finalmente, en este aspecto, el desarrollo docente corresponde a las posibilidades del personal académico de actualizarse y mantenerse capacitado a un alto nivel; situación que favorece el intercambio de experiencias y la vigencia de los conocimientos que se imparten desde el programa de estudios (^{Gutiérrez-Marín, 2021}).

• Bajo peso: aquellos componentes con un “Valor %” igual o inferior a un 3%, en este nivel, se ubican “Admisibilidad” (2%, dimensión “Admisibilidad”), “Personal administrativo” y “Centro de información y recursos” (ambos con 3 % y de la dimensión “Recursos”); “Gestión del programa” (3 %, dimensión “Proceso educativo”); “Desempeño estudiantil” (1.33%), “Graduados” (1.33 %) y “Proyección del programa” (2%) (de la dimensión “Resultados”) y “Sostenibilidad” (1.33%, dimensión “Sostenibilidad”). Los componentes de las dimensiones “Admisibilidad” y “Sostenibilidad” son correspondientes con los análisis brindados en el punto anterior. En cuanto al “Personal administrativo” (“Recursos”) y la “Gestión del programa” (“Proceso educativo”), son dos elementos de orden administrativo que, si bien es cierto son básicos para el funcionamiento del posgrado, debido a lo pequeño del aparato logístico- administrativo de este tipo de programas que son parte de una unidad académica superior (en este caso la Escuela CIEMHCAVI), no se les atribuye una gran influencia, dado que normalmente se da por un hecho que son procesos ejecutables (^{Anchundia y Santos, 2020}; ^{Morera-Castro et al., 2019}).

Sobre los centros y recursos de información, se hace referencia al acceso a bibliotecas especializadas y bases de datos de calidad tanto para el estudiantado como para el profesorado (^{Acosta y Acosta, 2016}). En este apartado, se denota que es un factor de menor influencia en comparación con otros, si se toma en cuenta que el acceso de la información científica en la actualidad es considerablemente amplio (^{Bernate y Vargas, 2020}), por lo que no se percibe que esto afecte directamente el programa de estudios del posgrado.

Finalmente, los tres componentes de la dimensión “Resultados” hacen referencia, en primer lugar, a la valoración del desempeño estudiantil, el cual ya se debe asegurar desde el proceso de admisión y suele caracterizarse por ser de un rendimiento alto, al tratarse de personas profesionales que están cursando un segundo programa educativo universitario (^{Araujo y Walker, 2020}). En segunda instancia, el componente de personas graduadas involucra tanto el seguimiento del desempeño de estas en su vida profesional, como la generación de procesos de identificación con la institución, una vez que la persona sale del programa de la MSIMH; y, en último lugar, la proyección del programa tiene que ver con la devolución que hace el posgrado a la sociedad a partir de sus procesos, así como la visibilidad que logra a partir de ello (^{González-Hernández et al., 2022}). Aunque estos elementos de la dimensión “Resultados” son de suma importancia en general, para efectos de la ponderación, tienen un nivel bajo de influencia debido al poco ligamen que estos presentan de forma directa con la ejecución del plan de estudios.