*Dirección para correspondencia:

---

Resumen

En el siguiente artículo se estudió la relación de los componentes del promedio de admisión (nota de presentación de secundaria y Prueba de Aptitud Académica) con el rendimiento académico del primer semestre de estudios de los estudiantes de primer ingreso en la Universidad de Costa Rica (UCR) controlando las posibles influencias, debido al género del estudiante y a la condición público o privado del colegio de procedencia. Esto se realizó mediante el uso de modelos de regresión aplicados a 4,658 estudiantes de primer ingreso de la cohorte del 2008. En los modelos planteados se obtuvo que un 18,6% de la variabilidad del logro académico universitario se debe a los componentes del promedio de admisión, al género y al colegio de procedencia, además se mostró que las mujeres obtienen un rendimiento académico más alto que los hombres y que los estudiantes de colegios privados presentan un mejor rendimiento que los provenientes de colegios públicos. Asimismo, se evidenció que las analogías no son un componente de esta prueba que sea significativo en la explicación del rendimiento académico del primer semestre, contrario a la nota de presentación y a las demás partes de la prueba, que si resultaron significativas.

Palabras clave: rendimiento académico, selección de estudiantes, pruebas estandarizadas, validez predictiva, sistema de admisión, Universidad de Costa Rica.

Abstract

It was studied in the following paper the relation of the admission average components (secondary average grade and Academic Aptitude Test) to the academic performance of the first year students at University of Costa Rica in the first semester of studies, by controlling the possible influences, because of genre of the student and the public or private condition of provenance school. This was performed by using regression models applied to 4,658 first year students of the cohort from 2008. It was obtained from the three proposed models that 18,6 % of the variability of the college academic achievement is due to of the admission average components, genre and provenance school, also, women obtain a higher academic performance than men and the students from private secondary school show a better performance than those students from public schools. Furthermore, it was evidenced that analogies from Entrance Examination of University of Costa Rica are not a component that could be significant in the explanation of the academic performance for the first semester, on the contrary, those who resulted as a significant component were the average grade and the other parts of the Test.

Key words: academic achievement, student selection, standardized test, predictive validity, admission system, University of Costa Rica

---

1. Introducción

La Prueba de Aptitud Académica (PAA) es el instrumento científico utilizado por la Universidad de Costa Rica (UCR) para seleccionar a los y las estudiantes con mayores probabilidades de éxito en el sistema de estudios que ofrece. El promedio entre la nota obtenida en la PAA y un indicador de las notas obtenidas en el último ciclo de la educación secundaria (Educación Diversificada), denominado nota de presentación, es el único criterio utilizado por la UCR para elegir, cada año, a los nuevos miembros de su comunidad estudiantil.

Al tener la PAA un carácter tan decisivo en la vida de miles de aspirantes por ingresar a la Universidad, se hace necesario dar evidencias de que está cumpliendo, a cabalidad su objetivo; además, mostrar que está satisfaciendo todos los criterios de calidad exigidos para pruebas de este tipo.

La consideración más importante en la evaluación de un test es la validez de sus usos, donde la validez se define como el grado en que la evidencia apoya las inferencias que se hacen a partir de las puntuaciones obtenidas en un test, y la validación se define como el proceso de acumulación de evidencias que sustentan estas inferencias (American Educational Research Association, American Psychological Research Association y National Council on Measurent in Education, 1999).

Entre los tipos de validez que existen destacan la de contenido, la de constructo, la concurrente, la discriminante y la predictiva. En este trabajo se busca continuar con el proceso de validación de los usos dados a los resultados de la PAA, desde la dimensión de la validez predictiva, que está definida como el grado en que las puntuaciones de un test correlacionan con un criterio externo asociado al constructo medido (García y Magaz; 2009).

Uno de los criterios externos asociados a la PAA es el rendimiento académico, debido a que, como ya se mencionó, el objetivo de esta Prueba es seleccionar a los y las estudiantes con mayores probabilidades de éxito. Por esta razón, este artículo pretende estudiar la correlación existente entre las puntuaciones de la PAA y el rendimiento académico, con el fin de obtener evidencias de validez predictiva en las interpretaciones de los resultados de la Prueba.

Debido a que la PAA no se usa como criterio de selección de manera individual, sino promediada con la nota de presentación, es que resulta pertinente analizar “la validez predictiva” del otro componente del “Promedio de Admisión” a la UCR. Lo anterior indica que el objetivo de este artículo es: analizar la relación entre el rendimiento académico y los componentes del promedio de admisión.

2. Referentes teóricos

En esta sección se exponen varios aspectos teóricos vinculados con el rendimiento académico que se consideraron importantes para la realización de este estudio. Estos son: rendimiento académico, modelos que estudian su relación con las notas en secundaria y tests de aptitud. También, se expone la relación de otras variables con el rendimiento académico, y algunos aspectos importantes sobre la estructura de la PAA.

Rendimiento académico

Varios investigadores e investigadoras han presentado diversas definiciones para el concepto de rendimiento académico. Por ejemplo, Garbanzo (2007) dice que “el rendimiento académico es la suma de diferentes y complejos factores que actúan en la persona que aprende, y ha sido definido con un valor atribuido al logro del estudiante en las tareas académicas” (p. 46). Por su lado, Tournon (1984) afirma que el rendimiento académico es “un resultado del aprendizaje, suscitado por la intervención pedagógica del profesor o profesora y producido en el alumno” (p. 24), mientras que Forteza (1975) define al rendimiento académico como una serie de factores que giran alrededor de los resultados finales del esfuerzo hecho por el o la estudiante.

En estas definiciones se presenta el rendimiento académico como un constructo con una estructura muy compleja, relacionado básicamente con la consecución de los objetivos del sistema educativo. El carácter complejo de este constructo es expuesto por Montero, Valverde y Villalobos. (2007), cuando plantean que “delimitar el concepto y ámbito de aplicación del término rendimiento académico no ha sido tarea fácil, dado el carácter complejo y multidimensional que da cuerpo a esta variable del área educativa” (p. 217).

Lo anterior conduce a la conclusión de que la medición del rendimiento académico es un proceso que puede ser sumamente difícil. Al respecto, Montero (2008) expone que constructos psicológicos como este no son directamente observables, así como tampoco existen consensos establecidos sobre cómo deben definirse y su medición depende de procesos sumamente rigurosos.

Sin embargo, en Alvarado, García y Jiménez (2007) se presenta la idea de que a pesar de la complejidad de este constructo, la mayoría de los estudios utilizan como medida del rendimiento académico indicadores construidos con solo las notas obtenidas en los cursos. También Alvarado et al., (2007) exponen que la medición simplista del constructo “rendimiento académico” sigue siendo la más apoyada por los investigadores e investigadoras a nivel mundial. Este apoyo se puede ver reflejado en Garbanzo (2007), cuando expresa que “las notas obtenidas, como un indicador que certifica el logro alcanzado, son un indicador preciso y accesible para valorar el rendimiento académico” (p. 46). De manera similar, se puede ver el respaldo a esta corriente en Montero et al., (2007) cuando exponen la idea de que las calificaciones son el criterio legal para medir el rendimiento académico en el ámbito institucional.

Investigaciones referentes a la relación del rendimiento académico universitario con la nota de secundaria o las notas en test de diversas aptitudes

La nota en secundaria y las notas en tests de aptitud para ingreso a las universidades, son importantes en la explicación de la variabilidad del rendimiento académico. Garbanzo (2007) comenta que

el rendimiento académico previo a la universidad constituye uno de los indicadores con mayor capacidad predictiva en el rendimiento académico en estudiantes, además estudios realizados en la enseñanza superior asociados al rendimiento académico enfatizan el valor de la nota obtenida en las pruebas de admisión a la universidad como un predictor de los más importantes en el rendimiento académico. (p. 52)

Con respecto al estudio de la relación del rendimiento académico en la educación superior con la nota en secundaria o con algún test de aptitud, como lo es la PAA, existe una gran cantidad de trabajos, en los cuales se consideran diversos enfoques de análisis, de teorías y de conjuntos de variables control. A continuación, se procederá a mencionar algunos.

En la investigación de Moral (2006) se estudia la variabilidad del rendimiento académico en el primer semestre de los estudiantes de Psicología de la Universidad Autónoma de Nuevo León, mediante un modelo de regresión lineal, cuyas variables dependientes fueron las notas en tests de ciertas aptitudes de inteligencia y donde la variable dependiente fue el promedio en las notas de los cursos. En este modelo únicamente resultaron con correlaciones significativas: las variables razonamiento verbal, habilidad numérica, razonamiento abstracto, factor general de inteligencia, y velocidad y exactitud. Las variables significativas arrojaron un 4,4% de variancia explicada en el rendimiento académico.

Por su parte, en Cerdas (2008a) se analiza la relación del rendimiento académico en el primer semestre de la UCR con la nota en secundaria. Para esto, se planteó un modelo de regresión simple, donde la variable dependiente es un indicador del rendimiento académico denominada Logro, que presenta la siguiente fórmula


donde son  los  créditos  que  le  corresponden  al  curso -ésimo  y   es  la  nota  obtenida también en el curso   -ésimo. En este modelo solamente se incluyó una variable dependiente: “la nota de presentación”, con la cual se explicó un 11,5% de la variabilidad del Logro.

Alvarado et al., (2000) analizan la relación del rendimiento académico en el primer curso de Psicología de la Universidad Complutense de Madrid con la nota obtenida en secundaria y la nota de acceso a la Universidad, junto a otros indicadores, como la participación en clases, la asistencia, y aspectos sobre la actitud y la motivación, que se consideraron relevantes en la literatura. Se utilizaron modelos de regresión lineal y se obtuvo, como mejor modelo, el que utilizaba la participación, la asistencia y la nota en secundaria como variables independientes. Con este modelo se obtuvo un 17 % de variancia explicada.

En la investigación de Catellanos, González, González y Manzano (1999) se estudió la relación del rendimiento académico de los alumnos y alumnas en el curso de Matemáticas Empresariales de la Universidad de Oviedo con las variables nota en secundaria, habilidad verbal y nota en un test de matemática. Se utilizaron modelos de regresión lineal en los cuales también se incluyeron, como variables dependientes, el tipo de bachillerato en secundaria, tipo de curso de matemática llevado en secundaria, nivel socioeconómico, tipo de colegio de procedencia (público o privado), edad del estudiante, número de opción en que eligió la carrera en la que se encuentra empadronado y una variable multiplicativa entre tipo de bachillerato y tipo de curso de matemática cursado en secundaria. Resultaron significativas las variables tipo de bachillerato, tipo de curso de matemática de secundaria, la variable multiplicativa entre las dos variables anteriores, la nota en el colegio, la habilidad verbal y la nota en el test de matemática. Este modelo obtuvo un 18% de variancia explicada.

El estudio realizado por Montero et a., (2007) también se analiza la relación del rendimiento académico en cualquier curso de segundo o tercer año de la Universidad de Costa Rica con la nota en secundaria y la nota en la PAA, haciendo uso del Promedio de Admisión, el cual resultó ser el mejor predictor.

En este trabajo se seleccionó una muestra aleatoria de los cursos por estudiar y se midió una serie de factores asociados con el rendimiento académico. Estos factores fueron agrupados en cuatro grandes bloques: el institucional, el pedagógico, el psicosocial y el sociodemográfico. Dentro del factor institucional destacan los horarios de los cursos y el tamaño de los grupos; en las pedagógicas se encuentran mediciones de las estrategias metodológicas, métodos de evaluación y materiales didácticos utilizados por el docente; en el factor psicosocial están aquellas relacionadas con la motivación del alumnado, y en las variables relacionadas con el bloque sociodemográfico destacan el sexo, el nivel económico, el tipo de colegio de procedencia y el nivel educativo de los padres.

Para la medición del rendimiento académico se utilizaron como indicadores las notas obtenidas por los estudiantes en los cursos previamente seleccionados. El análisis de los efectos de las variables independientes en el rendimiento académico se hizo mediante un análisis multinivel, para el cual se definieron dos niveles: las variables relacionadas con el estudiante y las referidas al profesor y al grupo. Dentro de las conclusiones de este estudio sobresale que, por un lado, más de un 50 % de la variabilidad de las notas obtenidas en el curso se pueden explicar por las variables incluidas en el modelo. Por otro, las variables que tienen que ver con el estudiante apenas explican un 9 % del rendimiento académico; sin embargo, las que tienen que ver con el profesor y el curso explican más del 40 % de la variabilidad de las notas.

En la Universidad de Costa Rica se han elaborado estudios donde el objetivo primordial es analizar la validez predictiva de los componentes del promedio de admisión, entre ellos se pueden mencionar los realizados por Cubero y Longhi (1988), Cubero y Longhi (1995) y Jiménez y Morales (2010). Los dos primeros estudios se realizaron utilizando únicamente correlaciones bivariadas entre el Logro y el Promedio de Admisión (o con los componentes de este), mientras que el tercero se realizó utilizando modelos de regresión lineal, donde el indicador de rendimiento académico seleccionado fue la variable Logro. El estudio de Jiménez y Morales fue el último de este tipo que se realizó y la cohorte utilizada fue la de 1999, lo cual indica que desde hace más de diez años no se analiza la validez predictiva de los componentes del promedio de admisión.

Jiménez y Morales (2010) pretendían explicar la variabilidad del rendimiento académico en todos los cursos llevados por la cohorte de 1999 en sus primeros dos años y medio de carrera. Para la construcción de los modelos de regresión se tomaron en cuenta las siguientes variables: promedio de educación diversificada, nota obtenida en el examen de admisión a la Universidad de Costa Rica, porcentaje de respuestas correctas en la parte matemática del examen de Admisión a la Universidad de Costa Rica, porcentaje de respuestas correctas en la parte verbal de esta Prueba, promedio de admisión a la Universidad de Costa Rica, sexo, edad de ingreso a la Universidad, provincia donde se ubica el colegio de procedencia, grupo al que pertenece la carrera de estudio y tipo de colegio (público o privado).

El mayor porcentaje de variancia explicada en los modelos planteados fue de 13,8%. Este modelo utilizó como predictores: la edad, si el colegio era público o no, el área en la que se encuentra clasificada la carrera de estudio, la provincia en la que se ubica el colegio de procedencia, el promedio de educación diversificada y la nota en el examen de admisión.

Entre los resultados obtenidos de la investigación de Jiménez y Morales se distingue que el promedio de educación diversificada es la variable de mayor importancia en la explicación del Logro; asimismo, se obtiene que las variables “nota obtenida en el examen de admisión a la Universidad de Costa Rica”, “nota en la parte matemática del examen de Admisión a la Universidad de Costa Rica”, “nota en la parte verbal del examen de Admisión a la Universidad de Costa Rica” y “promedio de admisión de la Universidad de Costa Rica” son variables importantes en la explicación del logro de esta población. También, se encontró que, con respecto al logro, las mujeres superan a los hombres, y los estudiantes de menor edad presentan ventaja con respecto a los que tienen más edad.

Finalmente, se menciona que en la tesis doctoral de Cabello (2009) se presenta una extensa compilación de estudios que analizan la variabilidad del rendimiento académico en instituciones de enseñanza superior de Iberoamérica, en los cuales se mencionan varios estudios donde se muestra la relación del rendimiento académico universitario con las notas de secundaria o con las puntuaciones de tests aptitudinales.

Cabello (2009), al igual que los estudios revisados, enfatiza en que tanto la nota obtenida en secundaria como las pruebas de ingreso a las universidades tienen un fuerte valor predictivo en el rendimiento académico universitario. Además, este mismo autor presenta otras variables que correlacionan con el rendimiento académico, como el género y el tipo de colegio, las cuales serán abordadas a continuación.

Observaciones sobre la relación de otras variables con el rendimiento académico

En este apartado se menciona la relación del sexo y la condición pública-privada del colegio de procedencia de los y las estudiantes con el rendimiento académico, esto debido a que estas variables han presentado en muchos trabajos una relación muy definida con el rendimiento. Finalmente, se presenta una lista de variables que han mostrado, en varios estudios, una relación significativa con este constructo.

En varios estudios sobre rendimiento académico universitario se ha percibido que las mujeres logran en promedio tener mejores resultados que los hombres. Por ejemplo, Dapozo et al., (2010) mencionan que “existen investigaciones sobre el rendimiento académico en el ámbito de la educación superior, que apuntan a un mayor éxito entre las mujeres (Tejedor, 2003), especialmente cuando se trata de explicar, mediante metodologías regresionales, la cantidad de materias aprobadas por año (Di Gresia, Porto y Ripani, 2002) o el rendimiento promedio acumulado (Valdivieso, Monar y Granada, 2000; Birch y Miller, 2007)”(p.17).

De igual manera, se ha detectado que el carácter público o privado del colegio de procedencia de los estudiantes universitarios tiene un efecto en el rendimiento académico, favoreciendo a la población que procede de instancias privadas. Dapozo et al (2010) listan varios estudios donde se encuentran que los estudiantes de colegios privados tienen mejores resultados en la educación universitaria que los provenientes de colegios públicos; entre los factores asociados a esta tendencia en Latinoamérica los autores destacan los bajos niveles de calidad de la educación estatal.

Por último, Garbanzo (2007) presenta una recopilación de variables que, a lo largo de muchos estudios, han mostrado influencia en el rendimiento académico universitario. Estas variables son presentadas en tres bloques:

1. Determinantes personales: competencia cognitiva (autoevaluación de la capacidad cognitiva), motivación, condiciones cognitivas, autoconcepto académico, autoeficacia percibida, bienestar psicológico, satisfacción y abandono con respecto a los estudios, asistencia a clases, inteligencia, sexo, formación académica previa a la universidad y nota de ingreso a la universidad.

2. Determinantes sociales: diferencias sociales, entorno familiar, nivel educativo de los responsables, nivel educativo de la madre, contexto socioeconómico y variables demográficas.

3. Determinantes institucionales: complejidad de los estudios, condiciones institucionales, servicios institucionales de apoyo, ambiente estudiantil, relación estudiante-profesor y pruebas específicas de ingreso a carrera.
Prueba de Aptitud Académica de la Universidad de Costa Rica

La Prueba de Aptitud Académica (PAA) de la Universidad de Costa Rica está conformada por una parte de ítems de razonamiento en contexto verbal y otra de ítems de razonamiento en contexto matemático, de manera similar a la prueba estadounidense Scholastic Aptitude Test (SAT). En el estudio de Jiménez y Morales (2010) se hallaron evidencias de que la nota obtenida en estas dos partes de la PAA son variables significativas e importantes en la explicación del rendimiento académico en la UCR.

Hasta el año 2010, la parte verbal de la prueba estuvo compuesta por tres tipos de ítems: los de completar oraciones, los de comprensión de lectura y las analogías. En ese año, el Equipo Técnico de Investigación (ETI) de la Prueba de Aptitud Académica decidió eliminar los ítems de analogías de esta Prueba, al igual que lo hizo el Educational Testing Service con respecto al SAT en el 2005.

Debido a las críticas realizadas a la sección de analogías de la prueba SAT, nació en el ETI la inquietud por investigar aquellos problemas que pudiesen estar causando las analogías en la confiabilidad y la validez de la PAA. Entre los estudios efectuados está el de Cerdas (2008b), donde se expone que los ítems de analogías no cargan en el factor general de la Prueba. En esta investigación también se concluye que no existe un segundo o tercer factor en la prueba, que esté compuesto únicamente por analogías.

Por su parte, en Rodríguez y Fallas (2010) se muestra que las analogías de la PAA tienden a favorecer a los y las estudiantes de colegios privados, concordando con las críticas realizadas por las universidades norteamericanas al SAT, alegando que los ítems de analogías daban ventaja a estudiantes provenientes de colegios de “primer nivel” (Malkan, 2002).

Basado en las razones anteriores, y en resultados que se obtuvieron a través del desarrollo de este artículo, es que en noviembre del año 2010 el Equipo Técnico de Investigación determina que las analogías no deben seguir siendo utilizadas en la Prueba de Admisión a la Universidad de Costa Rica (artículo 1 de la acta 17 del 2010, correspondiente a la sesión ordinaria celebrada por el Equipo Técnico de Investigación de la Prueba de Aptitud Académica).

3.  Metodología

La metodología adoptada para esta investigación fue una de las que más se han aplicado en estudios de este tipo: la utilización de modelos de regresión lineal, realizados con la ayuda del paquete estadístico R (R Development Core Team, 2010) en su versión 2.11.1.

En estos modelos la variable dependiente es el indicador de Rendimiento Académico propuesto en Cerdas (2008b) y Jiménez y Morales (2010), llamado Logro, que fue calculado para el primer semestre de estudios. Se consideró este indicador en vez del promedio, porque aunque dos estudiantes tengan igual promedio ponderado, el logro del que ha llevado más créditos superará al del que ha llevado menos, lo cual da ventaja a la variable Logro sobre el promedio. Por ejemplo, si un estudiante obtiene con dos créditos un promedio de 9 y otro obtiene el mismo promedio con diez créditos, su Logro sí reflejará las diferencias en el avance en su carrera, ya que el primero tendrá un Logro de 18 unidades, mientras que el segundo obtendrá 90 unidades.

Se decidió calcular el Logro únicamente para el primer semestre de estudios debido a que la PAA “mide habilidades generales de razonamiento” (Universidad de Costa Rica, 2010, p. 28) y estas son evaluadas generalmente en el primer semestre de estudios, por medio de las llamadas “materias generales”, materias que llevan todos los estudiantes de la

Universidad de Costa Rica y que no miden habilidades específicas de carrera alguna, entre estas materias estás Filosofía, Historia y Lenguaje.

Además de la nota en el examen de admisión a la Universidad y un indicador del rendimiento académico en secundaria, se concluyó, con base en la literatura revisada, que era importante considerar, como variables independientes, a las variables sexo y condición pública o privada del colegio de procedencia, esto debido a que tienen una relación muy marcada con el rendimiento académico, la cual es importante considerar.

Como indicador de la nota del rendimiento académico en secundaria se escogió el utilizado por la UCR para medir dicho variable: “la nota de presentación”. Esta nota es calculada de diferentes maneras, dependiendo de la opción de educación secundaria que haya tomado el o la estudiante.

Para estudiantes de educación secundaria académica, la nota es el promedio de las notas obtenidas en las ocho materias básicas (Matemática, Estudios Sociales, Educación Cívica, Idioma extranjero, Español, Física, Química y Biología) durante el décimo año y los dos primeros trimestres del undécimo año. Los y las estudiantes de educación técnica tienen como nota de presentación las notas de esas mismas materias, con la diferencia de que se toman las notas del décimo año, el undécimo año y los dos primeros trimestres del duodécimo año. Para los estudiantes de educación abierta, este indicador es el promedio de las notas obtenidas en los seis exámenes de bachillerato.

En Costa Rica existen otros programas de educación secundaria (SINDEA, EDAD y Bachillerato internacional), que tienen pequeñas poblaciones y otras formas para calcular la nota de presentación que no se detallan en este estudio (el cálculo de la nota de presentación para los programas de educación secundaria costarricense se detalla en UCR, UNA, UNED y TEC; 2011).

Asimismo, en algunos modelos se utilizan los componentes y subcomponentes de la Prueba de Aptitud Académica, esto con el fin de analizar la relación de la nota de cada una de estas partes con el rendimiento académico, siendo de particular interés para el Equipo Técnico de Investigación de la PAA (ETI) el efecto de las analogías, ya que se deseaba conocer si los ítems de este tipo estaban colaborando en la predicción del rendimiento académico universitario, a pesar de los problemas que estaban presentando en cuanto a la tendencia de favorecer a los estudiantes de colegios privados y de no correlacionar con el resto de los ítems de la Prueba.

Luego de esto, se establecieron tres grandes modelos para la predicción del Logro, que van surgiendo de la descomposición de una variable del modelo anterior en las partes que la componen. Las variables independientes por considerar en el modelo 1 fueron las siguientes:

1. Indicador  del  rendimiento  académico  en  secundaria  (IRS):  Variable  continua  entre  0  y  70, generalmente conocida como la “nota de presentación”. Para estudiantes admitidos en la Universidad, por lo general, toma valores mayores a 70, ya que este valor es la  nota mínima para aprobar una materia en los años de estudios tomados en cuenta por el IRS. Algunos estudiantes pueden presentar un IRS menor a 70 si provienen de colegios académicos y técnicos, ya que este indicador no toma en cuenta las notas del último trimestre del último año de estudios, cuando se puede mejorar el promedio para poder aprobar la secundaria.

2. Porcentaje de respuestas correctas en el examen de admisión a la Universidad (PAA): Variable continua entre 0 y 100.

3. Sexo: Variable dicotómica, cuyo valor es 1 para las mujeres y 0 para los hombres.

4. Modalidad del colegio de procedencia (Mod): Variable dicotómica, que le asigna un 0 a los estudiantes provenientes de colegios privados y un 1 a los de colegios públicos.

En el modelo 2 se usaron las mismas variables que en el modelo anterior, solo que en lugar de PAA se utilizaron los porcentajes de ítems correctos de sus dos grandes partes: Verbal (V) y Matemática (MA). Finalmente, en el tercer modelo se utilizaron las mismas variables que en el anterior, pero la nota asignada a la parte Verbal se sustituyó por los porcentajes de ítems acertados de los tres tipos de ítems que conformaban la prueba al momento de realizar el estudio: Completar oraciones (CO), Comprensión de lectura (CL) y Analogías (AN).

Los modelos descritos anteriormente se pueden representar de la siguiente manera:

Diseño

Este estudio es de carácter retrospectivo, porque se trabaja con datos de cohorte, obtenidos en el pasado. También tiene un corte longitudinal, ya que todas las variables son de la misma cohorte y, además, los datos reflejan distintos momentos de esta, por ejemplo, los datos de PAA se dan a finales del 2007 y el Logro a mediados del 2008. Por último, este estudio es observacional, pues describe las relaciones observadas entre las variables de la población en cuestión.

Procedimiento

El trabajo se realizó en dos etapas: análisis de los referentes teóricos y procesamiento de los datos. En la primera se estudiaron varios autores que han investigado sobre la validez predictiva de las pruebas y los modelos de predicción del rendimiento académico universitario, posteriormente, con base en esta literatura se definió el modelo y las variables a utilizar.

En la segunda etapa se procedieron a estimar los modelos con los datos obtenidos de las bases de resultados de la PAA proporcionada por el Programa Permanente de la PAA y las bases de las notas en los cursos universitarios facilitada por la Oficina de Registro e Información de la UCR, los cuales, una vez estimados, se contrastaron contra lo obtenido en las referencias teóricas estudiadas.

Población

Para esta investigación se utilizaron 4,658 registros de los 7216 estudiantes que ingresaron a la Universidad en el año 2008, lo cual representa aproximadamente el 65 % del total de registros posibles. Hubo 2,558 individuos que no se incluyeron en la muestra, ya que para estos no se tienen reportes de las notas que obtuvieron en el primer semestre, debido a que no concretaron matrícula en el primer semestre de estudios.

De esta muestra, el 49,7 % son hombres y el 50,3% son mujeres; además, el 35,5% de los estudiantes de la muestra provienen de colegios privados y el 64,5% de colegios públicos.

4.  Análisis de resultados

En esta sección se presentan los estadísticos descriptivos de las variables estudiadas y los resultados obtenidos en el análisis de cada uno de los modelos de predicción del Logro.

Estadísticos descriptivos de los datos

La Tabla N.º 1 presenta el mínimo, el máximo, la media y la desviación estándar de cada variable continua analizada. Los promedios de todas las variables derivadas de la nota de la PAA, a excepción de las analogías, oscilan entre 60 y 70, siendo el promedio más bajo el correspondiente a la parte matemática. Por su lado, la media del IRS es de 87.07, lo cual indica que, en promedio, los estudiantes que ingresan a la UCR tienen un buen rendimiento en la secundaria.

La media del Logro obtenida fue de 107.77. Una aproximación a este índice puede ser obtenida por un estudiante si matricula 12 créditos y obtiene una nota de 9 en todos los cursos, o si matricula 14 créditos y obtiene un 8 en todos los cursos.

Resultados de los modelos

Las regresiones lineales realizadas en este estudio cumplieron el supuesto de normalidad (se utilizó la prueba de Kolmogorov-Smirnov) con un 95% de confianza y no presentaron problemas de multicolinealidad. El único problema que se observó, a la hora de verificar el cumplimiento de supuestos del modelo, estuvo en el alcance del supuesto de homoscedasticidad, por lo cual, basándonos en Kutner, Neter, Nachtsheim y Wasserman (1996), se aplicó la regresión por mínimos cuadrados ponderados. Dicha medida remedial hizo que se lograra alcanzar el cumplimiento de la condición deseada con un 95% de confianza.

En la Tabla N.º 2, se observa que todas las variables incluidas en el primer modelo, resultaron ser predictores significativos del rendimiento académico a un nivel del 5%, por lo cual los resultados obtenidos son generalizables a toda la población. Entre los resultados más interesantes que proporcionó este modelo, cabe señalar que las mujeres tienen en promedio 5,9 puntos más en rendimiento académico que los varones, si se mantienen constantes las demás variables. También, se observó que los estudiantes de colegio privado tienden a tener en promedio 4,4 puntos más que los estudiantes de colegio público, si se dejan constantes las demás variables.

En este modelo los coeficientes estandarizados más altos correspondieron a la nota obtenida en el colegio y a la obtenida en la PAA, por lo que estos son los predictores del rendimiento académico con mayor relevancia dentro de este modelo, lo anterior tomando en cuenta que los coeficientes estandarizados, indican la importancia relativa de las variables independientes en la predicción estimada por el modelo.

Para la construcción del segundo modelo se sustituyó la variable PAA por sus dos grandes componentes: la parte de razonamiento en contexto verbal (V) y la parte de razonamiento en contexto matemático (M). En la Tabla N.º 3 se observa que el modelo 2, al igual que el 1, obtuvo que todos los predictores incluidos fueron significativos; además, mantuvo la ventaja de los estudiantes de colegio privado sobre los de público y la de las mujeres sobre los varones, con coeficientes muy parecidos a los obtenidos en el modelo anterior.

Los dos componentes de la Prueba de Admisión a la Universidad de Costa Rica obtuvieron un nivel muy similar de importancia en la predicción del Logro que proporciona este modelo; sin embargo, ninguno de ellos tiene tanta importancia en la predicción como el IRS, ya que el coeficiente estandarizado del IRS prácticamente duplica a los coeficientes obtenidos por V y MA.

En el tercer modelo se cambió el componente de razonamiento en contexto verbal por los tres tipos de ítems que lo conforman: analogías (AN), completar oraciones (CO) y comprensión de lectura (CL), con el fin de determinar si hay alguno de estos que aporte más a la predicción del rendimiento académico de los estudiantes de primer ingreso. En la Tabla N.º 4 se puede observar que este es el único modelo único modelo donde aparece un coeficiente no significativo: el asociado a la variable Analogías (0,674). De igual manera, resultó que esta variable tiene muy poca importancia (0,006) dentro de la predicción que realiza este modelo. Los otros componentes del área verbal sí fueron significativos y con una importancia relativamente pequeña dentro de la predicción. Al igual que en los otros modelos, se mantuvo la tendencia a favor de las mujeres y los colegios privados y, además, el predictor con mayor relevancia dentro del modelo continuó siendo el promedio de educación diversificada.

En todos los modelos estudiados, el coeficiente de determinación fue alrededor de 0,186 (ver Tabla N.º 5), lo cual indica que cada modelo puede predecir en promedio un 18,6 % de la variabilidad del rendimiento académico de los estudiantes de primer ingreso, en el primer semestre de estudio. Las diferencias que se presentaron entre los coeficientes de determinación de cada uno de los modelos, tanto ajustados como sin ajustar, no es mayor a 0,001, por lo que se puede concluir que la predicción obtenida con cada uno de los modelos es prácticamente la misma.

5. Discusión

Si se comparan los tres modelos, se puede notar que en todos ellos la variable más importante en la explicación del Logro fue el IRS, que coincide con los resultados obtenidos en Jiménez y Morales (2010) y Cabello (2009), donde la calificación obtenida en la educación secundaria fue la variable que mejor explicó la variabilidad del rendimiento académico del universitario. Este resultado respalda el uso de las notas obtenidas en la educación secundaria como criterio de selección para ingresar a la UCR.

Por su lado, en todos los modelos se apreció que si todas las variables se dejan constantes, las mujeres en promedio obtienen en el Logro de 5,9 a 6 puntos más que los hombres, esto indica que si se hubiera presentado la situación, sumamente inusual, de que todos los examinados hubieran llevado una carga académica de doce créditos, entonces, se tendría que, en promedio, las mujeres obtendrían medio punto más en el promedio ponderado que los hombres (el promedio ponderado en la Universidad de Costa Rica se puntúa de 0 a 10).

La ventaja en favor de las mujeres en los estudios universitarios, evidenciada en este estudio, también se presentó en el estudio realizado por Jiménez y Morales (2010), con la población estudiantil de la Universidad de Costa Rica que ingresó en 1999. Esta ventaja, que se discutió en el marco teórico, es la tendencia de varios trabajos que estudian el análisis de la variabilidad del rendimiento académico universitario (Dapozo et al., 2010; Birch y Miller, 2007).

Por su parte, se observó en los modelos que los estudiantes de colegios privados obtienen, aproximadamente, 4,4 puntos más que los que provienen de centros educativos públicos, si se mantienen constantes las demás variables analizadas. Esto indica que si se presenta la situación hipotética planteada en el caso del sexo, de que toda la población cursara doce créditos, se tendría que en promedio los estudiantes provenientes de colegios privados obtendrían un promedio ponderado mayor en más de 0,35 unidades que aquellos que procedieran de colegios públicos.

Este resultado difiere del obtenido en Jiménez y Morales (2010), ya que en esta investigación se obtuvo una clara ventaja en favor de los estudiantes de colegios públicos. Una posible hipótesis, para explicar este giro en el comportamiento de la variable modalidad del colegio, es el cambio que se da del segundo al tercer semestre, dadas las exigencias que se le hacen a gran cantidad de los estudiantes provenientes de colegios públicos.

Resulta que en los dos primeros semestres de estudios, a los estudiantes con beca (que son en su gran mayoría de colegios públicos), no se les exige promedio alguno para mantenerla, en cambio, a partir del tercer semestre de estudios a los estudiantes becarios se les imponen cargas académicas y promedios mínimos para mantener sus becas y, además, se les ofrecen incentivos si logran aumentar sus promedios a topes establecidos (Universidad de Costa Rica, 1987). Bajo la condición de ninguna exigencia del sistema de becas para los becarios, es que se desarrolla el presente estudio, ya que se calcula el Logro solo para el primer semestre de estudios, mientras que las condiciones de alta exigencia del sistema de becas están tomadas en cuenta en el Logro calculado por Jiménez y Morales (2010), pues dicho estudio calcula el Logro para los primeros cinco semestres. Este cambio en la condición de las exigencias para muchos de los estudiantes de colegios públicos puede ser la razón que esté provocando la discrepancia presentada entre estos dos estudios.

Luego, si se analiza lo que está sucediendo en el primer semestre de estudios, es evidente que los estudiantes egresados de colegios privados están presentando un rendimiento académico más alto con respecto a los provenientes de colegios públicos. Dicho resultado es alarmante, pues parece indicar que los estudiantes provenientes de instituciones públicas ingresan a la Universidad con una desventaja educativa con respecto a los estudiantes que provienen de colegios privados, lo cual debería ser un llamado a las autoridades educativas para realizar investigaciones sobre las deficiencias que se están presentando en la educación pública costarricense.

Continuando con el análisis de las variables planteadas en este estudio, en el primer modelo se observó que la nota obtenida en la PAA tiene una importancia relativa en la predicción del Logro bastante alta (coeficiente estandarizado de 0,243), solamente superada por el IRS. Además, el coeficiente de regresión asociado a la PAA es de 0,751, lo cual indica que si se aumenta en una unidad la nota obtenida en la PAA, el Logro aumenta en 0,751 unidades, manteniendo constantes todas las variables del modelo 1.

Estos resultados constituyen una evidencia de que las notas obtenidas en la Prueba de Aptitud Académica de la Universidad de Costa Rica tienen alta importancia en la predicción del rendimiento académico universitario y, por lo tanto, en la validez predictiva de las interpretaciones que se están haciendo con sus resultados. Por eso, es oportuno resaltar que la importancia (beta estandarizado) de la PAA en el estudio de Jiménez y Morales (2010) fue de 0,223, mientras que en el presente estudio se obtuvo una importancia de 0,243, lo cual muestra que la importancia de la PAA en la predicción del Logro es bastante consistente.

Siguiendo con el análisis de la relación de los componentes de la PAA con el Logro, se presenta el análisis de los resultados obtenidos en los otros dos modelos, que tomaron como indicadores las notas de los estudiantes en subsecciones de la Prueba. En lo que respecta a las dos grandes secciones de la PAA (razonamiento en contexto verbal y razonamiento en contexto matemático) se evidenció que son variables significativas en la explicación de la variabilidad del rendimiento académico de los estudiantes de primer ingreso.

De igual manera, se observó que no todos los componentes de verbal eran variables significativas a un nivel del 5 %, debido a que el componente de Analogías no presentó esta característica. Las notas en los componentes Comprensión de Lectura y Completar Oraciones obtuvieron coeficientes pequeños en el grado de importancia en la predicción, pero no dejaron de ser útiles para los fines de selección para ingreso a la UCR. Además, los coeficientes de regresión no estandarizados de estas variables son positivos y relativamente altos (aproximadamente de 0,20), lo que demuestra que, efectivamente, ayudan a seleccionar a los estudiantes que en promedio obtendrán los mejores indicadores de rendimiento académico.

Al resultado obtenido en las analogías merece darle una particular atención, ya que al estar presentes en una prueba encargada de dar el criterio de selección para escoger a los estudiantes con mayor probabilidad de éxito en la Universidad, deben necesariamente ser un predictor significativo del rendimiento académico de los estudiantes, sobre todo si tomamos en consideración que, por un error cometido en una de estas preguntas, un estudiante puede quedar excluido del ingreso a la Universidad.

Dicha situación se agrava más cuando se analiza el gráfico de dispersión de las notas obtenidas en las analogías contra las puntuaciones obtenidas en el Logro (ver Gráfico N.º 1), ya que este gráfico revela que los puntos no presentan ningún patrón definido, esto es, que la nota de analogías no muestra relación alguna con el indicador de rendimiento académico, por lo cual se encuentran casos en que un estudiante con un cien en la parte de analogías, tiene un Logro sumamente bajo (por ejemplo de 10 puntos).

Estos resultados unidos a aquellos que fueron encontrados por Rodríguez y Fallas (2010) y Cerdas (2008b), constituyeron las bases para que el ETI tomara la decisión de eliminar las analogías de la PAA. El mantenimiento de estos ítems en la Prueba atentaba contra la validez predictiva de las interpretaciones que se realizan con las puntuaciones de la PAA, ya que existen evidencias de que las analogías no colaboran con las inferencias que se hacen con esos puntajes.

En todos los modelos se llegó a un mismo valor del coeficiente de determinación (0,186), esto significa que, en promedio, cada modelo explica un 18,6 % de la variabilidad del índice de rendimiento académico, en los cursos del primer semestre de los estudiantes de primer ingreso. La semejanza de estos coeficientes de variación era de esperar, debido a que los modelos tienen como única diferencia que de un modelo a otro cierta variable pasa de un carácter agregado a uno desagregado.

Si se compara con Jiménez y Morales (2010), se puede observar que en el modelo con mayor coeficiente de determinación, se obtuvo un 13,8% de variancia explicada. En el modelo del estudio anterior se incorporaron 9 variables, mientras que en el presente estudio con solamente 4 variables se llegó a una variancia explicada 5 puntos porcentuales más alta. Esto evidencia que los componentes del promedio de admisión son un factor importante en la explicación del rendimiento académico en el primer semestre de estudios; sin embargo, conforme se avanza en los semestres estos componentes van perdiendo poder explicativo. Dicho resultado indica que el promedio de admisión correlaciona muy bien con las habilidades generales de razonamiento, generalmente medidas en los primeros semestres, pero que no correlaciona tan bien con las habilidades específicas, que en su mayoría comienzan a ser medidas a partir de segundo año, cuando ya se ingresa a cursos exclusivos de carrera.

Lo anterior proporciona evidencias de validez predictiva del uso dado al promedio de admisión para seleccionar a los nuevos estudiantes universitarios; sin embargo, al comparar los resultados con Jiménez y Morales (2010) se aprecia que este promedio tiene menores índices de predicción en los cursos de segundo y tercer año, esto sugiere que esta variable no es un buen predictor de las notas de los cursos de carrera, y por lo tanto no serìa adecuado usar este promedio para elegir los y las estudiantes que ingresen a determinada carrera. Todas estas conclusiones refuerzan el proceso de validación necesario para toda prueba de altas consecuencias, el cual es un “proceso de acumulación de pruebas para apoyar la interpretación de los tests relacionado con su uso específico” (Delgado y Prieto, 2010, p. 71).

Finalmente, se recomienda realizar un estudio similar a este, pero incluyendo nuevas variables que, según la literatura, también son buenos predictores del rendimiento académico, que, al tener una correlación importante con la variable de interés, deben ser consideradas para producir resultados más veraces. Entre estos indicadores destacan cantidad de horas de estudio por semana, indicadores socioeconómicos y dominio de algún otro idioma. Además, se considera importante que se hagan análisis donde las variables

“Prueba de Aptitud Académica” y “Razonamiento en contexto verbal” no incluyan a las analogías, y otros donde se controle la influencia de la variable tenencia de beca. Con la inclusión de algunas de estas variables, se espera alcanzar un porcentaje de explicación mayor al 18,6 %, que fue el obtenido por todos los modelos aquí propuestos.

---

6. Referencias

Alvarado, Jesús; García, María Visitación y Jiménez, Amelia. (2000). La predicción del rendimiento académico: regresión lineal versus regresión logística. Psicothema, 12(2) 248-252.         [ Links ]

American Educational Research Association, American Psychological Research Association y National Council on Measurent in Education. (1999). Standards for Educational and Psychological Testing. Estados Unidos. American Educational Research Association.         [ Links ]

Birch, Elisa y Miller, Paul. (2007). The influence of type of high scholl attended on university performance. Australian Economic Papers, 46(1), 1-17.         [ Links ]

Cabello, José Luis. (2009). Modelización y detección de factores causales en el proceso de evaluación educativa: un enfoque econométrico. (Tesis para optar el grado de doctorado). Universidad de Córdoba, España.         [ Links ]

Catellanos, Luis; González, María Concepción; González, María Antonia y Manzano, Isabel. (1999). Las matemáticas empresariales: estudio de los factores determinantes del rendimiento académico. Rect@, 6, 1-15.         [ Links ]

Cerdas, Danny. (2008a). Estudio de validez predictiva. Manuscrito inédito, Instituto de Investigaciones Psicológicas, Universidad de Costa Rica.         [ Links ]

Cerdas, Danny. (2008b). Análisis factoriales exploratorios de la Prueba de Aptitud Académica 1998-2008. Manuscrito inédito, Instituto de Investigaciones Psicológicas, Universidad de Costa Rica.         [ Links ]

Cubero, Marielos y Longhi, Elizabeth. (1988). Validez Predictiva de los Puntajes de Admisión y Confiabilidad de la Prueba de Aptitud Académica. Año Académico 1984. Actualidades en Psicología, 4(32).         [ Links ]

Cubero, Marielos y Longhi, Elizabeth. (1995). Validez Predictiva de los Puntajes de Admisión y Confiabilidad de la Prueba de Aptitud Académica 88-89. Actualidades en Psicología, 11(85).         [ Links ]

Delgado, Ana y Prieto, Gerardo. (2010). Fiabilidad y validez. Papeles del Psicólogo, 31(1), 66-74.         [ Links ]

Rodríguez, Olga y Fallas, Selene. (2010). Destrezas cognoscitivas en los estudiantes de décimo año de Educación Diversificada en la resolución de ítemes de analogías(Informe final de investigación). Universidad de Costa Rica.         [ Links ]

Forteza, José. (1975). Modelo instrumental de las relaciones entre variables motivacionales y rendimiento. Revista de Psicología General y Aplicada, 30(132), 75-91.         [ Links ]

García, Manuel y Magaz, Angela. (2009). ¿Cómo valorar los test psicométricos? España: Gripo Albor-Cohs.         [ Links ]

Garbanzo, Guiselle. (2007). Factores asociados al rendimiento académico en estudiantes universitarios, una reflexión desde la calidad de la educación superior pública.
Educación: Revista de la Universidad de Costa Rica, 31(1), 46-63.         [ Links ]

Jiménez, Karol y Morales, Evelyn. (2009-2010). Validez predictiva del Promedio de Admisión de la Universidad de Costa Rica y sus componentes. Actualidades en Psicología, 23-24(110/111), 21-55.         [ Links ]

Kutner,   Michael,   Neter,   John,   Nachtsheim,   Christopher   y   Wasserman,   William.   (1996). Applied linear statiscal models. Estados Unidos: McGraw-Hill.         [ Links ]

Malkan, Matthew. (2002). El debate en torno a los exámenes de admisión a la educación superior en EE.UU: El caso de la Universidad de California. Estudios Públicos, 87, 55-71.         [ Links ]

Montero, Eiliana. (2008). Escalas o índices para la medición de constructos: El dilema del analista de datos. Avances en medición, 6, 15-24.         [ Links ]

Montero, Eiliana, Valverde, Astrid y Villalobos, Jeannette. (2007) Factores institucionales, pedagógicos, psicosociales y sociodemográficos asociados al rendimiento académico en la Universidad de Costa Rica: Un análisis multinivel. Relieve, 13(2), 215-234.         [ Links ]

Moral, José. (2006). Predicción del rendimiento académico universitario. Psicología y ciencia social, 8(2), 43-61.         [ Links ]

R Development Core Team. (2010). R: A language and environment for statistical computing. Vienna, Austria: R Foundation for Statistical Computing. Recuperado de  http://www.R-project.org.         [ Links ]

Tournon, Javier. (1984). Factores del rendimiento académico en la universidad. España: Editorial Universidad de Navarra S.A.         [ Links ]

Universidad de Costa Rica, Consejo Universitario. (1987). Reglamento de adjudicación de becas y otros beneficios a los estudiantes. San José, Costa Rica: SIEDIN.         [ Links ]

Universidad de Costa Rica. (2010). Información para proceso de admisión a la Universidad de Costa Rica. San José, Costa Rica: SIEDIN.         [ Links ]

Universidad de Costa Rica, Universidad Nacional, Universidad Estatal a Distancia e Instituto Tecnológico. (2011). Proceso de inscripción a la Educación Superior Estatal Costarricense 2011-2012. San José, Costa Rica: SIEDIN.         [ Links ]

*Correspondencia: Luis Rojas Torres: Instituto de Investigaciones Psicológicas, Universidad de Costa Rica. Licenciado en Enseñanza de la Matemática, Universidad de Costa Rica.  luisrojasxtorres@gmail.com
1. Instituto de Investigaciones Psicológicas, Universidad de Costa Rica. Licenciado en Enseñanza de la Matemática, Universidad de Costa Rica.  luisrojasxtorres@gmail.com

---