Validez predictiva de los componentes del promedio de admisión a la Universidad de Costa Rica utilizando el género y el tipo de colegio como variables control
Predictive validity of admission average components of University of Costa Rica using gender and type of school as control variables
En el siguiente artículo se estudió la relación de los componentes del promedio de admisión (nota de presentación de secundaria y Prueba de Aptitud Académica) con el rendimiento académico del primer semestre de estudios de los estudiantes de primer ingreso en la Universidad de Costa Rica (UCR) controlando las posibles influencias, debido al género del estudiante y a la condición público o privado del colegio de procedencia. Esto se realizó mediante el uso de modelos de regresión aplicados a 4,658 estudiantes de primer ingreso de la cohorte del 2008. En los modelos planteados se obtuvo que un 18,6% de la variabilidad del logro académico universitario se debe a los componentes del promedio de admisión, al género y al colegio de procedencia, además se mostró que las mujeres obtienen un rendimiento académico más alto que los hombres y que los estudiantes de colegios privados presentan un mejor rendimiento que los provenientes de colegios públicos. Asimismo, se evidenció que las analogías no son un componente de esta prueba que sea significativo en la explicación del rendimiento académico del primer semestre, contrario a la nota de presentación y a las demás partes de la prueba, que si resultaron significativas.
Palabras clave: rendimiento académico, selección de estudiantes, pruebas estandarizadas, validez predictiva, sistema de admisión, Universidad de Costa Rica.
Abstract
It was studied in the following paper the relation of the admission average components (secondary average grade and Academic Aptitude Test) to the academic performance of the first year students at University of Costa Rica in the first semester of studies, by controlling the possible influences, because of genre of the student and the public or private condition of provenance school. This was performed by using regression models applied to 4,658 first year students of the cohort from 2008. It was obtained from the three proposed models that 18,6 % of the variability of the college academic achievement is due to of the admission average components, genre and provenance school, also, women obtain a higher academic performance than men and the students from private secondary school show a better performance than those students from public schools. Furthermore, it was evidenced that analogies from Entrance Examination of University of Costa Rica are not a component that could be significant in the explanation of the academic performance for the first semester, on the contrary, those who resulted as a significant component were the average grade and the other parts of the Test.
Key words: academic achievement, student selection, standardized test, predictive validity, admission system, University of Costa Rica
1. Introducción
La Prueba de Aptitud Académica (PAA) es el instrumento científico utilizado por la Universidad de Costa Rica (UCR) para seleccionar a los y las estudiantes con mayores probabilidades de éxito en el sistema de estudios que ofrece. El promedio entre la nota obtenida en la PAA y un indicador de las notas obtenidas en el último ciclo de la educación secundaria (Educación Diversificada), denominado nota de presentación, es el único criterio ]]>
Al tener la PAA un carácter tan decisivo en la vida de miles de aspirantes por ingresar a la Universidad, se hace necesario dar evidencias de que está cumpliendo, a cabalidad su objetivo; además, mostrar que está satisfaciendo todos los criterios de calidad exigidos para ]]>
La consideración más importante en la evaluación de un test es la validez de sus usos, donde la validez se define como el grado en que la evidencia apoya las inferencias que se hacen a partir de las puntuaciones obtenidas en un test, y la validación se define como el proceso de acumulación de evidencias que sustentan estas inferencias (American Educational Research Association, American Psychological ]]>
Entre los tipos de validez que existen destacan la de contenido, la de constructo, la concurrente, la discriminante y la predictiva. En este trabajo se busca continuar con el proceso de validación de los usos dados a los resultados de la PAA, desde la dimensión de la validez predictiva, que está definida como el grado en que las puntuaciones de un test ]]>
Uno de los criterios externos asociados a la PAA es el rendimiento académico, debido a que, como ya se mencionó, el objetivo de esta Prueba es seleccionar a los y las estudiantes con mayores probabilidades de éxito. Por esta razón, este artículo pretende estudiar la ]]>
Debido a que la PAA no se usa como criterio de selección de manera individual, sino promediada con la nota de presentación, es que resulta pertinente analizar “la validez predictiva” del otro componente del “Promedio de ]]>
analizar la relación entre el rendimiento académico y los componentes del promedio de admisión.
2. Referentes teóricos
]]>
En esta sección se exponen varios aspectos teóricos vinculados con el rendimiento académico que se consideraron importantes para la realización de este estudio. Estos son: rendimiento académico, modelos que estudian su relación con las notas en secundaria y tests de aptitud. También, se expone la relación de otras variables con el rendimiento académico, y algunos aspectos importantes sobre la estructura de la PAA. ]]>
Rendimiento académico
Varios investigadores e investigadoras han presentado diversas definiciones para el concepto de rendimiento académico. Por ejemplo, Garbanzo (2007) dice que
“el rendimiento académico es la suma de diferentes y complejos factores que actúan en la persona que aprende, y ha sido definido con un valor atribuido al logro del estudiante en las tareas académicas” (p. 46). Por su lado, Tournon (1984) afirma que el rendimiento académico es“un resultado del aprendizaje, ]]>
(p. 24), mientras que Forteza (1975) define al rendimiento académico como una serie de factores que giran alrededor de los resultados finales del esfuerzo hecho por el o la estudiante.
En estas definiciones se presenta ]]>
Valverde y Villalobos. (2007), cuando plantean que “delimitar el concepto y ámbito de aplicación del término rendimiento académico no ha sido tarea fácil, dado el carácter complejo y ]]>
(p. 217).
Lo anterior conduce a la conclusión de que la medición del rendimiento académico es un proceso que puede ser sumamente difícil. Al respecto, Montero (2008) expone que constructos psicológicos como este no son directamente observables, así como tampoco ]]>
Sin embargo, en Alvarado, García y Jiménez (2007) se presenta la idea de que a pesar de la complejidad de este constructo, la mayoría de los estudios utilizan como medida del rendimiento académico indicadores construidos con solo las notas obtenidas en los cursos. ]]>
et al., (2007) exponen que la medición simplista del constructo “rendimiento académico” sigue siendo la más apoyada por los investigadores e investigadoras a nivel mundial. Este apoyo se puede ver reflejado en Garbanzo (2007), cuando expresa que “las notas obtenidas, como un indicador que certifica el logro alcanzado, son un indicador preciso y ]]>
(p. 46). De manera similar, se puede ver el respaldo a esta corriente en Montero et al., (2007) cuando exponen la idea de que las calificaciones son el criterio legal para medir el rendimiento académico en el ámbito institucional.
]]>
Investigaciones referentes a la relación del rendimiento académico universitario con la nota de secundaria o las notas en test de diversas aptitudes
La nota en secundaria y las notas en tests de aptitud para ingreso a las universidades, son importantes ]]>
el rendimiento académico previo a la universidad constituye uno de los indicadores con mayor capacidad predictiva en el rendimiento académico en estudiantes, además estudios realizados en la enseñanza superior asociados al rendimiento académico enfatizan el valor de la nota obtenida en las pruebas de admisión a la universidad como un predictor de los más importantes en el rendimiento académico. (p. 52)
Con respecto al estudio de la relación del rendimiento académico en la educación superior con la nota en secundaria o con algún test de aptitud, como lo es la PAA, existe una gran cantidad de trabajos, en los cuales se consideran diversos enfoques de análisis, de teorías y de conjuntos de variables control. A continuación, se procederá a mencionar algunos.
En la investigación de Moral (2006) se estudia la variabilidad del rendimiento académico en el primer semestre de los estudiantes de Psicología de la Universidad Autónoma de Nuevo León, mediante un modelo de regresión lineal, cuyas variables dependientes fueron las notas en tests de ciertas aptitudes de inteligencia y donde la variable dependiente fue el promedio en las notas de los cursos. En este modelo únicamente resultaron con correlaciones significativas: las variables razonamiento verbal, habilidad numérica, razonamiento abstracto, factor general de inteligencia, y velocidad y exactitud. Las variables significativas arrojaron un 4,4% de variancia explicada en el rendimiento académico.
Por su parte, en Cerdas (2008a) se analiza la relación del rendimiento académico en el primer semestre de la UCR con la nota en secundaria. Para esto, se planteó un modelo de regresión simple, donde la variable dependiente es un indicador del rendimiento académico denominada Logro, que presenta la siguiente fórmula
]]>
son los créditos que le corresponden al curso -ésimo y es la nota obtenida también en el curso -ésimo. En este modelo ]]>
Alvarado et al., (2000) analizan la relación del rendimiento académico en el primer curso de Psicología de la Universidad Complutense de Madrid con la nota obtenida en secundaria y la nota de acceso a la Universidad, junto a ]]>
En la ]]>
]]>
El estudio realizado por Montero et a., (2007) también se analiza la relación del rendimiento académico en cualquier curso de segundo o tercer año de la Universidad de Costa Rica con la nota en secundaria y la nota en la PAA, haciendo uso del Promedio de Admisión, el cual resultó ser el mejor predictor.
En este trabajo se ]]>
Para la medición del rendimiento académico se utilizaron como indicadores las notas obtenidas por los estudiantes en los cursos previamente seleccionados. El análisis de los efectos de las variables independientes en el ]]>
En la Universidad de Costa Rica se han elaborado estudios donde el objetivo primordial es analizar la validez predictiva de los componentes del promedio de admisión, entre ellos se pueden mencionar los realizados por Cubero y Longhi (1988), Cubero y Longhi (1995) y Jiménez y Morales (2010). Los dos primeros estudios se realizaron utilizando únicamente correlaciones bivariadas entre el Logro y el Promedio de ]]>
]]>
Jiménez y Morales (2010) pretendían explicar la variabilidad del rendimiento académico en todos los cursos llevados por la cohorte de 1999 en sus primeros dos años y medio de carrera. Para la construcción de los modelos de regresión se tomaron en cuenta las siguientes variables: promedio de educación diversificada, nota obtenida en el examen de admisión a la Universidad de Costa Rica, porcentaje de respuestas correctas en la parte matemática del examen de Admisión a la Universidad ]]>
El mayor porcentaje de variancia explicada en los modelos planteados fue de 13,8%. Este modelo ]]>
Entre los resultados obtenidos de la investigación de Jiménez y Morales se distingue que el ]]>
Finalmente, se menciona que en la tesis doctoral de Cabello (2009) se presenta una extensa compilación de estudios que analizan la variabilidad del rendimiento académico en instituciones de enseñanza superior de Iberoamérica, en los cuales se mencionan varios estudios donde se muestra la relación del rendimiento ]]>
Cabello (2009), al igual que los estudios revisados, enfatiza en que tanto la nota obtenida en secundaria como las pruebas de ingreso a las universidades tienen un fuerte valor predictivo en el rendimiento académico universitario. Además, este mismo autor presenta otras variables ]]>
Observaciones sobre la relación de otras variables con el rendimiento académico
]]>
En este apartado se menciona la relación del sexo y la condición pública-privada del colegio de procedencia de los y las estudiantes con el rendimiento académico, esto debido a que estas variables han presentado en muchos trabajos una relación muy definida con el rendimiento. Finalmente, se presenta una lista de variables que han mostrado, en varios estudios, una relación significativa con este constructo.
]]>
En varios estudios sobre rendimiento académico universitario se ha percibido que las mujeres logran en promedio tener mejores resultados que los hombres. Por ejemplo, Dapozo et al., (2010) mencionan que “existen investigaciones sobre el rendimiento académico en el ámbito de la educación superior, que apuntan a un mayor éxito entre las mujeres (Tejedor, 2003), especialmente cuando se trata de explicar, mediante metodologías regresionales, la ]]>
De igual manera, se ha detectado que el carácter público o privado del colegio de procedencia de los estudiantes universitarios tiene un efecto en el rendimiento académico, favoreciendo a la población que ]]>
et al (2010) listan varios estudios donde se encuentran que los estudiantes de colegios privados tienen mejores resultados en la educación universitaria que los provenientes de colegios públicos; entre los factores asociados a esta tendencia en Latinoamérica los autores destacan los bajos niveles de calidad de la educación estatal.
Por último, ]]>
1. Determinantes personales: competencia cognitiva (autoevaluación de la capacidad cognitiva), motivación, condiciones cognitivas, autoconcepto académico, autoeficacia percibida, bienestar psicológico, satisfacción y abandono con respecto a los estudios, asistencia a clases, inteligencia, sexo, formación académica previa a la universidad y nota de ingreso a la universidad.
2. Determinantes sociales: diferencias sociales, entorno familiar, nivel educativo de los responsables, nivel educativo de la madre, contexto socioeconómico y variables demográficas. ]]>
3. Determinantes institucionales: complejidad de los estudios, condiciones institucionales, servicios institucionales de apoyo, ambiente estudiantil, relación estudiante-profesor y pruebas específicas de ingreso a carrera.
Prueba de Aptitud Académica de la Universidad de Costa Rica
La Prueba de Aptitud ]]>
]]>
Hasta el año 2010, la parte verbal de la prueba estuvo compuesta por tres tipos de ítems: los de completar oraciones, los de comprensión de lectura y las analogías. En ese año, el Equipo Técnico de Investigación (ETI) de la Prueba de Aptitud Académica decidió eliminar los ítems de analogías de esta Prueba, al igual que lo hizo el Educational Testing Service con respecto al SAT en el 2005. ]]>
Debido a las críticas realizadas a la sección de analogías de la prueba SAT, nació en el ETI la inquietud por investigar aquellos problemas que pudiesen estar causando las analogías en la confiabilidad y la validez de la PAA. Entre los estudios efectuados está el de Cerdas (2008b), donde se expone que los ítems de analogías no cargan en el factor general de la Prueba. En esta investigación también se concluye que no existe un ]]>
Por su parte, en Rodríguez y Fallas (2010) se muestra que las analogías de la PAA tienden a favorecer a los y las estudiantes de colegios privados, concordando con las críticas realizadas por las universidades norteamericanas al SAT, alegando que los ítems de analogías daban ventaja a ]]>
Basado en las razones anteriores, y en resultados que se obtuvieron a través del desarrollo de este artículo, es que en noviembre del año 2010 el Equipo Técnico de Investigación determina que las analogías no deben seguir siendo utilizadas en la Prueba de Admisión a la Universidad de Costa Rica (artículo 1 de la ]]>
3. Metodología
La ]]>
En estos modelos la variable dependiente es el indicador de Rendimiento Académico propuesto ]]>
Se decidió calcular el Logro únicamente para el primer semestre de estudios debido a que la PAA “mide habilidades generales de razonamiento” (Universidad de Costa Rica, 2010, p. 28) y estas son evaluadas generalmente en el primer semestre de estudios, por medio de las llamadas “materias generales”, ]]>
Universidad de Costa Rica y que no miden habilidades específicas de carrera alguna, entre estas materias estás Filosofía, Historia y Lenguaje.
Además de la ]]>
]]>
Como indicador de la nota del rendimiento académico en secundaria se escogió el utilizado por la UCR para medir dicho variable: “la nota de presentación”. Esta nota es calculada de diferentes maneras, dependiendo de la opción de educación secundaria que haya tomado el o la estudiante.
Para estudiantes de ]]>
En Costa Rica existen otros programas de educación secundaria (SINDEA, EDAD y Bachillerato internacional), que tienen pequeñas poblaciones y otras formas para calcular la nota de presentación que no se detallan en este estudio (el cálculo de la nota de presentación para los ]]>
Asimismo, en algunos modelos se utilizan los componentes y subcomponentes de la Prueba de Aptitud Académica, esto con el fin de analizar la relación de la nota de cada una de estas partes con el rendimiento académico, siendo de particular interés para el Equipo Técnico de ]]>
Luego de esto, se establecieron ]]>
1. Indicador del rendimiento académico en secundaria (IRS): Variable continua entre 0 y 70, generalmente conocida como la “nota de presentación”. Para estudiantes admitidos en la Universidad, por lo general, toma valores mayores a 70, ya que este valor es la nota mínima para aprobar una materia en los años de estudios tomados en cuenta por el IRS. Algunos estudiantes pueden presentar un IRS menor a 70 si provienen de colegios académicos y técnicos, ya que este indicador no toma en cuenta las notas del último trimestre del último año de estudios, cuando se puede mejorar el promedio para poder aprobar la secundaria.
2. Porcentaje de respuestas correctas en el examen de admisión a la Universidad (PAA): Variable continua entre 0 y 100. ]]>
3. Sexo: Variable dicotómica, cuyo valor es 1 para las mujeres y 0 para los hombres.
4. Modalidad del colegio de procedencia (Mod): Variable dicotómica, que le asigna un 0 a los estudiantes provenientes de colegios privados y un 1 a los de colegios públicos.
En el modelo 2 se usaron las mismas variables que en el modelo anterior, solo que en lugar de PAA se utilizaron los porcentajes de ítems correctos de sus dos grandes partes: Verbal (V) y Matemática (MA). Finalmente, en el tercer modelo se utilizaron las mismas variables que en el anterior, pero la nota asignada a la parte Verbal se sustituyó por los porcentajes de ítems acertados de los tres tipos de ítems que conformaban la prueba al momento de realizar el estudio: Completar oraciones (CO), Comprensión de lectura (CL) y Analogías (AN).
Los modelos descritos anteriormente se pueden representar de la siguiente manera:
Modelo 1
Modelo 2 ]]>
Modelo 3
Diseño
Este estudio es de carácter retrospectivo, porque se trabaja con datos de cohorte, obtenidos en el pasado. También tiene un corte longitudinal, ya que todas las variables son de la misma cohorte y, además, los datos reflejan distintos momentos de esta, por ejemplo, los datos de PAA se dan a finales del 2007 y el Logro a mediados del 2008. Por último, este estudio es observacional, pues describe las relaciones observadas entre las variables de la población en cuestión.
Procedimiento
El trabajo se realizó en dos etapas: análisis de los referentes teóricos y procesamiento de los datos. En la primera se estudiaron varios autores que han investigado sobre la validez predictiva de las pruebas y los modelos de predicción del rendimiento académico universitario, posteriormente, con base en esta literatura se definió el modelo y las variables a utilizar.
En la segunda etapa se procedieron a estimar los modelos con los datos obtenidos de las bases de resultados de la PAA proporcionada por el Programa Permanente de la PAA y las bases de las notas en los cursos universitarios facilitada por la Oficina de Registro e Información de la UCR, los cuales, una vez estimados, se contrastaron contra lo obtenido en las referencias teóricas estudiadas.
Población
Para esta investigación se utilizaron 4,658 registros de los 7216 estudiantes que ingresaron a la Universidad en el año 2008, lo cual representa aproximadamente el 65 % del total de registros posibles. Hubo 2,558 individuos que no se incluyeron en la muestra, ya que para estos no se tienen reportes de las notas que obtuvieron en el primer semestre, debido a que no concretaron matrícula en el primer semestre de estudios.
De esta muestra, el 49,7 % son hombres y el 50,3% son mujeres; además, el 35,5% de los estudiantes de la muestra provienen de colegios privados y el 64,5% de colegios públicos.
4. Análisis de resultados
En esta sección se presentan los estadísticos descriptivos de las variables estudiadas y los resultados obtenidos en el análisis de cada uno de los modelos de predicción del Logro.
Estadísticos descriptivos de los datos
La Tabla N.º 1 presenta el mínimo, el máximo, la media y la desviación estándar de cada variable continua analizada. Los promedios de todas las variables derivadas de la nota de la PAA, a excepción de las analogías, oscilan entre 60 y 70, siendo el promedio más bajo el correspondiente a la parte matemática. Por su lado, la media del IRS es de 87.07, lo cual indica que, en promedio, los estudiantes que ingresan a la UCR tienen un buen rendimiento en la secundaria.
La media del Logro obtenida fue de 107.77. Una aproximación a este índice puede ser obtenida por un estudiante si matricula 12 créditos y obtiene una nota de 9 en todos los cursos, o si matricula 14 créditos y obtiene un 8 en todos los cursos.
Resultados de los modelos
Las regresiones lineales realizadas en este estudio cumplieron el supuesto de normalidad (se utilizó la prueba de Kolmogorov-Smirnov) con un 95% de confianza y no presentaron problemas de multicolinealidad. El único problema que se observó, a la hora de verificar el cumplimiento de supuestos del modelo, estuvo en el alcance del supuesto de homoscedasticidad, por lo cual, basándonos en Kutner, Neter, Nachtsheim y Wasserman (1996), se aplicó la regresión por mínimos cuadrados ponderados. Dicha medida remedial hizo que se lograra alcanzar el cumplimiento de la condición deseada con un 95% de confianza.
En la Tabla N.º 2, se observa que todas las variables incluidas en el primer modelo, resultaron ser predictores significativos del rendimiento académico a un nivel del 5%, por lo cual los resultados obtenidos son generalizables a toda la población. Entre los resultados más interesantes que proporcionó este modelo, cabe señalar que las mujeres tienen en promedio 5,9 puntos más en rendimiento académico que los varones, si se mantienen constantes las demás variables. También, se observó que los estudiantes de colegio privado tienden a tener en promedio 4,4 puntos más que los estudiantes de colegio público, si se dejan constantes las demás variables.
En este modelo los coeficientes estandarizados más altos correspondieron a la nota obtenida en el colegio y a la obtenida en la PAA, por lo que estos son los predictores del rendimiento académico con mayor relevancia dentro de este modelo, lo anterior tomando en cuenta que los coeficientes estandarizados, indican la importancia relativa de las variables independientes en la predicción estimada por el modelo.
Para la construcción del segundo modelo se sustituyó la variable PAA por sus dos grandes componentes: la parte de razonamiento en contexto verbal (V) y la parte de razonamiento en contexto matemático (M). En la Tabla N.º 3 se observa que el modelo 2, al igual que el 1, obtuvo que todos los predictores incluidos fueron significativos; además, mantuvo la ventaja de los estudiantes de colegio privado sobre los de público y la de las mujeres sobre los varones, con coeficientes muy parecidos a los obtenidos en el modelo anterior.
Los dos componentes de la Prueba de Admisión a la Universidad de Costa Rica obtuvieron un nivel muy similar de importancia en la predicción del Logro que proporciona este modelo; sin embargo, ninguno de ellos tiene tanta importancia en la predicción como el IRS, ya que el coeficiente estandarizado del IRS prácticamente duplica a los coeficientes obtenidos por V y MA.
En el tercer modelo se cambió el componente de razonamiento en contexto verbal por los tres tipos de ítems que lo conforman: analogías (AN), completar oraciones (CO) y comprensión de lectura (CL), con el fin de determinar si hay alguno de estos que aporte más a la predicción del rendimiento académico de los estudiantes de primer ingreso. En la Tabla N.º 4 se puede observar que este es el único modelo único modelo donde aparece un coeficiente no significativo: el asociado a la variable Analogías (0,674). De igual manera, resultó que esta variable tiene muy poca importancia (0,006) dentro de la predicción que realiza este modelo. Los otros componentes del área verbal sí fueron significativos y con una importancia relativamente pequeña dentro de la predicción. Al igual que en los otros modelos, se mantuvo la tendencia a favor de las mujeres y los colegios privados y, además, el predictor con mayor relevancia dentro del modelo continuó siendo el promedio de educación diversificada.
En todos los modelos estudiados, el coeficiente de determinación fue alrededor de 0,186 (ver Tabla N.º 5), lo cual indica que cada modelo puede predecir en promedio un 18,6 % de la variabilidad del rendimiento académico de los estudiantes de primer ingreso, en el primer semestre de estudio. Las diferencias que se presentaron entre los coeficientes de determinación de cada uno de los modelos, tanto ajustados como sin ajustar, no es mayor a 0,001, por lo que se puede concluir que la predicción obtenida con cada uno de los modelos es prácticamente la misma.
]]>
5. Discusión
Si se comparan los tres modelos, se puede notar que en todos ellos la variable más importante en la explicación del Logro fue el IRS, que coincide con los resultados obtenidos en Jiménez y Morales (2010) y Cabello (2009), donde la calificación obtenida en la educación ]]>
rendimiento académico del universitario. Este resultado respalda el uso de las notas obtenidas en la educación secundaria como criterio de selección para ingresar a la UCR.
Por su lado, en todos los modelos se apreció que si todas las variables se dejan constantes, las ]]>
La ventaja en favor ]]>
et al., 2010; Birch y Miller, 2007). ]]>
Por su parte, se observó en los modelos que los estudiantes de colegios privados obtienen, aproximadamente, 4,4 puntos más que los que provienen de centros educativos públicos, si se mantienen constantes las demás variables analizadas. Esto indica que si se presenta la situación hipotética planteada en el caso del sexo, de que toda la población cursara doce créditos, se tendría que en promedio los estudiantes provenientes de colegios ]]>
Este resultado difiere del obtenido en Jiménez y Morales (2010), ya que en esta investigación se obtuvo una clara ventaja en favor de los estudiantes de colegios públicos. Una posible hipótesis, para explicar este giro en el comportamiento de la variable modalidad del colegio, es el cambio ]]>
Resulta que en los dos primeros semestres de estudios, a los estudiantes con beca (que son en su gran mayoría de colegios públicos), no se les exige promedio alguno para mantenerla, en cambio, a partir del tercer semestre de estudios a los estudiantes becarios se les imponen cargas ]]>
Luego, si se analiza lo que está sucediendo en el primer semestre de estudios, es evidente que los estudiantes egresados de colegios privados están presentando un rendimiento académico más alto con respecto a los provenientes de colegios públicos. Dicho ]]>
Continuando con el ]]>
]]>
Estos resultados constituyen una evidencia de que las notas obtenidas en la Prueba de Aptitud Académica de la Universidad de Costa Rica tienen alta importancia en la predicción del rendimiento académico universitario y, por lo tanto, en la validez predictiva de las interpretaciones que se están haciendo con sus resultados. Por eso, es oportuno resaltar que la importancia (beta estandarizado) de la PAA en el estudio de Jiménez y Morales (2010) fue de 0,223, mientras que en el presente estudio se obtuvo una importancia de 0,243, ]]>
Siguiendo con el análisis de la relación de los componentes de la PAA con el Logro, se presenta el análisis de los resultados obtenidos en los otros dos modelos, que tomaron como indicadores las notas de los estudiantes en subsecciones de la Prueba. En lo que respecta a las dos grandes ]]>
De igual manera, se observó que no todos los componentes de verbal eran variables significativas a un nivel del 5 %, debido a que el componente de Analogías no ]]>
]]>
Al resultado obtenido en las analogías merece darle una particular atención, ya que al estar presentes en una prueba encargada de dar el criterio de selección para escoger a los estudiantes con mayor probabilidad de éxito en la Universidad, deben necesariamente ser un predictor significativo del rendimiento académico de los estudiantes, sobre todo si tomamos en consideración que, por un error cometido en una de estas preguntas, un estudiante puede quedar ]]>
Dicha situación se agrava más cuando se analiza el gráfico de dispersión de las notas obtenidas en las analogías contra las puntuaciones obtenidas en el Logro (ver Gráfico N.º 1), ya que este gráfico revela que los puntos no presentan ningún ]]>
Estos resultados unidos a aquellos que fueron encontrados por Rodríguez y Fallas (2010) y Cerdas (2008b), constituyeron las bases para que el ETI tomara la decisión de eliminar las analogías de la PAA. El mantenimiento de estos ítems en la Prueba atentaba contra la validez predictiva de las interpretaciones que se realizan con las puntuaciones de la PAA, ya que existen evidencias de que las analogías no colaboran con las inferencias que se hacen con esos puntajes.
En todos los modelos se llegó a un mismo valor del coeficiente de determinación (0,186), esto significa que, en promedio, cada modelo explica un 18,6 % de la variabilidad del índice de rendimiento académico, en los cursos del primer semestre de los estudiantes de primer ingreso. La semejanza de estos coeficientes de variación era de esperar, debido a que los modelos tienen como única diferencia que de un modelo a otro cierta variable pasa de un carácter agregado a uno desagregado.
Si se compara con Jiménez y Morales (2010), se puede observar que en el modelo con mayor coeficiente de determinación, se obtuvo un 13,8% de variancia explicada. En el modelo del estudio anterior se incorporaron 9 variables, mientras que en el presente estudio con solamente 4 variables se llegó a una variancia explicada 5 puntos porcentuales más alta. Esto evidencia que los componentes del promedio de admisión son un factor importante en la explicación del rendimiento académico en el primer semestre de estudios; sin embargo, conforme se avanza en los semestres estos componentes van perdiendo poder explicativo. Dicho resultado indica que el promedio de admisión correlaciona muy bien con las habilidades generales de razonamiento, generalmente medidas en los primeros semestres, pero que no correlaciona tan bien con las habilidades específicas, que en su mayoría comienzan a ser medidas a partir de segundo año, cuando ya se ingresa a cursos exclusivos de carrera.
Lo anterior proporciona evidencias de validez predictiva del uso dado al promedio de admisión para seleccionar a los nuevos estudiantes universitarios; sin embargo, al comparar los resultados con Jiménez y Morales (2010) se aprecia que este promedio tiene menores índices de predicción en los cursos de segundo y tercer año, esto sugiere que esta variable no es un buen predictor de las notas de los cursos de carrera, y por lo tanto no serìa adecuado usar este promedio para elegir los y las estudiantes que ingresen a determinada carrera. Todas estas conclusiones refuerzan el proceso de validación necesario para toda prueba de altas consecuencias, el cual es un “proceso de acumulación de pruebas para apoyar la interpretación de los tests relacionado con su uso específico” (Delgado y Prieto, 2010, p. 71).
Finalmente, se recomienda realizar un estudio similar a este, pero incluyendo nuevas variables que, según la literatura, también son buenos predictores del rendimiento académico, que, al tener una correlación importante con la variable de interés, deben ser consideradas para producir resultados más veraces. Entre estos indicadores destacan cantidad de horas de estudio por semana, indicadores socioeconómicos y dominio de algún otro idioma. Además, se considera importante que se hagan análisis donde las variables
“Prueba de Aptitud Académica” y “Razonamiento en contexto verbal” no incluyan a las analogías, y otros donde se controle la influencia de la variable tenencia de beca. Con la inclusión de algunas de estas variables, se espera alcanzar un porcentaje de explicación mayor al 18,6 %, que fue el obtenido por todos los modelos aquí propuestos.
6. Referencias
Alvarado, Jesús; García, María Visitación y Jiménez, Amelia. (2000). La predicción del rendimiento académico: regresión lineal versus regresión logística. Psicothema, 12(2) 248-252. [ Links ]
American Educational Research Association, American Psychological Research Association y National Council on Measurent in Education. (1999). Standards for Educational and Psychological Testing. Estados Unidos. American Educational Research Association. [ Links ]
Birch, Elisa y Miller, Paul. (2007). The influence of type of high scholl attended on university performance. Australian Economic Papers, 46(1), 1-17. [ Links ]
Cabello, José Luis. (2009). Modelización y detección de factores causales en el proceso de evaluación educativa: un enfoque econométrico. (Tesis para optar el grado de doctorado). Universidad de Córdoba, España. [ Links ]
Catellanos, Luis; González, María Concepción; González, María Antonia y Manzano, Isabel. (1999). Las matemáticas empresariales: estudio de los factores determinantes del rendimiento académico. Rect@, 6, 1-15. [ Links ]
Cerdas, Danny. (2008a). Estudio de validez predictiva. Manuscrito inédito, Instituto de Investigaciones Psicológicas, Universidad de Costa Rica. [ Links ]
Cerdas, Danny. (2008b). Análisis factoriales exploratorios de la Prueba de Aptitud Académica 1998-2008. Manuscrito inédito, Instituto de Investigaciones Psicológicas, Universidad de Costa Rica. [ Links ]
Cubero, Marielos y Longhi, Elizabeth. (1988). Validez Predictiva de los Puntajes de Admisión y Confiabilidad de la Prueba de Aptitud Académica. Año Académico 1984. Actualidades en Psicología, 4(32). [ Links ]
Cubero, Marielos y Longhi, Elizabeth. (1995). Validez Predictiva de los Puntajes de Admisión y Confiabilidad de la Prueba de Aptitud Académica 88-89. Actualidades en Psicología, 11(85). [ Links ]
Delgado, Ana y Prieto, Gerardo. (2010). Fiabilidad y validez. Papeles del Psicólogo, 31(1), 66-74. [ Links ]
Rodríguez, Olga y Fallas, Selene. (2010). Destrezas cognoscitivas en los estudiantes de décimo año de Educación Diversificada en la resolución de ítemes de analogías(Informe final de investigación). Universidad de Costa Rica. [ Links ]
Forteza, José. (1975). Modelo instrumental de las relaciones entre variables motivacionales y rendimiento. Revista de Psicología General y Aplicada, 30(132), 75-91. [ Links ]
García, Manuel y Magaz, Angela. (2009). ¿Cómo valorar los test psicométricos? España: Gripo Albor-Cohs. [ Links ]
Garbanzo, Guiselle. (2007). Factores asociados al rendimiento académico en estudiantes universitarios, una reflexión desde la calidad de la educación superior pública. Educación: Revista de la Universidad de Costa Rica, 31(1), 46-63. [ Links ]
Jiménez, Karol y Morales, Evelyn. (2009-2010). Validez predictiva del Promedio de Admisión de la Universidad de Costa Rica y sus componentes. Actualidades en Psicología, 23-24(110/111), 21-55. [ Links ]
Kutner, Michael, Neter, John, Nachtsheim, Christopher y Wasserman, William. (1996). Applied linear statiscal models. Estados Unidos: McGraw-Hill. [ Links ]
Malkan, Matthew. (2002). El debate en torno a los exámenes de admisión a la educación superior en EE.UU: El caso de la Universidad de California. Estudios Públicos, 87, 55-71. [ Links ]
Montero, Eiliana. (2008). Escalas o índices para la medición de constructos: El dilema del analista de datos. Avances en medición, 6, 15-24. [ Links ]
Montero, Eiliana, Valverde, Astrid y Villalobos, Jeannette. (2007) Factores institucionales, pedagógicos, psicosociales y sociodemográficos asociados al rendimiento académico en la Universidad de Costa Rica: Un análisis multinivel. Relieve, 13(2), 215-234. [ Links ]
Moral, José. (2006). Predicción del rendimiento académico universitario. Psicología y ciencia social, 8(2), 43-61. [ Links ]
R Development Core Team. (2010). R: A language and environment for statistical computing.Vienna, Austria: R Foundation for Statistical Computing. Recuperado de http://www.R-project.org. [ Links ]
Tournon, Javier. (1984). Factores del rendimiento académico en la universidad. España: Editorial Universidad de Navarra S.A. [ Links ]
Universidad de Costa Rica, Consejo Universitario. (1987). Reglamento de adjudicación de becas y otros beneficios a los estudiantes. San José, Costa Rica: SIEDIN. [ Links ]
Universidad de Costa Rica. (2010). Información para proceso de admisión a la Universidad de Costa Rica. San José, Costa Rica: SIEDIN. [ Links ]
Universidad de Costa Rica, Universidad Nacional, Universidad Estatal a Distancia e Instituto Tecnológico. (2011). Proceso de inscripción a la Educación Superior Estatal Costarricense 2011-2012. San José, Costa Rica: SIEDIN. [ Links ]
*Correspondencia: Luis Rojas Torres: Instituto de Investigaciones Psicológicas, Universidad de Costa Rica. Licenciado en Enseñanza de la Matemática, Universidad de Costa Rica. luisrojasxtorres@gmail.com 1. Instituto de Investigaciones Psicológicas, Universidad de Costa Rica. Licenciado en Enseñanza de la Matemática, Universidad de Costa Rica. luisrojasxtorres@gmail.com
Artículo recibido: 21 de marzo, 2011 Aprobado: 22 de noviembre, 2012
]]>20001222248-252American Educational Research AssociationAmerican Psychological Research AssociationNational Council on Measurent in Education1999200746111-172009199961-152008a2008b19884323219951185852010311166-74201019753013213275-9120092007311146-632009-20123-24110/111110/11121-5519962002878755-712008615-2420071322215-234200682243-61R Development Core Team20101984Universidad de Costa Rica, Consejo Universitario1987Universidad de Costa Rica2010Universidad de Costa RicaUniversidad NacionalUniversidad Estatal a Distancia e Instituto Tecnológico2011
-ésimo y 
es la nota obtenida también en el curso -ésimo. En este modelo ]]>
