Introducción

En las últimas décadas, algunas investigaciones han sugerido que el lenguaje puede proporcionar un marco conceptual para el razonamiento (^{Cummins, 1981}), así como afectar la forma en que se percibe el mundo y se toman decisiones (^{Byrne, 2011}). Asimismo, se ha demostrado que las habilidades de razonamiento y lenguaje son fundamentales para el éxito académico tanto en matemáticas como ciencias (^{Geary, Hoard, Nugent y Bailey, 2013}). En concordancia con estas ideas, las pruebas de aptitud académica de las universidades públicas de Costa Rica miden habilidades generales de razonamiento; además, los programas encargados de estos instrumentos realizan constantes estudios para garantizar la calidad y la equidad en la medición educativa.

El objetivo de este trabajo es analizar si las analogías, las inferencias, el razonamiento lógico, el vocabulario y la comprensión lectora están presentes en los ítems de los folletos de práctica de la Prueba de Aptitud Académica de la Universidad de Costa Rica, también utilizada por la Universidad Nacional de Costa Rica, y la prueba de ingreso del Instituto Tecnológico de Costa Rica. El presente documento es producto de un proyecto de extensión sobre la temática aquí abordada, ejecutado desde el Instituto Tecnológico de Costa Rica. Los resultados expuestos son insumos para la preparación de materiales y estrategias que impulsen el desarrollo del razonamiento verbal en estudiantes de centros educativos con bajo perfil económico-social, para así contribuir con la igualdad de oportunidades.

Tras revisar la literatura científica disponible para proporcionar una visión general de los avances en el estudio de la relación entre el razonamiento y el lenguaje, se identificaron tareas típicas relacionadas con habilidades lingüísticas que se utilizan para medir las habilidades de razonamiento:

Analogías: son tareas lingüísticas en las que se presentan dos pares de palabras y se solicita encontrar una relación similar entre otros pares de palabras (^{Sternberg, 1982}; ^{Novick, 1988}).

Problemas de inferencia: estas tareas implican la comprensión de un texto y la capacidad de hacer deducciones basadas en la información proporcionada (^{Daneman, 1980}; ^{Kintsch, 1988}).

Razonamiento lógico: estas tareas conllevan tanto la capacidad de analizar como de evaluar proposiciones y argumentos (^{Stanovich, 2010}; ^{Toulmin, 1958}).

Vocabulario: el conocimiento de vocabulario puede ser un indicador del razonamiento, ya que una mayor cantidad de este puede implicar una mayor capacidad de comprensión y pensamiento crítico (Nation, 2001; ^{Verhaeghen y Salthouse, 1997}).

Comprensión de lectura: involucra la capacidad de entender el significado de un texto y relacionar las ideas presentadas (^{Perfetti, Landi y Oakhill, 2005}; ^{Kendeou, van den Broek, White y Lynch, 2009}).

En Costa Rica se han realizado diferentes publicaciones que se refieren a las habilidades evaluadas en las pruebas de aptitud académica de la Universidad de Costa Rica y del Instituto Tecnológico de Costa Rica. Algunas de estas investigaciones se refieren a los procesos implicados en la relación de los ítems de estas pruebas y en la recolección de evidencias de validez de constructo. A continuación, se sintetizan los estudios que están más relacionados con el presente trabajo.

^{Moreira-Mora (2010}) presenta el proceso de validación de la Prueba de Aptitud Académica del Instituto Tecnológico de Costa Rica a través de la construcción de una tabla de especificaciones. Con esta, identifica las habilidades verbales que se consideran necesarias para el ingreso de los estudiantes a la universidad: comprensión de lectura en textos cortos, comprensión de lectura en textos largos, razonamiento verbal, comprensión de léxico, comprensión del contenido, la estructura y función de oraciones, e identificación de estilos discursivos.

^{Brizuela Rodríguez, Jiménez Alfaro, Pérez Rojas y Rojas Rojas (2016}) presentan los resultados de una investigación que analizó las estrategias de respuesta utilizadas por 15 estudiantes universitarios de primer ingreso en la Prueba de Aptitud Académica de la Universidad de Costa Rica. La técnica empleada fue la de autorreportes en voz alta, que demostró ser de gran utilidad para indagar sobre los procesos de respuesta a los ítems. Además, esta publicación explica cuatro categorías de los ítems utilizados en el estudio: parafrasear, identificar marcadores discursivos, oponer y reducir. Así, el artículo es relevante para aquellos interesados en la construcción y uso de pruebas estandarizadas relacionadas con habilidades verbales, ya que proporciona información detallada sobre las estrategias de razonamiento dispuestas en tareas verbales y ofrece guías para recabar evidencias de validez.

En una investigación posterior, ^{Brizuela Rodríguez, Pérez Rojas y Rojas Rojas (2018)} presentan un estudio cuantitativo sobre un nuevo método para recopilar evidencia sobre los procesos de respuesta utilizados por los estudiantes en pruebas educativas. Se comparó el método tradicional de reportes verbales con el método de Respuestas Guiadas por el Experto (RGE) y se demostró que el RGE es más idóneo para recopilar evidencia sobre la interpretación de las puntuaciones en una prueba educativa. El estudio se basa en la necesidad de contar con métodos sistemáticos para mejorar la calidad de los instrumentos que se emplean en la evaluación educativa; además, aporta información valiosa sobre las categorías de los ítems utilizados en la investigación e introduce dos categorías nuevas: suponer y presuponer.

Calvo Díaz, Rojas Rojas, Pérez Rojas y Ríos Sánchez (²⁰¹⁹) describen cuáles son los posibles elementos de comprensión que afectan la resolución de ítems nuevos en una prueba de razonamiento verbal. A través de un estudio cualitativo exploratorio, se identificaron cinco elementos irrelevantes: léxico, redacción, extensión, contexto muy específico y uso de conocimiento previo. Se planteó el uso del reporte verbal como generador de evidencias de validez para una prueba de admisión. El estudio permitió integrar el criterio de los examinados que obtuvieron bajas puntuaciones en el examen de admisión, se recabaron algunos insumos para mejorar los ítems y se replantearon algunos aspectos sobre su formato para futuras investigaciones. Calvo Díaz, Martínez Alpízar, Pérez Rojas, Rojas Rojas y Solano Moraga (^2023b) evalúan la habilidad de los aspirantes a la Universidad de Costa Rica para identificar relaciones semánticas de antonimia, sinonimia y temática. Para ello, se construyó y validó un instrumento mediante el juicio de expertos, que se aplicó a 3864 personas. Los resultados mostraron que estas relaciones semánticas pueden medirse en tres categorías, lo que influye en el desempeño de las personas al resolver ítems de la Prueba de Aptitud Académica. Sin embargo, los datos obtenidos indican un desempeño desigual de las categorías en el instrumento, esto sugiere ajustes en la forma de medir el dominio léxico en la relación semántica de temática. Los autores concluyen que es importante comprender el dominio léxico ligado a estas relaciones semánticas para evitar factores causantes de varianza irrelevante al constructo.

De esta forma, a partir de la revisión de los trabajos citados, se comprende el alto nivel de sistematización de las pruebas de admisión al identificar los procesos de resolución de los ítems, así como la amplia variedad de categorías de las tareas utilizadas para medir las habilidades generales de razonamiento. En consecuencia, los análisis expuestos en el presente artículo se dispondrán para seleccionar las tareas lingüísticas relacionadas con las habilidades de razonamiento que deben usarse en la formación general de los estudiantes de centros educativos con bajo perfil económico-social y aquellos ejercicios que deben practicarse de manera prioritaria al preparar a esta población para las pruebas de admisión.

Metodología

El objetivo de este trabajo ha sido analizar si las analogías, las inferencias, el razonamiento lógico, el vocabulario y la comprensión lectora están presentes en los ítems de los folletos de práctica de las pruebas de aptitud académica. Para lograr este objetivo, se utilizó un enfoque de análisis de contenido y se evaluó el nivel de acuerdo entre dos jueces, ambos profesionales en Filología Española y con amplia experiencia en medición educativa. Dado su bagaje en la tarea por realizar y el conocimiento que tienen de los constructos evaluados por los ítems de los folletos de práctica, la iteración de juzgamiento se hizo sin capacitación previa, con el fin de lograr una fiabilidad inter-jueces sin alineación anticipada.

Se seleccionaron al azar 20 ítems de dos folletos de práctica de las Pruebas de Aptitud Académica de la Universidad de Costa Rica y del Instituto Tecnológico de Costa Rica. Dos jueces analizaron si las analogías, las inferencias, el razonamiento lógico, el vocabulario y la comprensión lectora son parte de los ítems de dichos folletos. Se utilizó un enfoque de análisis de contenido para examinar cada ítem y determinar si las tareas teóricamente definidas estaban presentes. Luego, se realizó un análisis de acuerdo entre los dos jueces mediante un kappa de Cohen para evaluar el nivel de concordancia en sus evaluaciones. Este estadístico mide la fuerza de acuerdo entre dos jueces que califican o clasifican un conjunto de ítems (^{Landis y Koch, 1977}).

Los datos obtenidos del análisis de contenido y de acuerdo entre jueces se analizaron estadísticamente empleando el lenguaje de programación R. Se contabilizaron las apariciones de las tareas en los ítems seleccionados y se comentaron los coeficientes de kappa de Cohen para cada una de las tareas presentes en los ítems.

Finalmente, se discutieron los resultados en cuanto a la utilidad de las tareas analizadas en la generación de estrategias y materiales que impulsen el desarrollo del razonamiento verbal en estudiantes de Educación Diversificada de centros educativos con bajo perfil económicosocial y contribuyan con la igualdad de oportunidades. Asimismo, se examinaron las limitaciones del análisis y se presentaron recomendaciones para futuros estudios.

Resultado

A continuación, se presentan los resultados del análisis de contenido de veinte ítems de las prácticas más recientes para las pruebas de aptitud académica, publicadas en la Universidad de Costa Rica (^{Calvo Díaz et al., 2023a}) y el Instituto Tecnológico de Costa Rica (^{Acuña Chacón, Agüero Calvo, Godínez Rojas, Moreira-Mora y Romero-Álvarez, 2022}), con el objetivo de determinar si las tareas de analogías, problemas de inferencia, razonamiento lógico, vocabulario y comprensión lectora están presentes en dichos ítems. Asimismo, se detallan los resultados del acuerdo entre dos jueces sobre la presencia de dichas tareas en los ítems analizados mediante la estimación de kappa de Cohen.

Los dos jueces evaluaron de forma independiente la presencia de estas tareas en los ítems de las pruebas. Tras este análisis, se determinó que las tareas tienen diferente grado de presencia en los ítems: sobre las analogías no se reporta ninguna aparición, los problemas de inferencia aparecieron pocas veces, el vocabulario se reportó de manera regular, mientras que el razonamiento lógico y la comprensión lectora tienen un papel importante en la mayoría de los ítems (Tabla 1).

Tabla 1 Apariciones de las tareas en los 20 ítems según cada juez 

El porcentaje de acuerdo total entre ambos jueces fue del 85%, lo cual indica un alto grado de consistencia en sus evaluaciones. Este resultado sugiere que compartieron criterios similares al asignar las tareas a las respectivas categorías. Sin embargo, para evaluar la consistencia y el acuerdo entre las clasificaciones de los dos jueces, se calculó el coeficiente de kappa de Cohen, pues esta es una medida de la concordancia interjueces que tiene en cuenta la posibilidad de las coincidencias por azar. Los resultados del kappa de Cohen para cada tarea fueron los siguientes: analogías (kappa = 1.00), problemas de inferencia (kappa = 0.53), razonamiento lógico (kappa = 0.55), vocabulario (kappa = 0.34) y comprensión lectora (kappa = 1.00).

^{Landis y Koch (1977}) proponen los siguientes parámetros para la interpretación del coeficiente kappa: pobre (menor a 0), ligero (0 - 0.20), justo (0.21 - 0.40), moderado (0.41 - 0.60), sustancial (0.61 - 0.80) y casi perfecto (0.81-1). Por tanto, los resultados obtenidos evidencian un acuerdo perfecto entre los jueces en la clasificación de las tareas de analogía y comprensión lectora; moderado, para problemas de inferencia y razonamiento lógico; y justo, para vocabulario.

Discusión

Los resultados del análisis de contenido de los ítems de las pruebas de aptitud académica de la Universidad de Costa Rica y del Instituto Tecnológico de Costa Rica muestran que las tareas de razonamiento lógico y comprensión lectora son las más frecuentes. Esto sugiere que estas habilidades son fundamentales para el desempeño de los estudiantes en estas pruebas, por lo tanto, deben priorizarse en la preparación de materiales y estrategias para el desarrollo del razonamiento verbal en estudiantes de centros educativos con bajo perfil económico-social.

Si bien los problemas de inferencia y el vocabulario aparecen con menos frecuencia en los ítems, siguen siendo relevantes en la evaluación de las habilidades de razonamiento. Por lo tanto, estos aspectos también deben considerarse al preparar a los estudiantes para las pruebas de aptitud académica, aunque con menor medida que el razonamiento lógico y la comprensión lectora. Según Calvo et al. (²⁰¹⁹), el vocabulario debe considerarse irrelevante para la resolución de los ítems de la Prueba de Aptitud Académica de la Universidad de Costa Rica, no obstante, la teoría consultada y los resultados de este artículo muestran que, en general, el léxico podría seguir jugando un papel importante en el desarrollo de las habilidades de razonamiento.

Las analogías no aparecieron en ninguno de los ítems analizados. Esto podría deberse a que las pruebas de aptitud académica se han alejado de este tipo de tarea en favor de otras más centradas en el razonamiento lógico y la comprensión lectora. De hecho, las analogías no se mencionan en los estudios estrechamente relacionados con las categorías de las pruebas de admisión, como lo son las publicaciones de ^{Moreira-Mora (2010)}, ^{Brizuela Rodríguez et al. (2016)} y ^{Brizuela Rodríguez et al. (2018)}. Sin embargo, la ausencia de analogías en los ítems examinados no significa que no sean útiles para desarrollar habilidades de razonamiento. Así, estas podrían seguir siendo utilizadas en la enseñanza y preparación de los estudiantes para la vida en general, aunque su relevancia en las actuales pruebas de aptitud académica parece ser limitada.

En cuanto al acuerdo entre los jueces, se encontró un alto grado de consistencia en sus evaluaciones, especialmente en las tareas de analogía y comprensión lectora. El acuerdo moderado en problemas de inferencia y razonamiento lógico, y justo en vocabulario sugiere que estos aspectos podrían ser más difíciles de evaluar de manera consistente, por lo que requerirían tanto una mayor clarificación como capacitación para los jueces en futuros estudios. Específicamente en el caso del vocabulario, debe considerarse que ambas pruebas se rigen por parámetros distintos: como se ha dicho, ^{Calvo Díaz et al. (2019}) lo excluyen como un elemento relevante, mientras que ^{Moreira-Mora (2010}) incluye la comprensión del léxico como una habilidad necesaria para los estudiantes universitarios.

También podría ser necesario replicar los análisis con los ítems de otras versiones de los folletos de práctica de las pruebas de aptitud académica, pues dichos instrumentos están en constantes procesos de mejora y esto podría implicar cambios en la presencia de las tareas. Además, este trabajo se centró en el análisis de la presencia de las tareas en los ítems, pero no examinó la relación entre el desempeño de los estudiantes en estas y sus resultados en las pruebas de aptitud académica. De la misma forma, en futuros estudios sería importante verificar si el entrenamiento y el dominio de estas tareas implican una mejoría en el desempeño en los exámenes de admisión.

En conclusión, los resultados de este estudio sugieren que el razonamiento lógico y la comprensión lectora son las habilidades más relevantes en las pruebas de aptitud académica de la Universidad de Costa Rica y el Instituto Tecnológico de Costa Rica. Por lo tanto, las estrategias de enseñanza y preparación para estas deben centrarse en desarrollar tales habilidades en los estudiantes. De igual modo, es necesario incluir los problemas de inferencia y el vocabulario, si bien aparecen en menor medida en los ítems de los folletos de práctica. Por su parte, las analogías, aunque no estén presentes en los ítems analizados y su relevancia en las pruebas actuales parece limitar, podrían seguir siendo útiles para desarrollar habilidades de razonamiento en los estudiantes.

Estos hallazgos son sumamente útiles para categorizar en distintos propósitos cada una de las tareas al generar estrategias y materiales para el desarrollo del razonamiento verbal en estudiantes de Educación Diversificada de centros educativos con bajo perfil económico-social: en capacitaciones de largo plazo, debe fortalecerse el dominio de todas las tareas; sin embargo, en la preparación para las pruebas de admisión, las tareas que están más relacionadas con los ítems de estos instrumentos deben considerarse prioritarias.