La estructura curricular en la secundaria costarricense (tercer ciclo y ciclo diversificado) en el área de matemática se focaliza en la búsqueda del fortalecimiento de mayores capacidades cognoscitivas en el estudiantado para abordar los retos de una sociedad moderna, que demanda en las personas la necesidad de altas habilidades de razonamiento y capacidades mentales (Ministerio de Educación Pública, 2012). El empleo y el fortalecimiento de estas habilidades implican un desafío a los estudiantes en la resolución de situaciones educativas complejas, o situaciones problema en el marco del desarrollo del pensamiento y actitudes para enfrentar los retos de la ciencia, la tecnología y la vida.
En Costa Rica, una vez que las personas concluyen el ciclo diversificado de educación secundaria y desean continuar con sus estudios en una universidad pública, se encuentran con diversas opciones de educación superior. Quienes desean ingresar a la Universidad de Costa Rica (UCR) o a la Universidad Nacional de Costa Rica (UNA), deben obtener un promedio de admisión cuyo resultado es la combi nación del promedio de las notas de aprovechamiento en el ciclo diversificado y del resultado obtenido en la Prueba de Aptitud Académica (PAA). La PAA evalúa habilidades de razonamiento general en contextos verbales y matemáticos. El razonamiento se considera como la capacidad de las personas para establecer relaciones entre ideas y obtener conclusiones; es decir, se trata del proceso de elaboración de conclusiones, que permite informar sobre los esfuerzos realizados por la persona en la resolución de un problema y en la toma de decisiones que le permite llegar a un objetivo (Leighton & Sternberg, 2004).
En la PAA, las habilidades de razonamiento se evalúan con el planteamiento de situaciones cons truidas a partir de las experiencias en las que cotidianamente podrían estar implicadas las personas. Las situaciones incorporadas en la PAA se centran en experiencias educativas, personales, de trabajo y en circunstancias imaginarias. Además, el planteamiento de las situaciones se combina con las nociones de conceptos básicos del currículo matemático de la educación primaria y secundaria.
Martínez, Hernández y Hernández (2006) plantean que en la evaluación educativa se logra obser var lo que las personas dicen o hacen en circunstancias particulares y se intenta inferir lo que conocen o son capaces de hacer en general. En este sentido, la puntuación obtenida por una persona en la PAA podría considerarse como una representación parcial de las capacidades cognoscitivas para abordar los retos de una sociedad moderna (Juan-Espinosa, 1997). En varios estudios (Jiménez & Morales, 2009- 2010; Molina, Gallardo, & Cordero, 2011; Montero, Villalobos, & Valverde, 2007; Rojas, 2013) se han obtenido evidencias sobre el poder predictivo de la Prueba, los cuales indican que la nota en la PAA y el promedio de presentación, entendido como porcentaje de respuestas correctas y la puntuación estandari zada con media de 500 y desviación de 100, respectivamente, predicen por igual, y de manera efectiva, el logro académico de las personas que ingresan a la UCR.
Un estudio previo de Brizuela, Jiménez, Pérez y Rojas (2016) permitió condujo a la obtención de un aporte a la comprensión de los procesos de respuesta utilizados para contestar los ítems de razona miento en contextos verbales al emplear técnicas que evocaran los procesos que seguían los estudiantes cuando resolvían las preguntas. Otro estudio de Cerdas y Montero (2016) generó una primera aproxima ción de una tabla de especificaciones para los ítems de razonamiento en contexto matemático con base en el criterio de los expertos y en el modelo de Rasch (Bond & Fox, 2015). Sin embargo, el trabajo no contempló el análisis de reportes verbales sobre las estrategias que utilizan los examinados en la solución de estos ítems.
El presente estudio responde a la necesidad de continuar con el aporte sustancial sobre el entendi miento de las estrategias utilizadas por las personas que contestan los ítems que conforman la PAA, para lo cual los reportes verbales en voz alta han sido de gran ayuda internacional (Castillo & Padilla, 2013; Cromley & Azevedo, 2006; Cui & Roduta, 2013; Ercikan et al., 2010; Leighton & Gierl, 2007a, 2007b; Leighton, 2004; Taylor & Dionne, 2000) y bajo la perspectiva contemporánea (Borsboom, Mellenbergh & Heerden, 2004; Cronbach & Meehl, 1955; Embretson, 1996; Embretson & Gorin, 2001; Gorin, 2007; Markus & Borsboom, 2013; Messick, 1995) sobre la validez en el ámbito de las pruebas psicológicas y educativas (American Educational Research Association (AERA), American Psychological Association (APA) & National Council on Measurement in Education (NCME), 2014). Por tanto, esta es una inves tigación inicial y exploratoria que intenta contestar a la interrogante sobre si el modelo cognitivo consti tuido por cuatro estrategias definidas por jueces expertos es representativo de los procesos de respuesta, que subyacen a los ítems de razonamiento en contexto matemático de la PAA, para lo cual se emplea la técnica de pensamiento en voz alta. En este sentido, se entabla la siguiente pregunta: ¿Existe alguna evidencia que respalde un modelo de estrategias requeridas para resolver los ítems de razonamiento en contexto matemático de la Prueba de Aptitud Académica de la Universidad de Costa Rica?
Método Participantes
El criterio para determinar el número de participantes fue el de saturación, el cual se refiere al momento en el que la recopilación de reportes verbales en voz alta no aporta estrategias de resolución nuevas (Hays & Singh, 2011). Por lo tanto, el muestreo utilizado en la presente investigación fue de tipo no probabilístico y a conveniencia. Se seleccionó a un grupo de ocho estudiantes de la UCR, quienes estaban cursando el primer año en esta institución. Los participantes se seleccionaron por su condición de haber contestado correctamente, al menos, el 90 % de las preguntas de la PAA y por provenir de una institución pública de educación secundaria. La condición de selección de participantes con una propor ción alta de respuestas correctas se realizó con la intención de que los estudiantes fueran exitosos tanto en la resolución de los ítems como en el reporte en voz alta de las estrategias de resolución. La elección de las personas de instituciones públicas correspondió a la proporción mayoritaria de aspirantes provenien tes de colegios públicos que ingresa a la UCR (Programa Estado de la Nación, 2013). Cada participante fue contactado por vía telefónica y en el momento del inicio de las entrevistas leyeron y firmaron un consentimiento informado de participación respaldado por el Comité de Ética de la UCR.
Instrumentos
Se eligieron 15 ítems del banco de ítems de razonamiento en contexto matemático para conformar un test para la entrevista. La estructura de los ítems es de escogencia única con un encabezado y cinco alternativas de respuesta de las cuales solo una es la correcta. Los ítems de la PAA contienen situaciones referidas al medio o ambiente construido a partir de experiencias a las que comúnmente se enfrentan los aspirantes. En estas experiencias educativas, personales, trabajo, imaginarias, entre otras, se espera que los aspirantes se involucren con las nociones de conceptos básicos de matemática de la tabla 1. Los ítems utilizados forman parte del banco de ítems que se utilizan regularmente para el ensamblaje de la PAA usada en el proceso de admisión a la UCR y la UNA, por lo cual son de naturaleza confidencial y no pueden ser incluidos en este trabajo.
Procedimientos
Con el propósito de explorar los procesos involucrados en la solución de los ítems de razonamien to en contexto matemático de la PAA, se realizó primero una revisión bibliográfica sobre la resolución de problemas en matemática y en tareas de razonamiento (Alda & Hernández, 1998; Echenique, 2006; Leighton & Sternberg, 2004; Polya, 1987; Rico, 2006). A partir del criterio experto de los investigadores, quienes han trabajado tanto en el diseño la PAA durante los últimos 10 años como en los aportes teóri cos de acercamiento al constructo que se mide en esta prueba, se elaboró un sistema de categorías que respondiera a las estrategias específicas requeridas para resolver los ítems de razonamiento en contexto matemático de esta prueba. Luego, se examinaron 60 ítems del banco que exhibían una calidad técnica alta según los criterios de los parámetros de discriminación y de dificultad del modelo logístico de dos parámetros de teoría de respuesta al ítem (Baker & Kim, 2004). En la escala numérica continua de -3 a 3, los ítems presentaron valores alrededor de 1 para la discriminación y superiores a 0 en la dificultad.
Posteriormente, de los 60 ítems analizados se eligieron 15 representativos de las siguientes cate gorías: generalización, verificación, indagación y representación. Estas categorías fueron definidas por el equipo de investigación de la Prueba, quienes las consideran inherentes a estrategias de resolución de ítems con situaciones contextuales deseables en la medición del razonamiento. Las definiciones de las categorías se incluyen en la tabla 2.
Los participantes respondieron a una entrevista en la oficina del Programa de la PAA de la UCR. Cada participante realizó la entrevista individualmente y en momentos distintos. Un único juez aplicó todas las entrevistas. Se elaboró una guía de entrevista con preguntas como las siguientes: ¿Cómo llegó a esa respuesta?, ¿cómo lo resolvió?, ¿comenzó por analizar las opciones? A cada participante se le en tregaron los 15 ítems (en un orden diferente y al azar para cada uno) para que los resolviera en voz alta, esto es, para que reportara todo lo que pensaba mientras intentaba seleccionar una respuesta (reporte verbal concurrente) y un folleto de hojas en blanco por si requerían escribir y organizar la información del ítem (reporte escrito). Una vez elegida la opción, a los participantes se les planteaban las preguntas mencionadas anteriormente. En la parte final de la entrevista, se obtuvo información sobre las estrategias empleadas mediante un reporte verbal retrospectivo.
Codificación
Se procedió con las transcripciones de las entrevistas y el análisis de las respuestas dadas por cada estudiante. Finalmente, dos de los autores codificaron las entrevistas de manera individual e indepen diente. En cada uno de los 15 ítems, se evidenciaba que los estudiantes lo resolvían según lo esperado si empleaban una estrategia relacionada con la categoría a la que fue inicialmente asignado cada ítem. La codificación (0 = no resolvió según lo esperado, 1/2 = se acercó a la estrategia esperada utilizando algunos elementos y 1 = se utilizó la estrategia esperada). Así, se corroboró que la clasificación hecha inicialmente por los jueces expertos estuviera en concordancia con la forma en que los estudiantes resol vieron los ítems de razonamiento en contexto matemático de la PAA. Con el propósito de poder evaluar los niveles de acuerdo entre los jueces, según las categorías de resolución del ítem, se utilizó el coefi ciente de kappa de Cohen cuya interpretación ser realizó con los lineamientos de Landis y Koch (1977): pobre (menor a 0), ligero (0 - 0.20), justo (0.21 - 0.40), moderado (0.41 - 0.60), sustancial (0.61 - 0.80) y casi perfecto (0.81-1). Los análisis se realizaron con el paquete denominado Various Coefficients of Interrater Reliability and Agreement (‘irr’) (Gamer, Lemon, Fellows, & Singh, 2015) del programa R (R Core Team, 2013).
Resultados
El coeficiente kappa de Cohen, expuesto en la tabla 3, muestra la concordancia entre los jueces que clasificaron en forma individual e independiente el conjunto de ítems seleccionados según las categorías. El coeficiente kappa de Cohen, para todas las categorías, resultó, al menos, moderado según los criterios proporcionados por Landis y Koch (1977).
En concordancia con los parámetros de Landis y Koch (1977), las cuatro categorías de la Tabla 2 se confirman mediante el acuerdo entre jueces. Los jueces tuvieron un acuerdo moderado en Representación, Indagación y Verificación. Los expertos también presentaron un acuerdo sustancial en la categoría de Generalización. A continuación, la definición de cada categoría se complementa con ejemplos de las frases empleadas por los participantes en las entrevistas, las cuales permitieron a los jueces expertos la ratificación del uso de las estrategias esperadas para la resolución de los ítems.
Según la tabla 2, los ítems de la categoría Generalización presentan en el enunciado expresiones que cumplen una regla o patrón que debe ser generada por la persona que resuelve el problema. Los par ticipantes encontraron la ley que rige las expresiones del enunciado y expresaron frases que confirman el uso de la Generalización.
1) …ir descomponiendo en anteriores, según las reglas que vienen aquí.
2) …tengo que observar el patrón que sigue y trato de analizar esto para lo que continúa.
3) …la secuencia es que , sí, la regla va a ser (expresión).
En la categoría Representación se esperaba que las personas organizaran la información sobre la situación planteada en un lenguaje gráfico, simbólico o verbalizado de manera que determinaran un ca mino guiado hacia la solución de la situación:
4) … pongo todos los datos primero entonces para relacionarlos y los voy viendo más fácil que vién dolos de la pregunta.
5) … se acomoda solito, como que la cabeza sabe qué hacer con cada dato, ya sabe dónde poner las cosas para que funcionen.
6) …primero acomodar los datos que tenía y calcular los datos que se podían sacar de primera mano, es como una tabla de restas.
Al analizar los reportes escritos de los entrevistados, se observó, en el caso de esta categoría, que algunos dibujaban tablas, esquemas o expresiones con símbolos que representaban equivalencias o rela ciones entre ellas.
Los ítems categorizados como de Indagación tienen en el enunciado varias condiciones que intentan exigir de los examinados la creación de una o varias posibles situaciones o casos para conjeturar sus propias hipótesis que les guiaran a la respuesta:
7) … supóngase que (afirmación) empiezo a evaluar opciones.
8) …entonces realmente la opción es (respuesta elegida) ya que (afirmación) no puede ser igual a… porque , suponga entonces que se tiene…
9) me basé en la condición que dice que (expresión), me fui directamente a la (respuesta elegida), si la (respuesta elegida) fuera mentira, significaría que…
10) …con los datos que tengo siempre reviso que las opciones digamos sean descartables o sean correctas.
Finalmente, en los ítems clasificados en la categoría Verificación los entrevistados realizaron y revisa ron una comprobación de uno o varios casos creados de forma natural y guiada a partir de la información del enunciado. En otros casos, las personas mostraron el proceso de solución de los ítems mediante una conexión entre el enunciado y las opciones de respuesta. Esta vía de aproximación a la respuesta correc ta se ejecuta con la confirmación de una opción que no invalida o contradice la información dada en el planteamiento de la situación.
11) …fui probando, planteé que eran los datos y fui probando cada opción, buscando la posibilidad de que esa opción se cumpliera.
12) …probar casos, creo que es como contraejemplos. (los casos se refieren a las opciones de res puesta dadas).
13) …como las opciones, fui viendo casos, si tengo que buscar un caso en el que esto se cumpla y sea correcto a lo que diga en el encabezado.
14) …fui probando cada una de las opciones del valor de , para ver si existía una solución o un resultado para que se complementara y que estuviera dentro del rango permitido.
Discusión
En el estudio presentado fue posible implementar una metodología de clasificación y comproba ción de categorías presentes en los ítems de la PAA mediante el uso de los reportes verbales de estudian tes con calificaciones altas en la PAA y podían expresar en voz alta con mayor precisión los procesos de resolución de las preguntas. Los resultados sugieren que la técnica y los procedimientos constituyen indicadores para recabar información de los participantes en una eventual aplicación de la metodología a otros test que requieran de la confirmación de estrategias de resolución en ítems diseñados para medir capacidades cognoscitivas.
La taxonomía construida para la PAA se verificó en función de las frases codificadas que poten cialmente cumplían con las definiciones teóricas de las categorías de Generalización, Representación, Indagación y Verificación. Las frases permitieron a los jueces expertos una aproximación muy cercana a lo que verdaderamente expresaban los participantes y lo que se esperaba que estuviera involucrado en cada ítem. Sin embargo, los resultados deben interpretarse con cautela debido a que la muestra de estu diantes se consideró a conveniencia y con un perfil de éxito alto en las respuestas correctas en la PAA. Esta selección ofreció información de los procesos de respuesta, pero limitó conocer la generalización a personas con menor porcentaje de respuestas correctas en la prueba, por lo que una posible línea de investigación emergente podría centrarse en la ampliación y la especificación de subprocesos en las ca tego-rías con estudiantes de distinto perfil de ingreso la universidad.
Los resultados mostrados también abren la posibilidad de implementar estudios cuasiex-perimen tales (Montero, Rojas, Negrín, & Francis, 2015) y de predicción de las puntuaciones de la PAA en el rendimiento académico en la UCR (Jiménez & Morales, 2009-2010; Rojas, 2013). En el estudio experi mental de Montero et al. (2015) podría modificarse la capacitación con una intervención que propicie a las personas con diferentes perfiles de desempeño en resolución de ítems apropiarse del manejo guiado de los cuatro procesos de manera que se podría analizar si la intervención tiene un efecto positivo sobre el incremento de las puntuaciones en la PAA. En los trabajos de Jiménez y Morales (2009-2010) y Rojas (2013) se podrían incluir las categorías como variables independientes en diferentes modelos de regre sión lineal múltiple. También, las definiciones de la tabla 2 podrían guiar una revisión futura de bancos de ítems y la confección de nuevos ítems que se apeguen al marco teórico de las categorías.