1. Introducción

En 1957 nace el Programa Permanente de la Prueba de Aptitud Académica (PPPAA) como una instancia encargada de la construcción, aplicación y calificación de una prueba que mide habilidades de razonamiento general en contextos verbales y matemáticos. Esta prueba se utiliza para seleccionar a las personas aspirantes a ingresar a la Universidad Nacional y a la Universidad de Costa Rica. Durante los últimos años, el Programa se ha enfocado en el desarrollo de investigaciones que fundamenten científicamente la toma de decisiones y que aborden aspectos referentes a la construcción de pruebas estandarizadas (^{Brizuela et al, 2015}), procesos de solución de ítems (^{Jiménez, 2018}; ^{Montero, 2014}), validez y adecuaciones para personas con discapacidad (^{Alfaro, 2014}; ^{Alfaro y Rojas, 2016}).

El área de adecuaciones del PPPAA es la instancia encargada de las acciones e investigaciones referentes a las personas con condición de discapacidad que realizarán la Prueba de Aptitud Académica (PAA). Para fines logísticos y de investigación, se agrupa en las áreas de aprendizaje, déficit atencional, motora, visual, auditiva, psicosocial, sistémica y múltiple. Específicamente, este estudio se origina en la necesidad de generar y profundizar en los principios teóricos y metodológicos de pruebas estandarizadas que serán aplicadas a personas con discapacidad.

En la actualidad, el banco de ítems de la PAA constituye una fuente de información para el desarrollo de nuevas investigaciones enfocadas en la consideración del ítem como objeto de estudio. El banco cuenta aproximadamente con 972 ítems: 627 de habilidades de razonamiento en contexto matemático y 345 de habilidades de razonamiento en contextos verbales. Todos los ítems mencionados anteriormente fueron construidos con base en categorías de razonamiento teóricas probadas, generalizadas y normalizadas según resultados de mediciones aplicadas con población regular.

Respecto al estado de la cuestión, la mayoría de los estudios encontrados se centran en la condición de déficit de la persona y su relación con el contexto, las condiciones de equidad, tipos de adecuación y consecuencias para las personas examinadas (^{Dembitzer, 2016}; López, et al, ²⁰¹⁷; ^{Meloy et al, 2002}; ^{Test, 2009}).

En el caso de las personas en condición de discapacidad auditiva, las investigaciones, que no son propias del ámbito de la medición y evaluación, señalan que la realidad se construye desde referentes visuales y desde el acceso y adquisición del lenguaje como una segunda lengua, lo que supone diferencias lingüísticas y cognitivas con implicaciones en los procesos de lecto-escritura, información y comunicación (^{Behares, 2006}; ^{Sacks, 2003}).

En el caso de personas con discapacidad visual, algunos estudios señalan que la realidad se construye desde la percepción sensorial no visual y desde el lenguaje, lo que supone la afectación del sistema comprensivo, así como implicaciones en el acceso, recuperación e interpretación del texto (^{Hustvedt, 2014}; ^{Kastrup, 2018}).

Revisados los antecedentes, se develó la necesidad de situar el foco de las investigaciones en las condiciones de acceso al ítem en pruebas estandarizadas, ya que se desconoce la existencia de estudios que aborden esta problemática, así como las posibilidades de interpretación en lengua de señas, de transcripción a Braille y las condiciones de lectura en un lector de pantalla de los ítems que serán aplicados a personas en condición de discapacidad auditiva o visual.

En la experiencia del PPPAA, y como resultado del estado de la cuestión, se reconoce la necesidad de estudiar la idoneidad de los ítems del banco para personas con discapacidad visual y auditiva, con el fin de orientar la toma de decisiones con criterios objetivos y estandarizados. Por eso mismo, esta investigación analizó la idoneidad del banco de ítems para personas con discapacidad auditiva y visual, durante el período 2016-2019, según criterios de juzgamiento para cada una de las poblaciones. En la investigación participaron personas expertas en educación especial y personas ciegas y sordas.

En síntesis, el presente estudio aporta información relevante para la toma de decisiones en el proceso de construcción y ensamblaje de una prueba estandarizada de altas consecuencias para la población, específicamente en relación con las personas con discapacidad auditiva o visual. Lo anterior como un ejercicio de inclusión educativa que garantice las condiciones de equidad de acceso y participación en la Educación Superior.

2. Referente teórico

Las políticas y acciones orientadas a garantizar el acceso y participación de personas con discapacidad en la educación superior se originan y fundamentan en la Convención sobre los Derechos de las Personas con Discapacidad (^{Organización de las Naciones Unidas, 2008}), aprobada en Costa Rica mediante la ley N°8661; las declaraciones mundiales sobre educación superior (^{UNESCO, 1998}; ^{UNESCO, 2009}) y la Ley 7600 de Igualdad de Oportunidades de las Personas con Discapacidad, principalmente por lo dispuesto en los artículos 1, 2, 5, 14, 16 y 17 (^{Asamblea Legislativa, 1996}).

En este sentido, las instancias que construyen y aplican pruebas estandarizadas para la determinación de las posibilidades de ingreso a la universidad realizan adecuaciones con el propósito de garantizar la equidad en los procesos de acceso y la selección de personas aspirantes en condición de discapacidad.

Así, algunos referentes teóricos que sustentan la construcción y aplicación de pruebas con adecuaciones para personas con discapacidad establecen que:

Las pruebas estandarizadas son instrumentos empíricos que tienen como propósito medir unas determinadas variables que permiten la recopilación, integración y análisis de datos. Por tanto, las pruebas estandarizadas implican la construcción, administración y evaluación de resultados con base en una metodología, técnicas de análisis y criterios de calidad, en cuanto a fiabilidad y validez (^{Martínez et al., 2014}; ^{Martín y Vergara, 2015}).

La PAA es un instrumento empírico que mide habilidades de razonamiento general en contextos verbales y matemáticos. La PAA se administra y califica de la misma forma para todas las personas examinadas, con base en criterios de estandarización y calidad.

La estandarización y la calidad se basan en normas y protocolos internacionales que garantizan su objetividad, validez, equidad y justicia, en cada uno de los procesos y actividades de diseño, construcción, aplicación y validación (^{Brizuela et al., 2015}). También, se basan en la investigación científica que fundamenta la definición del constructo de medición, los procedimientos de recolección de información y los métodos de análisis de los resultados; es decir, los ítems que componen la prueba, las condiciones de aplicación, los procedimientos de calificación y las interpretaciones de los resultados que son consistentes y coherentes.

Las adecuaciones en pruebas estandarizadas se entienden como las modificaciones del protocolo realizadas para minimizar el impacto de los atributos irrelevantes al constructo en las personas examinadas (^{Montero, 2014}). Para la aplicación de la PAA, algunas personas aspirantes cuentan con la asignación previa y oficial de adecuaciones aprobadas por la Comisión interuniversitaria de acceso a la educación superior. Estas adecuaciones consisten en ayudas técnicas y condiciones de accesibilidad para que las personas aspirantes ejecuten la prueba.

Por su parte, los ajustes razonables consisten en modificaciones concretas, cuando una política, normativa, procedimiento o acción en una situación específica, sin ser en su origen discriminatoria, deviene injusta y contraria al principio de igualdad material (^{Finsterbugs, 2016}). Es decir, son modificaciones razonables porque no alcanzan un nivel de universalidad, que responda a la totalidad de los requerimientos singulares, sino que responden a requerimientos particulares con medidas cualificadas en criterios. De manera que dichas acciones buscan eliminar la carga indebida (variable moderadora) que puede estar afectando a las personas aspirantes que aplican la prueba (^{Palacios, 2008}).

Por lo tanto, los ajustes razonables son de carácter jurídicamente obligatorio y se fundamentan en los derechos humanos como voluntad compartida y en el modelo social de derechos humanos, los cuales tienen como propósito garantizar la igualdad de oportunidades, la no discriminación, el acceso y la participación plena y equitativa de las personas con discapacidad (^{Cruz, 2007}).

En este sentido, el acceso y la participación de las personas con discapacidad implican la consideración no solo de las adecuaciones, sino de los ajustes razonables de la prueba estandarizada, que resultan del análisis de la idoneidad del ítem. Este análisis se fundamenta y organiza en relación con las etapas de construcción de una prueba estandarizada (^{Brizuela et al., 2015}).

La etapa de planificación implica la definición del constructo, del público meta, de las tablas de especificaciones; la obtención de evidencias de validez y el diseño de los protocolos de aplicación. El público meta incluye a personas con discapacidad. La obtención de evidencia de validez supone la consideración de los atributos o rasgos textuales del ítem (^{Elosua et al., 2014}).

La etapa de construcción implica el diseño, desarrollo, juzgamiento y prueba de los ítems. El juzgamiento de expertos usualmente comprende la revisión de ítems en términos de las categorías del constructo y de la tabla de especificaciones de la prueba (^{Brizuela et al., 2015}). No obstante, considerando que los ítems deben ser accesibles a personas con discapacidad visual o auditiva, la revisión de expertos puede incluir otros criterios.

Al respecto, se reconoce que el texto del ítem es una unidad de análisis que, según sus rasgos o características, puede ser apto o no apto para personas con discapacidad visual o auditiva (^{Meloy et al, 2002}), por cuanto es posible que presente aspectos fonológicos o visuales relacionados con su estructura gramatical, vocabulario, estilo discursivo, entre otros.

En la construcción de la PAA, los jueces expertos del área de adecuaciones revisan los ítems experimentales, con base en criterios de juzgamiento fundamentados en la experiencia profesional y en la vivencia de la condición de discapacidad. El proceso de juzgamiento consiste en la revisión individual, la consolidación de los resultados de cada revisión, el análisis de inconsistencias por parte de un equipo técnico en el que se consideran los criterios y observaciones realizadas por los jueces y, finalmente, la valoración de la idoneidad del ítem que resulta del consenso alcanzado en el análisis del equipo técnico.

En el caso de la PAA, los criterios de juzgamiento que determinan la idoneidad de un ítem están influidos por los supuestos, experiencias y valores de las personas que realizan la revisión y del equipo técnico. Es decir, la aptitud de un ítem no obedece a un criterio objetivo o determinista que posibilite la estandarización en la toma de decisiones. Por ejemplo, un ítem puede ser declarado no apto al cumplir uno o más criterios de juzgamiento. Otro ítem puede ser declarado apto al no cumplir ninguno o al menos uno de los criterios.

3. Metodología

4. Resultados

5. Conclusiones

El análisis de idoneidad de un banco de ítems en una prueba estandarizada permite concluir lo siguiente.

En primer lugar, se determinó que la mayoría de los ítems disponibles del banco fueron considerados como aptos para personas con discapacidad visual. También se estableció que la mayoría de los ítems declarados no aptos pertenece al contexto matemático. De igual forma, los criterios de juzgamiento con mayor frecuencia de aparición en todos los contextos son elementos que complejizan la lectura y contraste excesivo entre texto y opciones de respuesta. La cantidad de criterios en un ítem determina su idoneidad, ya que la presencia de al menos un criterio resuelve que el ítem no sea apto.

Al respecto, el análisis permite advertir que el diseño y la construcción de una prueba estandarizada requieren de la consideración de aspectos lingüísticos asociados al contexto de razonamiento. Se debe considerar específicamente el uso de expresiones matemáticas y la predominancia de discursos visuales hegemónicos. Estos inciden en el acceso y comprensión del texto, debido a que son elementos que complejizan la lectura y la recuperación de información, pues implican el contraste entre el texto y las opciones de respuesta. Lo anterior supone un cuestionamiento acerca de los ajustes requeridos en el diseño de ítems en relación con el estilo del texto y el contexto.

En segundo lugar, se determinó que la mayoría de los ítems disponibles del banco no es apta para población con discapacidad auditiva, aunque existe una cantidad suficiente para los diseños de las pruebas que se aplican cada año. La distribución de ítems no aptos es proporcionalmente similar en los tres formatos que conforman el grupo de ítems analizados para los contextos de razonamiento de la prueba. De los ítems declarados aptos, la menor proporción pertenece al contexto verbal y el criterio de juzgamiento con mayor frecuencia de aparición es vocabulario no apto.

En este caso, la idoneidad en ítems declarados aptos se resuelve admitiendo la presencia de hasta tres criterios, que no evidencian un patrón de relación. Sin embargo, el criterio de mayor frecuencia de aparición es vocabulario no apto. Por tanto, es posible que en la determinación de la idoneidad el peso de este criterio sea relativo, ya que está en función del vocabulario contenido en el diccionario de sinónimos ofrecido como adecuación en la ejecución de la prueba a personas con discapacidad auditiva.

La determinación de ítems no aptos se resuelve con la presencia de dos criterios. Adicionalmente, en los reactivos con dos o más criterios de juzgamiento, la relación más frecuente se presenta entre vocabulario no apto y estructura gramatical compleja.

En definitiva, el análisis permite advertir que la cantidad de ítems que pueden ser ensamblados se reduce considerablemente en relación con la cantidad total de ítems disponibles del banco, sin que esto conlleve a la elaboración de una prueba diferente a la prueba estandarizada para toda la población.

Además, se advierte que una prueba estandarizada diseñada y construida en español no atiende fundamentalmente a aspectos lingüísticos como el vocabulario no apto y la estructura gramatical compleja. Estos aspectos pueden estar asociados al dominio del español como segunda lengua y al de la lengua de señas, que tiene características específicas como su carácter visual y su desarrollo en un contexto cultural propio. Se debe considerar esta lengua de señas como un mediador del pensamiento de las personas sordas, de sus manifestaciones y representaciones en el mundo. Esto supone cuestionarse y abrir un panorama de acción sobre futuras líneas de investigación en construcción de ítems en lengua de señas que formen parte del banco de la prueba estandarizada y que garanticen una medición pertinente a las personas con discapacidad auditiva.

Finalmente, surge una pregunta a partir de esta investigación: ¿cuáles aspectos, culturales y lingüísticos, deben contemplarse en los procesos de diseño y construcción de una prueba estandarizada desde una perspectiva de equidad, ajustes razonables y diseño universal?