Introducción

La forma en cómo se presentan los ítems en una prueba, independientemente de su naturaleza, es tan determinante como el constructo que se pretende medir. La Prueba de Aptitud Académica (PAA) de la Universidad de Costa Rica nació hace más de 50 años y según ^{Mainieri (2008}) fue en 1960 cuando se aplicó por primera vez como una tarea liderada por el Dr. Gonzalo Adis Castro, desde del Comité de la Evaluación que luego se convertiría en el Instituto de Investigaciones Psicológicas de dicha Universidad. Como parte de los procesos de validez y confiabilidad de una prueba de admisión como la que anualmente aplica la UCR para la selección de aspirantes con mejores probabilidades de rendimiento académico, se desarrollan diferentes proyectos de investigación sobre aspectos como la modificación en el formato, contenido de ítems, así como del diseño teórico, los cuales garantizan un instrumento de calidad. Además de ello, se implementa la consulta a jueces expertos, las aplicaciones de pruebas piloto, el desarrollo de entrevistas con la población meta y el análisis de los datos con distintos parámetros estadísticos (^{Montero, 2022}, p. 24).

Para esta prueba también se implementa una serie de análisis cuantitativos que tanto ^{Montero (2022)} como otros autores del cuerpo de investigadores de la prueba (^{Rodríguez et al., 2009}; ^{Brizuela et al., 2018}; ^{Molina y Villalobos, 2010}; ^{Brizuela y Montero, 2013}) distinguen como fundamentales para la validación del instrumento. Entre estos: los Análisis de factores exploratorio y confirmatorio, con Teoría Clásica de los Tests (TCT), los con Teoría de Respuesta a los Ítems (TRI), el Modelo de Rasch, los Estándares de calidad para pruebas estandarizadas, la Teoría G (Generalizabilidad), los Análisis del funcionamiento diferencial del ítem, los Análisis de distractores y la Equiparación de puntajes. Asimismo, se han desarrollado estudios de tipo cualitativo a partir del trabajo con jueces expertos, entrevistas y reportes verbales con los estudiantes (^{Calvo et al., 2019}; ⁸; ^{Brizuela et al., 2016}; y ^{Smith et al., 2011}).

El cimiento de esta investigación radica en la importancia que tiene para el Equipo Técnico de Investigación (ETI) del Programa Permanente de la Prueba de Aptitud Académica (PPPAA) de la Universidad de Costa Rica el análisis de los ítems que se mantienen en banco y de aquellos que potencialmente ingresarán gracias a las buenas características que mantengan desde su construcción.

La marcación tipográfica se entiende como el énfasis que acompaña letras, caracteres, signos de puntuación y otros símbolos a partir de rasgos como mayúsculas, negritas, redondeo y cursivas que permiten un realce visual y facilitan la comprensión del texto. La marcación en tipografía implica más que un cambio de determinada letra; su uso corresponde a una modificación en la pauta de lectura, tal y como lo propone ^{Ponds y Bulloch, 2017}:

Cuando leemos percibimos conscientemente y reconocemos el significado de las palabras. Se podría pensar que nuestros ojos se desplazan por el texto de forma secuencial, como lo hace un escáner, pero esta impresión es errónea. En realidad, lo que ocurre cuando leemos es que prestamos atención a la silueta de palabras completas y a grupos de palabras, y no examinamos el texto letra por letra, como se podría llegar a intuir. Los ojos se quedan quietos en un punto concreto y en su entorno inmediato y hacen movimientos cortos y rápidos llamados saltos sacádicos. Este proceso se interrumpe cuando aparece algún elemento inesperado, como un espaciado desafortunado, una letra extravagante, un desajuste en la alineación, etc. A veces, cuando no acaba de entenderse algo que se lee, el ojo da saltos atrás, denominados regresiones. (2017, p. 8).

Este tipo de marcación en los textos convencionales responde a una visualización que para el emisor resulte obvia; sin embargo, su uso en pruebas estandarizadas y evaluativas, en las cuales este tipo de ventaja no garantiza la neutralidad de lectura, debería estar limitado puesto que carece de una justificación teórica definida para su empleo. El interés del presente trabajo consiste, justamente, en reconocer la relevancia de este énfasis textual en la resolución de ítems de razonamiento en contextos verbales y matemáticos.

Uno de los aspectos que debe considerarse sobre la marcación es que típicamente han sido las estructuras complejas, en términos de comprensión, como las negaciones, las que se han destacado. La mayoría de los estudios enfocados en este realce se han inclinado por el estudio de las partículas ''no'' y ''falso'', como se puede notar en la bibliografía que dicta parámetros de construcción de preguntas, entre ellos: ², ^{Haladyna et al. (2013}), ^{Moreno et al. (2004)}, ^{Murillo (2012)}, ^{Osterlind (2001}), ^{Schweizer et al. (2016}).

Aportes como los de ^{Tamir (1993}) insisten en que la negación es una de esas estructuras gramaticales que más desafío representa dentro de una pregunta, debido a que implica un doble esfuerzo en la memoria de trabajo y que por ello se debe destacar, pues según el razonamiento natural no se piensa en orden negativo. Algunas de las conclusiones de su estudio señalan que, en ítems de bajo nivel cognitivo, no hay diferencias en el rendimiento si existen partículas negativas; por el contrario, sí se requiere de un alto razonamiento cognitivo, pues el modo negativo es, en promedio, más difícil que el positivo (1993, p. 319).

Otros autores como ^{Wason (1959}) y ^{Wason y Jones (1963)} también indican que la existencia de estas partículas negativas genera una doble carga en la memoria de trabajo. Wason señala que pareciera existir una subvaloración de la información negativa, pese a que los conceptos (positivo y negativo) no se aprenden de manera aislada.

También, otros autores como ^{Just y Carpenter (1971}) se interesan en la necesidad de enfatizar otras partículas negativas, además del ''no'', como ''poco'' y ''casi ninguno''. Otras consideraciones como las de ^{Burton et al. (1991}) indican que el hecho de preguntar por una respuesta incorrecta no garantiza que el estudiantado sepa la respuesta correcta y por ello no se recomienda el uso de la partícula negativa. Este autor señala, de igual manera, que, de presentarse, las negaciones siempre deben enfatizarse mediante el uso del subrayado, la cursiva, la negrita o la mayúscula.

Por su parte, ^{Chiavaroli (2017}) se cuestiona si las preguntas de opción múltiple redactadas negativamente son una amenaza para la validez de una prueba. Según el autor, este tipo de redacción induce a error debido a que una parte considerable del estudiantado contesta la pregunta pensando de manera positiva, lo cual constituye una varianza irrelevante para el constructo. Desde su enfoque, otros autores no han sido contundentes en la prohibición del uso de las partículas negativas y más bien dan pautas para su uso a través de la mayúscula, el subrayado o el resaltado; o bien, algunos autores insisten en ser selectivos con el uso negativo, si este es estrictamente necesario (^{Collins, 2006}) o si se implementa en palabras muy cortas.

Pocos autores enfatizan la marcación de otros elementos en la oración que no sean las partículas negativas. Por ejemplo, ^{Dyson (2014}) caracteriza las habilidades de percepción respecto de diferentes tipos de fuentes de letras e indica que cuando hay un cambio en el tipo de letra, como la cursiva o negrita para marcar énfasis o cuando existe una modificación en la fuente para distinguir un encabezado, se puede presentar una dificultad en el procesamiento de las letras (2014, p. 18).

Existen también abordajes más generales como los de ^{Cruz-Rosón y Morant (1998}), centrados en las implicaciones lingüísticas de las negaciones o las dobles negaciones en ciertas lenguas, como en ^{Déprez et al. (2015}). Como se observa, los autores interesados en el tema provienen de un contexto anglosajón o europeo. En el caso de Latinoamérica, no se ha encontrado, por el momento, ningún autor que aborde el tema. En este sentido, la presente investigación resulta innovadora.

De igual manera, al centrarse en recabar pruebas respecto del efecto de la marcación en los ítems, la presente investigación permite a quienes construyen ítems tomar decisiones técnicas con base en evidencia empírica. Esta consideración resulta pertinente no solo para las personas encargadas de elaborar la Prueba de Aptitud Académica (PAA) de la UCR, sino también para quienes construyen otras pruebas estandarizadas que utilicen ítems con marcación tipográfica de algún tipo.

En resumen, desde la perspectiva de esta investigación, la marcación tipográfica se refiere a esos segmentos o partículas en un texto que son destacadas con el fin de crear un sentido de énfasis en el lector. Esta marcación atribuible a negaciones ha sido usada también en la prueba de admisión para resaltar aspectos como la afirmación y la certeza en la instrucción indicada. El objetivo de este estudio consiste en recabar evidencia sobre la injerencia de la marcación (negrita, subrayado y mayúsculas) en la instrucción de los ítems seleccionados y observar si existen variaciones en las propiedades técnicas cuando presentan o no estas marcas de énfasis.

Materiales y Métodos

Esta investigación es cualitativa y parte de un paradigma pospositivista. Asumir esta perspectiva implica, como bien explica ^{Guba y Lincoln (2002}), que la realidad se puede aprehender, pero siempre de una forma imperfecta, inacabada. Si bien desde este paradigma no se mantiene la dualidad entre objeto/ sujeto, la objetividad se mantiene como un norte que orienta la investigación. En cuestiones metodológicas, se busca ''reunir información más situacional y reintroducir el descubrimiento como un elemento de la investigación'' (^{Guba y Lincoln, 2002}, p. 126).

De igual manera, de acuerdo con el planteamiento de su propósito, la investigación es de carácter exploratorio, pues explora un fenómeno particular (^{Hernández et al., 2014}). Específicamente, recaba in- formación a partir de entrevistas a un grupo seleccionado de personas estudiantes de primer ingreso a la universidad para el 2019, con el fin de identificar en qué medida la marcación tipográfica (negrita, subrayado y mayúscula) afecta la instrucción del ítem y sus propiedades técnicas.

Como parte de los instrumentos utilizados, se incluyó un protocolo de confidencialidad que todo participante debía leer, comprender y firmar como parte de los requisitos para la realización de la entrevista. En este protocolo, se consigna información relevante para el desarrollo de la actividad: los nombres de los investigadores del proyecto y la forma para contactarlos, el propósito de la actividad, las instrucciones a seguir, la duración de la entrevista y el carácter voluntario de la participación. El protocolo también incluye los riesgos y los beneficios a los que podrían exponerse o acceder los participantes en las entrevistas. Toda la información recolectada es confidencial y las personas entrevistadas pueden abandonar la sesión cuando así lo deseen.

Otro instrumento utilizado para recolectar la información fue la entrevista. Esta fue grabada en su totalidad y con una duración en promedio de una hora, en la cual uno o dos de los investigadores hicieron preguntas específicas sobre el enunciado, la instrucción o los distractores y la pertinencia o no de la marcación tipográfica para la resolución del ítem. Los examinados también indicaron la dificultad aproximada del ítem.

Por cada ítem, se hicieron las siguientes preguntas: ¿existe algún elemento del ítem que impidió comprenderlo?, ¿considera que el formato del ítem le dificultó llegar a su respuesta?, ¿subrayaría o marcaría algo en el ítem?, ¿mantendría la marcación en el ítem?, ¿qué dificultad le daría al ítem entre alta, media y baja? Al término de la resolución de todos los ítems, se consultó por aspectos más generales como los siguientes: ¿qué tan pertinente le parece el uso de la marcación en los ítems?, ¿recomendaría el uso de las negaciones en los ítems?, ¿sabe cuál es el significado de ''con certeza''?, ¿qué sinónimo usaría para cambiarlo?

El muestreo no probabilístico intencional fue de 10 personas estudiantes (5 hombres y 5 mujeres), mayores de edad, de primer ingreso a la Universidad de Costa Rica para el 2019, provenientes de colegios públicos y diferenciados, entre quienes obtuvieron las notas más altas y las más bajas en la PAA de la aplicación del 2018, con el fin de reconocer qué tipo de estudiante ofrece más o menos información sobre lo preguntado.

Para las entrevistas, se seleccionaron 10 ítems de razonamiento en contexto verbal y matemático, cuyo formato está compuesto por un encabezado, una instrucción y cuatro opciones; además, cada ítem incluye algún tipo de marcación tipográfica (negrita, subrayado o mayúscula), cuya muestra de ejemplo es la siguiente:

Cada ítem se presentó de manera independiente y se solicitó al participante responder a preguntas concretas y a reportar el razonamiento que le condujo a la opción elegida. Ello permite observar qué estrategias idea la persona entrevistada y si reporta aspectos específicos que se le preguntan en torno a la marcación. Tabla 1

Tabla 1 Ejemplos de preguntas 

Una vez recabada esta información, se transcribieron las grabaciones y se codificaron los datos para realizar el análisis de las respuestas, reconocer la concordancia o discrepancia de criterios y definir la injerencia sobre el uso de la marcación tipográfica. Mediante una tabla de codificación, a partir de va- lores numéricos, se tabularon las características del ítem: número de ítem; clasificación de ítem (banco o experimental); contexto (verbal o matemático); categoría de ítem: parafrasear, oponer, reducir, suponer, indagar, verificar, generalizar, representar (las definiciones de estas categorías pueden ampliarse en ⁵y ^{Brizuela et al. (2018)}; formato (con marcación y sin marcación); y dificultad, según los investigadores (alta, media, baja) y clave del ítem. Asimismo, en esta tabla se consignaron las categorías de análisis para las entrevistas compuestas por 1. partículas negativas: no, contradice, falso; 2. partículas positivas: con certeza, verdadero.

Posteriormente, se codificaron las características de las personas examinadas: persona estudiante según puntuación obtenida en la prueba (alta, baja) y sexo (femenino, masculino); junto con las respuestas obtenidas de las entrevistas: opción marcada, acierto de la clave, distractores poco plausibles o problemáticos, necesidad de conocimiento previo, aspecto por mejorar del ítem, dificultad asignada al ítem, mantenimiento de la marcación y parte del ítem donde colocaría la marcación (encabezado, instrucción, opciones).

Discusión de resultados

La discusión de resultados muestra la inexistencia de una diferencia significativa respecto del uso de la marcación tipográfica o su eliminación, indistintamente de la población entrevistada o del tipo de ítem. A continuación, se presentan los resultados de acuerdo con la presencia de partículas negativas y afirmativas y la información propuesta por el estudiantado sobre el mantenimiento de la marcación.

Partículas negativas y afirmativas

De los ítems seleccionados, existen dos tipos de partículas sometidas a estudio: las negaciones y las afirmaciones. Las primeras son las más representativas del banco de ítems de la PAA y son, además, las que cuentan con más cantidad de estudios. Estas partículas, tal y como lo establece la bibliografía, han sido tradicionalmente marcadas para plantear un razonamiento inverso al natural.

De los ítems seleccionados para las entrevistas, destacan las partículas ''No'', ''Falso'' y ''Contradice''. Las afirmaciones, por su parte, normalmente se marcan como reafirmadoras de la información, como en el caso de ''verdadero'' y ''con certeza''. Esta última ha sido de uso frecuente en la prueba.

En la siguiente tabla 2, se muestra el comportamiento para cada partícula de acuerdo con las 10 entrevistas realizadas a la población estudiantil, presentado en el mismo orden aleatorio en el que se les facilitaron a los entrevistados.

Tabla 2 Resultados de entrevista 

De acuerdo con la tabulación anterior y según las opiniones de las personas entrevistadas, el mantenimiento de la marcación es muy contextual. Así, en los tres ítems en los que aparece la partícula ''no'', para dos casos (ítem 1, ítem 5), la mayoría de las personas entrevistadas indica que mantendría la marcación, mientras que en otro contexto (ítem 3) no lo haría; asimismo, se podría mantener la marcación o no, indistintamente, como en el caso del ítem 8. Cabe añadir que la decisión de marcar el ítem o no hacerlo no está condicionada por si la persona estudiante obtuvo bajas o altas puntuaciones ni tampoco por el contexto (verbal o matemático pareciera no incidir).

Para los casos de la partícula ''falso'' (o ''falsa'', por concordancia gramatical en la oración), la mayoría de las personas entrevistadas se inclina por mantener su marcación (ítem 4 y 10), pero igual que la partícula negativa ''no'', ni el contexto ni el tipo de participante incide en esta decisión. Por el contrario, las personas participantes señalan que podría acuñarse al hecho de que se debe estar más atento ante aquella instrucción que solicita lo opuesto a lo verdadero. El ítem 4 tiene en la entrevista una baja dificultad, mientras que el 10 es de alta dificultad. Al respecto, puede considerarse que no es la partícula como tal la que marca la dificultad, sino más bien el contexto matemático.

En el ítem con la partícula ''contradice'', sucede algo particular: es la población estudiantil de altas puntuaciones quien propone su mantenimiento. Es, además, un constructo que solo aciertan dos personas entrevistadas y que presenta una alta dificultad en la entrevista. Ello, se puede adelantar, es un indicador de que la dificultad no se rige por la marcación, sino por la intencionalidad de la instrucción que solicita la oposición.

Para las partículas afirmativas, ''con certeza'', según las personas entrevistadas, debería mantenerse la marcación en dos casos (en el ítem 5, en el que coaparece con la partícula ''no'', y en el ítem 9). Existe un caso en donde no es necesario (ítem 2). Ahora bien, en este último ítem la mitad del estudiantado de altas puntuaciones lo marcaría, pero solo un entrevistado selecciona la respuesta correcta, lo cual puede aducirse al hecho de no comprender qué significa la expresión ''con certeza'' o, bien, se omite su importancia para indicar la respuesta.

Finalmente, el adjetivo ''verdadero'' que tradicionalmente ha sido marcado en la PAA, como era de esperar, no sería marcado por la mayoría y presenta una baja dificultad en la entrevista. Su marcación tiene un uso reafirmador y es menos ambiguo que todos los casos anteriores.

Mantenimiento de la marcación en una prueba estandarizada

Respecto de la posición de las personas entrevistadas frente a la marcación en general para una prueba estandarizada, la mayoría de ellas lo propone como una recomendación y no como una obligatoriedad; es decir, se asume como un recurso útil, pero no indispensable. A modo de síntesis, las razones señaladas para su uso son las siguientes:

Ahora bien, las personas entrevistadas que en la prueba de admisión obtuvieron notas de altas puntuaciones enfatizan que la marcación consiste en una ayuda visual y que de no aparecer, supone un mayor cuidado de lectura por parte del examinado, lo cual es parte de un proceso evaluativo, propio de una prueba estandarizada:

A mí me parece que uno igual tiene que leer todo con cuidado, porque parte de lo que se está evaluando es justamente la comprensión de lectura, entonces no sería como una injusticia por parte de los examinadores no ponerlo en negrita, perfectamente se podría poner así….Uno escucha a la gente, uno conoce los promedios y todo eso. Yo varias preguntas las tuve malas por leer mal, entonces es una manera de cómo evaluar, se ríe, es un detalle bonito, pero no lo considero necesario. Principalmente, cuando es: ¿cuál no es verdadera o cuál es falsa?, eso a uno sí se le olvida. Enreda bastante. Entonces tiene que leer varias veces la pregunta. O estarla leyendo para recordar qué estoy buscando. Entonces cuando está subrayado queda más claro, uno lo tiene más presente, sin estar leyendo tanto. Entonces es útil, no es indispensable. (Mujer entrevistada 3, con nota de alta puntuación, entrevista de investigación, 07 de abril, 2019)

Uso de las negaciones en una prueba estandarizada

De acuerdo con algunos autores como ^{Tamir (1993}), ^{Wason (1959}), ^{Just y Carpenter (1971}), ^{Burton at al. (1991}), ^{Chiavaroli (2017}), ^{Collins (2006}), ^{Dyson (2014}) e ^{Ito et al., (1998}), en materia de construcción de ítems, el uso de las negaciones en las preguntas ha sido considerado no recomendable. En vista de que las negaciones sí aparecen en los ítems e incluso se ligan a procesos de razonamiento como la oposición, es habitual su uso en la PAA.

A la pregunta concreta: ¿Recomendaría el uso de las negaciones en los ítems? Los examinados respondieron que el empleo como tal no es problemático, sino que está condicionado por el contexto y por la instrucción misma, como se lee en el siguiente fragmento:

No sé, depende, a veces hay unas muy fáciles donde usted puede descartar opciones, porque, de una vez, preguntan cómo que no, entonces usted tiene opciones más fáciles. Pero a veces el no que le pregunten hace que más bien uno se confunda mucho más. Entonces siento que a veces sí es más fácil, pero depende de la pregunta, puede ser más difícil. (Hombre entrevistado 2, con nota de alta puntuación, entrevista de investigación, 05 de abril, 2019)

Este contexto podría estar ligado, en algunas ocasiones, a un tipo de ítem en específico. Por ejemplo, una de las personas entrevistadas indicó que le resulta particularmente problemático el uso de las negaciones en los ítems de razonamiento en contexto verbal, lo cual podría explicarse por el hecho de que este tipo de ítems tiene más carga textual y, por lo tanto, mantener la atención en la negación se vuelve más complejo:

Sinceramente las de lectura me cuestan un poco más. Son más complicadas en mi parecer y en realidad para un montón de compañeros. A todos nos pareció más fácil la parte de matemática o, al menos, la de verbal está un poco difícil. (Hombre entrevistado 1, con nota de alta puntuación, entrevista de investigación, 02 de abril, 2019)

Asimismo, algunas personas entrevistadas indicaron que el empleo de las negaciones debe ser equilibrado, debido a que este tipo de preguntas invita a reordenar las ideas, y que no recomendarían el empleo de una doble negación, puesto que resulta una redundancia informativa.

Siempre no, porque al final hay que cambiar las preguntas, diría yo. A veces sí, yo no vi, la partícula ''no'', en este caso. Hay prácticas en las que sí se exceden un poquito en el número de negaciones, como cuál no es falsa. Entonces ya es como innecesario, diría yo. Sí se pueden usar, no siempre, para agregarle variedad, si uno no está con esa mentalidad de que lo que sigue es una pregunta de no, pero sí se pueden usar. (Mujer entrevistada 3, con nota de alta puntuación, entrevista de investigación, 07 de abril, 2019)

Por último, otra persona entrevistada indicó que la utilización de las negaciones es recomendable si se mantiene la marcación, y otra coincidió en que un ítem con negación es más difícil y que requiere de mucha más concentración, lo cual es favorecido por la tipología de énfasis:

Yo lo considero importante refiriéndose a la negación; …muchas veces hay 4 opciones que pueden ser verdaderas y uno termina marcando una y lo que le preguntaban era: cuál no era verdadera. La negación sirve para ver qué tanta atención estaba prestando en el examen. (Hombre entrevistado 5, con nota de baja puntuación, entrevista de investigación, 09 de abril, 2019)

Conclusiones

Esta investigación se planteó como objetivos: recabar evidencia sobre la injerencia de la marcación (negrita, subrayado y mayúsculas) en la instrucción de los ítems seleccionados y observar si existen variaciones en las propiedades técnicas cuando presentan o no estas marcas de énfasis. Al respecto se concluye que:

Respecto a las partículas afirmativas y negativas, su preferencia de uso por parte de las personas entrevistadas es contextual y no se relaciona necesariamente con el nivel de habilidad de la persona. En relación con el mantenimiento de la marcación en una prueba estandarizada, las personas entrevistadas, sin importar su nivel de habilidad, lo consideran complementaria visual, pues colabora en la claridad y seguimiento de la instrucción.

Respecto al empleo de las negaciones en las preguntas de los ítems, las personas entrevistadas no lo consideran per se dificultoso: en algunos casos, la elección de la respuesta se alcanza fácilmente; en otros, llegar a la respuesta correcta en el caso de instrucciones negativas implica una reorganización más compleja de las ideas.

En relación con las negaciones, es interesante destacar que diferentes autores (^{Abedi, 2006}; ^{Trumbull y Solano-Flores, 2011} y ^{Young, 2008}) desaconsejan su uso. Las razones son varias: en primer lugar, pue- de generar un doble negativo y agregar una mayor carga cognitiva; en consecuencia, incrementa los niveles de ansiedad en las personas que responden la pregunta. En segundo, la premura de lectura o descuido puede provocar la pérdida de la orientación de una negación. En tercer lugar, preguntar por una alternativa falsa supone que el examinado conoce los aspectos verdaderos, lo cual no siempre es correcto, ya que entender lo falso no siempre conlleva comprender lo verdadero. Finalmente, la pregunta en negación puede tener una ilimitada elección de respuesta.

Estas consideraciones asidas en la bibliografía, sin embargo, no se muestran en las respuestas de las entrevistas aplicadas. Si bien la utilización de ítems escritos con partículas negativas no es una práctica tan extendida en el banco de ítems de la PAA, por el momento se puede prescindir su uso. La evidencia recabada en esta investigación no evidencia que altere el constructo o que modifique automáticamente las calidades técnicas (la dificultad, por ejemplo) de los ítems. Queda para futuras investigaciones ahondar en las implicaciones del uso de la negación.

En pocas palabras, con base en los resultados de las entrevistas, la evidencia recabada indica que la marcación en sus diversas presentaciones (en las partículas ''no'', ''con certeza'', ''falso'', ''verdadero'' y ''contradice'') no incide significativamente en el proceso de resolución de los ítems. Es decir, según lo expresado por los entrevistados, mantener o prescindir del uso de la negrita no reporta un comporta miento diferenciado.

Aunado a lo anterior, la evidencia recabada señala que la presencia de la marcación en el ítem no tiene repercusiones en la dificultad u otras calidades técnicas de los ítems. Lo anterior sugiere que la marcación no es indispensable en un examen como la PAA de la UCR y la UNA y que por una estandarización de formato podría eliminarse su uso en todos los ítems. Este aspecto queda también para ahondar en futuras investigaciones, a través de otras aproximaciones metodológicas que permitan ampliar, por ejemplo, la muestra analizada.

Como se observa a lo largo de este artículo, en el caso de pruebas estandarizadas, cada detalle es importante. Por eso mismo, recabar evidencias sobre el posible efecto de aspectos tipográficos, como el uso de la marcación, en las calidades técnicas de los ítems es todavía una labor pendiente. Se abre entonces una línea de trabajo interesada en otros aspectos tipográficos (como el tipo de letra, la distribución del espacio, etc.) y su posible relación con las características técnicas de los ítems o los procesos de respuesta.