Spanish (pdf)
Article in xml format
Article references
Automatic translation
Send this article by e-mail
Cited by SciELO 
Similars in
SciELO 
uBio 
Permalink
En Costa Rica, el Ministerio de Educación Pública (2008), publicó un documento en el que se enfatiza que la elaboración de pruebas escritas de alta calidad, es un trabajo que compete a cada docente y está ligado a la coherencia que existe entre el planeamiento didáctico, las actividades de mediación desarrolladas en el aula, las técnicas implementadas y los instrumentos de medición. Es en este documento en el que la Unidad de Asesoría Académica de la Escuela de Ciencias Exactas y Naturales (ECEN), se basa para la elaboración de sus pruebas escritas.
Es así como el Ministerio de Educación Pública (MEP), ha promovido el uso del cuadro de balanceo para establecer el equilibrio entre el número de lecciones dedicadas a desarrollar los objetivos de aprendizaje en el aula y los objetivos específicos que serían seleccionados para medir al estudiantado en la prueba escrita o examen, el cuadro de balanceo se utilizaba con intención de proporcionar evidencias de validez de contenido. Para Hernández (1997) el cuadro de balanceo se realiza para evitar que “la prueba escrita resulte improvisada, que se castigue al estudiantado o que se incluyan contenidos que no fueron enseñados” (p.58). Actualmente, el MEP (2008), indica que para garantizar la validez del contenido de la prueba escrita es necesario considerar el planeamiento didáctico, utilizando una tabla de especificaciones cuyo fin es representar los productos de aprendizaje desglosados en el planeamiento didáctico y logrado por el estudiantado durante la mediación pedagógica.
Por otro lado, para Mehrens y Lemhann (1982) la planificación de la prueba escrita requiere incluir el diseño de la tabla de especificaciones. Por otro lado, según Bolaños (1999) es “una buena práctica que conviene aplicar cuando se diseña una prueba y consiste en mostrar en primer lugar y de manera esquemática qué contenidos y qué objetivos serán evaluados” (p.94). Además Mehrens y Lemhann (1982); y Castillo y Cabrerizo (2007) mencionan que la tabla de especificaciones permite construir los ítems con base a los objetivos y los contenidos de aprendizaje lo cual lleva a obtener y evidenciar la validez de contenido de la prueba dado que tiene como propósito establecer claramente el alcance y el énfasis de la prueba. Finalmente, Santos y Pérez (2013) indican que ítems no representativos de los componentes o inadecuadamente redactados llevarán a problemas posteriores que impedirán la consecución de una prueba de calidad; lo cual sucede si no se utiliza la tabla de especificaciones.
Con respecto al diseño de instrumentos de evaluación, propiamente la prueba escrita, Sans (2008) menciona que posterior a la formulación de los ítems es necesario revisar aspectos tales como el vocabulario utilizado, la redacción, la concordancia gramatical, las indicaciones para su resolución, la presencia real de respuesta para cada ítem, la asignación de puntos, entre otros puntos que permitan garantizar los principios técnicos, estéticos y de redacción en cada uno de los ítems y sus instrucciones.
Por su parte, en la UNED tradicionalmente se ha utilizado la prueba escrita o examen para evaluar el aprendizaje del estudiantado, a raíz de esto se han realizado informes acerca de la gestión de las pruebas escritas (CONCAL, 1995; CIEI, 2010; D´ Agostino y Vargas, 2005; CIEI, 2010; PACE et al., 2007). En ellos se destacan las debilidades técnicas que poseen los ítems y la ausencia de la tabla de especificaciones como instrumento para planificar la prueba escrita. Además se han elaborado documentos para guiar al personal docente en el diseño técnico de los ítems Bolaños (1999) y UNED (2009).
Conjuntamente, Andrés, Calderón y Herrero (2017), elaboraron una investigación comparando la prueba escrita con estrategias de evaluación alternativa y en este estudio se determinó cómo la prueba escrita se utiliza de una forma menos frecuente que otras formas alternativas de evaluación y la combinación de ambas resulta la mejor opción para el personal docente.
En la Universidad Estatal a Distancia (UNED), los encargados de cátedra son las personas responsables de elaborar los instrumentos de evaluación de los aprendizajes (UNED, 2008), sin embargo, el diseño de pruebas escritas actualmente es realizado por el equipo de docentes que conforman la Cátedra a los cuales se les asigna tiempo académico según lo estipulado en la normativa institucional referida al sistema de asignación de tiempo para realizar las tareas académicas, en esta normativa se otorgan dos horas absolutas por instrumento de evaluación y su respectivo solucionario (UNED, 2008).
Por otra parte, la UNED (2012) ha establecido en el reglamento general estudiantil una clasificación de las pruebas escritas para evaluar el aprendizaje estudiantil. En este sentido, está la prueba escrita ordinaria, la prueba de reposición y la prueba diferenciada. Cada tipo de prueba puede ir en formato físico o digital y deben evaluar los objetivos y contenidos de aprendizaje de la asignatura y contar con el respectivo solucionario u hoja de respuestas. La UNED (2011) define la prueba escrita como un “instrumento de evaluación de los aprendizajes constituido por ítems objetivos y de ensayo, que se construye a partir de la selección de los objetivos que se van a evaluar, determinar o considerar las debilidades y fortalezas del estudiantado” (p.67).
Como se mencionó aunado al diseño de la prueba escrita el personal docente también deben elaborar el respectivo solucionario, el cual “tiene como finalidad orientar al estudiantado en su proceso de autorregulación de aprendizajes, por cuanto le ayudará a comprender la calificación obtenida y a la vez realimentar su proceso de construcción de conocimientos” (p. 72) (UNED, 2011). Con respecto a la tabla de especificaciones la UNED (2009) menciona que “está relacionada con lo que realmente se quiere medir, de acuerdo con el valor porcentual que le otorgue la cátedra a los objetivos de aprendizaje del curso, acorde con la cantidad de horas asignadas a cada uno de ellos, consignado en la Tabla de Distribución de Horas del diseño de asignatura/curso” (p. 29).
Finalmente, aunque este estudio no pretende desestimar los aspectos éticos, sociales y didácticos de la prueba escrita, su propósito es dar un acercamiento a la percepción que poseen el personal docente acerca de la planificación de la prueba escrita y el tiempo que se requiere para elaborar las pruebas y los respectivos solucionarios.
Métodos
Realizamos un estudio exploratorio para conocer la percepción de un grupo de docentes referida a la planificación de la prueba escrita y al tiempo que deben dedicar en el diseño de prueba. El estudio se realizó en la Escuela de Ciencias Exactas y Naturales (ECEN), la cual está conformada por una Dirección, una unidad de asesoría académica, un programa de laboratorio de ciencias básicas, 11 carreras, 46 cátedras y un programa de extensión en Gerontología.
Inicialmente, realizamos una revisión bibliográfica de los lineamientos institucionales acerca del diseño de pruebas escritas, tales como el Reglamento general estudiantil, el manual de puestos de la UNED, el sistema de asignación de tiempos para la actividad académica en la UNED. Igualmente, se revisaron algunos estudios realizados en la UNED que hacen referencia al diseño de las pruebas escribas o exámenes. Además aplicamos un instrumento en línea a 33 docentes de la ECEN durante el primer cuatrimestre del 2017. El cuestionario fue conformado por 27 preguntas (Apéndice digital 1)
Al ser un estudio exploratorio, el análisis de resultados se hizo de forma cualitativa, en términos de porcentajes y cuadros.
Resultados
A continuación se presentan los principales hallazgos obtenidos a partir de la información de los encuestados.
Información general: Se realizó una encuesta a 33 docentes, de los cuales 29 contestaron siendo la mayoría de la provincia de San José (42,42%), con un rango de edad la mayoría (54,55%) entre los 26 y 40 años, un 47% de los docentes son mujeres y un 53% hombres.
Seguidamente, se indagó el tiempo que tenían de trabajar en la UNED y se encontró que un 43% tienen de 1 a 4 años y un 25% de 5 a 8 años. El resto tienen de 9 a 13 años o más. Casi un 58% del personal docente tienen grado de maestría, un 33% licenciatura, un 6% bachillerato y 3% doctorado.
Información por tema
Acciones al iniciar y terminar de elaborar las pruebas escritas: Las acciones que el personal docente realiza previamente cuando se les asigna la elaboración de una prueba escrita se resumen en el Cuadro 1.
El 70% del personal docente diseña parcialmente los ítems y los finaliza en otro momento, sólo un 30% los diseña y finaliza en el mismo momento.
El personal docente afirman que una vez finalizada la elaboración de la prueba escrita realizan acciones para verificar la calidad de la prueba escrita, tales como leer nuevamente los ítems (93,1%), verificar si cada ítem posee la respuesta correcta (96,55%) y corregir aspectos gramaticales u ortográficos (100%).
Cuadro 1 Acciones que el personal docente realiza antes de iniciar la elaboración de las pruebas escritas
| Cantidad de docentes | Acciones que se realizan |
|---|---|
| Entre 80 y 100% | Lectura del libro de texto de la asignatura Selección de los contenidos que serán evaluados Revisión del tiempo del que dispondrá el estudiantado para elaborar la prueba Análisis de cuáles son los mejores ítems para evaluar la materia en estudio y revisión de materiales como videos, links. |
| Entre 60 y 80% | Revisión de otras fuentes bibliográficas externas a la UNED. Revisión de pruebas escritas ya aplicadas en cuatrimestres anteriores Definición del puntaje total que tendrá la prueba escrita. Elaboración del cuadro de balanceo o tabla de especificaciones. |
| Menos del 60% | Reunión con las Cátedras para definir los ítems a utilizar. |
Horas utilizadas para la elaboración de las pruebas escritas: El tiempo que el personal docente utiliza para diseñar una prueba escrita con y sin su respectivo solucionario se muestra en el Cuadro 2.
Cuadro 2 Tiempo utilizado en la elaboración de una prueba escrita con y sin su respectivo solucionario
| Horas utilizadas | Porcentaje de respuesta con solucionario | Porcentaje de respuesta sin solucionario |
|---|---|---|
| 1 a 3 | 3,57 | 32,14 |
| 4 a 6 | 32,14 | 14,29 |
| 7 a 9 | 7,14 | 21,43 |
| 10 | 0 | 14,29 |
| 11 | 57,14 | 17,86 |
Ambiente de trabajo: El 100% del personal docente respondió que utiliza un espacio físico con ventilación e iluminación adecuada.
Asignación de puntajes: El 100% del personal docente afirma que asigna el puntaje de los ítems según el nivel de dificultad.
Formato utilizado: El 100% del personal docente afirma los ítems los redacta bajo el formato y lineamientos que solicita la Cátedra.
Redactar los ítems: El 93,55% del personal docente afirma que es el responsable de redactar los ítems de la prueba escrita y un 93,33% dice que los redacta a partir de los objetivos y contenidos de aprendizaje de la asignatura.
Elaboración de instrucciones: El 83,87% afirma que redacta las instrucciones generales de la prueba escrita y el 16,13% indica que no hace la redacción de las instrucciones generales. Asimismo, el 100% del personal docente redacta instrucciones para cada ítem.
Tiempo asignado para elaborar ítems: Con respecto a tiempo disponible para diseñar la prueba escrita se obtuvieron los siguientes resultados:
Un 6,9% del personal docente consideró que es suficiente asignar 12 horas absolutas a la elaboración de 6 pruebas escritas (93,1% dijo que no). Además, un 96,55% dijo que no está de acuerdo en que se asignen dos horas absolutas para elaborar una prueba escrita (un 3,45% dijo que sí).
Para presentar las razones principales del por qué no están de acuerdo con el tiempo asignado se procedió a categorizar los comentarios. Dichas categorías se identificaron a partir de las respuestas dadas por los participantes (Cuadro 3).
Cuadro 3 Razones principales del por qué el personal docente no están de acuerdo con el tiempo asignado se procedió a categorizar los comentarios
| Categorías identificadas | Respuesta de docentes |
|---|---|
| Material | Muchas veces requiere de la revisión de varios textos diferentes. Del mismo material utilizado en años consecutivos “es un reto construir además, una prueba de reposición, con base en la misma materia, sin cometer repeticiones”. |
| Investigación de contenidos | No hay una posibilidad real de realizar una investigación profunda con esta cantidad de tiempo, hay muchos detalles que cumplir. |
| Herramienta o software | En el caso de matemática se debe considerar que la edición es en .tex y la digitación requiere de horas. |
| Dificultad de los ítems | Es necesario medir la dificultad de cada ítem, para que concuerde con la importancia que tiene en el contenido el curso. Se invierte más tiempo que ese (normado) si se quiere elaborar una prueba no memorística y que fomente el desarrollo de respuestas. Aquellos ítems que ameritan mayor capacidad de pensamiento por parte del estudiantado, requerirán mayor tiempo por parte del tutor para el diseño y elaboración. |
| Diseño de ítems | Se requiere planear y revisar la prueba con detalle Se debe cumplir con la tabla de puntaje por objetivo, definir en qué apartado debe introducirse un rubro a evaluar, se debe redactar la pregunta y revisarse. Los tipos de preguntas deben ser distintas en cada prueba, entre un periodo y otro, por lo que los exámenes se hacen desde cero. Diseñar y luego resolver nuestro propio examen, es una actividad muy seria y compleja. La sencillez y la claridad son elementos claves. No se trata de hacer exámenes masivamente como si se tratara de una fábrica. Se deben tomar en cuenta, no solo los objetivos del curso, sino que además, los contenidos temáticos y documentos que conforman el curso. |
| Solucionario u hoja de respuesta | Generarse el solucionario Sólo en el solucionario son 3 horas y a veces se cambian las preguntas porque tienen errores. |
Discusión
El análisis del proceso de elaboración de pruebas escritas por parte del personal docente arrojó información importante en pro de la mejora dentro del quehacer de la Escuela de Ciencias Exactas y Naturales (ECEN), que también puede ser aplicado a la UNED, de acuerdo a las recomendaciones que arroja este estudio. La tarea de elaborar pruebas escritas no está restringida a un grupo específico de profesionales, sino en el caso de la UNED se observa que el personal docente posee grados académicos que van desde el bachillerato hasta el doctorado lo cual sugiere la complejidad de esta actividad.
Además, dado que todo el personal docente realiza como parte de su quehacer, la revisión previa del material a evaluar, la selección de contenidos e ítems más adecuados y consideración del tiempo que dispone el estudiantado para elaborar la prueba; implica algo positivo a rescatar dado que están destinando tiempo a tareas de planificación, tal como lo señalan Mehrens y Lemhann (1982), es necesario contar con una lista para verificar que se cumpla con la etapa de la planificación para preparar las pruebas escritas. Aunado a lo anterior, otros aspectos de verificación que podrían recomendarse son: el propósito de la prueba, qué pretendo medir, los objetivos de aprendizaje, los ítems son los adecuados según el propósito y objetivos, el tipo de prueba, entre otros.
A pesar de que se llevan a cabo acciones de planificación dentro del proceso de elaboración de pruebas escritas en la ECEN, una acción que debería ser parte de la planificación no está siendo utilizada y es lo que corresponde a la elaboración del cuadro de balanceo o tabla de especificaciones que implica la asignación del puntaje total y la selección de los ítems según los objetivos de aprendizaje y contenidos. En un estudio elaborado por Santos y Pérez (2013) destacan la importancia de realizar la construcción de los ítems posterior al diseño de la tabla de especificaciones además indican que son pocos los trabajos que utilizan esta metodología. Por otro lado, las evidencias relacionadas con la validez de contenido, se garantizan en la medida que la prueba se construya con una muestra representativa de los objetivos y contenidos desarrollados por cada docente durante el proceso de aprendizaje (MEP, 2008). El cumplimiento de lo anterior, evita que no se incluyan contenidos que sí eran importantes y que definen la calidad de las pruebas.
Complementando lo anterior, a nivel internacional, la preparación correcta de las pruebas escritas tiene relevancia y un efecto positivo en el desempeño de los estudiantes. Así se ve en un estudio realizado por James (2017), se encontró que por mucho tiempo el objetivo del profesorado fue asegurarse de que la población estudiantil obtuviera las mejores calificaciones, sin importar si de éstas se lograba o no un aprendizaje, cuando lo importante es motivar a cada estudiante a participar, aportar nuevas ideas y razonar. Asimismo, Pellegrino (2017), encontró que la evaluación debe diseñarse de manera que pueda enfocarse en el aprendizaje.
Tal y como se mencionó antes la tabla de especificaciones no se está utilizando por parte de cada docente, lo que puede estar afectando la calidad de las pruebas escritas dado que se observa que solamente un 30% los diseña y finaliza en el mismo momento. El hecho de no contar con una tabla de especificaciones y elaborar la prueba escritas de manera fragmentada puede alterar el hilo conductor en el diseño de los ítems y su estructura relacionada con los objetivos de aprendizaje, mientras que si se contara con esta tabla existiría una guía permanente para que prevenir y orientar al tutor cada vez que retoma la elaboración de la prueba.
Con respecto a lo anterior, en el documento elaborado por el MEP (2008), se indica que la tabla de especificaciones incluye los objetivos específicos, número de lecciones, puntos por objetivo, tipo de ítem y el total, lo cual permite calcular la puntuación total de la prueba y los puntos por objetivo. Lo anterior es de suma importancia para asegurar la mediación pedagógica que el personal docente pueda dar en la prueba escrita al estudiantado. Sin esta guía, no se asegura que se estén cumpliendo a cabalidad los objetivos propuestos.
A nivel internacional, de igual manera Kalantari, Zadeh, Agahi, Navabi, Hashemipour & Nassab (2017), realizaron un estudio para determinar los niveles de ansiedad de los estudiantes a la hora de realizar una prueba escrita y lo que encontraron además de que cada discente tenía un nivel de ansiedad similar, el hecho de haberse preparado lo suficiente y sentirse con confianza para realizar la prueba, significó una ventaja ante el estudiantado que no se había capacitado lo suficiente.
Finalmente, el hecho de que menos del 60% del personal docente no se reúnen con las cátedras sugiere la necesidad de incorporar esta práctica en el quehacer de las Cátedras dado que es necesario establecer la comunicación y la armonía entre los actores responsables del proceso de enseñanza y aprendizaje incluyendo la prueba escrita como parte de este. En un estudio realizado por Garrido, López, Urban y Herrera (2006), recomiendan utilizar herramientas como foros, blogs o wikis, para mejorar la comunicación entre docentes. En este caso podría resultar útil para las Cátedras, las cuales tienen diferentes docentes elaborando pruebas escritas, para que se tenga una comunicación fluida y concordante entre cada miembro del equipo de trabajo y no se dejen de lado detalles que pueden incidir en la calidad de los instrumentos de evaluación.
Posterior al diseño de la prueba escrita el personal docente verifican la calidad de la prueba escrita considerando temas gramaticales, lectura de los ítems y la veracidad en las respuestas que posean los ítems planteados, lo cual puede señalarse como un resultado positivo que incide directamente en la calidad de las pruebas escritas.
El hecho de que la elaboración de la prueba escrita con su respectivo solucionario implica mayor cantidad de horas dedicadas por el personal docente que las que le son asignadas de acuerdo con la normativa institucional es un hallazgo importante. Una de las tendencias actuales a largo plazo, según el Informe Horizon (Adams, Cummins, Davis, Freeman, Hall & Ananthanarayanan, 2017), sobre el aprendizaje, es utilizar estrategias que profundicen más sobre los temas y el conocimiento que los estudiantados adquieran tenga un impacto profundo en el mundo. Si no se asigna suficiente tiempo a el personal docente para elaborar las pruebas escritas, no se logrará elaborar instrumentos que promuevan un profundo análisis de los temas en estudio, tal como lo pide el Informe Horizon.
A pesar de que la tabla de especificaciones no está siendo siempre utilizada por la docencia, cada docente afirma que el puntaje de los ítems los asigna según el nivel de dificultad. Lo anterior refleja la necesidad de capacitar al personal docente en los aspectos técnicos relacionados con la prueba escrita.
Dado que todo el personal docente procura trabajar el diseño de pruebas escritas en ambientes provistos de una ventilación e iluminación adecuada puede considerarse que existe preocupación por atender dicha tarea bajo condiciones óptimas para la salud. Un tratamiento adecuado del ambiente visual permite incidir en la seguridad, confort y productividad de la fuerza laboral (INSHT, s.f.). Asimismo, con respecto a una ventilación adecuada, Pardo (2011), indica que la Organización Mundial de la Salud señala que el síndrome del edificio enfermo se caracteriza por las siguientes patologías: irritación ocular y de garganta, sensación de sequedad en las membranas mucosas, fatiga mental, dolor de cabeza. Estos padecimientos deben evitarse para el personal docente que están realizando las pruebas escritas en la UNED.
Otro aspecto importante que debe estar presente en las pruebas escritas es lo concerniente a la información administrativa que permite ubicar al estudiantado con relación a la institución, el contenido de la prueba, nombre de la asignatura, bloque, entre otros. Lo cual en este estudio se comprueba dado que el personal docente afirma que los ítems los redacta bajo el formato y lineamientos que solicita la Cátedra tal requisito es normado a nivel institucional.
Se concluye que los profesionales que están elaborando las pruebas escritas en la ECEN están realizando una planificación que incluye aspectos importantes para que sean aprovechadas de la mejor manera por parte de cada discente, pero es necesario reforzar y definir políticas del uso de la tabla de especificaciones para que todo el personal docente se vea en la necesidad de utilizarlas, de manera que se pueda mejorar la calidad del producto final y se beneficie a cada estudiante. Asimismo, se recomienda realizar reuniones con las cátedras para llegar a acuerdos que vayan más de la mano con los objetivos de aprendizaje de las asignaturas. De forma similar, se sugiere analizar la cantidad de horas que se le está dando a cada docente para que realice las pruebas escritas, dado que se demostró que la cantidad asignada no es suficiente para el tipo de trabajo que se requiere realizar si se apunta a un trabajo de alta calidad.
See Digital Appendix at: / Ver Apéndice digital en: http://investiga.uned.ac.cr/revistas/index.php/cuadernos
