1. Introducción y antecedentes
El Sistema de Evaluación del Desempeño Profesional Docente en Chile fue concebido con el objetivo de contribuir al fortalecimiento y mejoramiento de la labor pedagógica docente en ejercicio en el sistema escolar (Ministerio de Educación de Chile (MINEDUC), 2010). Sin embargo, pareciera ser que el uso formativo de los resultados que arroja no es una práctica recurrente en el profesorado chileno. Así lo establece el informe de la Organización para la Cooperación y el Desarrollo Económico (OCDE), sobre la Evaluación del Desempeño Profesional Docente en Chile (Santiago, Benavides, Danielson, Goe y Nusche, 2013), documento que dentro de sus recomendaciones incluye la promoción de generación de conocimiento que brinde apoyo a la comunidad docente, de modo que puedan producirse mejoras en sus prácticas.
El presente artículo presenta los resultados del proyecto de investigación Concepciones de los profesores evaluados sobre retroalimentación del aprendizaje presentes en el portafolio de Evaluación del Desempeño Profesional Docente: Diagnóstico y orientaciones para apoyar la docencia en Matemática, financiado por la Escuela de Pedagogía de la Pontificia Universidad Católica de Valparaíso, Chile. Su objetivo fue caracterizar el tipo de retroalimentación realizada por docentes en esta evaluación e inferir las concepciones subyacentes (Gamlen, 2015; Min, 2013). La Evaluación del Desempeño Profesional Docente tiene cuatro fuentes de información que, sumadas con distinta ponderación, determinan la calidad del desempeño de quien enseña: a) autoevaluación, b) entrevista de un par evaluador, c) informe de terceros (superior jerárquico) y d) portafolio dividido en tres módulos.
Dentro de la evidencia escrita, el cuerpo docente debe presentar un procedimiento de evaluación corregido de una persona discente y la respectiva retroalimentación que quien enseña le realiza, de manera particular y en modalidad de diálogo, a ese estudiante. El análisis conjunto de estos documentos es informado a cada docente como Dimensión D “Reflexión a partir de los resultados del estudiantado”. Desde que se inició la aplicación de la Evaluación del Desempeño Profesional Docente, esta fue una de las dimensiones del portafolio que apareció con los más bajos resultados, independientemente de las asignaturas y niveles de escolaridad que atiende el profesorado. El Mineduc informa que, en el año 2014, el promedio en dicha dimensión fue de 2,08 en una escala que va del 1 al 4 (Mineduc, 2015). A su vez, los resultados indican que el promedio entre 2011 y 2015 fue de 2,1 (Mineduc, 2016).
Esta situación lleva a reconocer que existen serios problemas y dificultades en las prácticas de retroalimentación del personal docente chileno, en especial, si se piensa que en el portafolio ellas estarían desplegando sus mejores esfuerzos, ya que explícitamente se les pide presentar evidencia que dé cuenta de su mejor práctica pedagógica. Así, para acompañar a quienes enseñan en su proceso de Evaluación del Desempeño Profesional Docente, el Mineduc ha implementado un sitio web (docentemas.cl) donde pueden encontrarse varios documentos que señalan las características de una retroalimentación de calidad. En síntesis, una buena retroalimentación se basa en la información arrojada por la evaluación, es específica, comunica qué es lo que la persona discente ha desarrollado, así como aquello que no ha desarrollado como aprendizaje y le otorga orientaciones efectivas que permitan continuar mejorando los aprendizajes.
En este sentido, las recomendaciones entregadas son bastante generales y pueden no ser de mucha ayuda para que el personal docente comprenda qué es una retroalimentación de calidad. Se sugiere al profesorado una retroalimentación descriptiva, centrada en el trabajo del estudiantado, muy específica y retroactiva. No hay vínculos a criterios de evaluación; no se estimula el diálogo docente-estudiante y, por lo tanto, este adopta un rol pasivo. Tampoco orienta para futuros trabajos y tampoco releva la importancia de la comunicación clara para, posteriormente, proceder al aprovechamiento pedagógico.
En concordancia con el uso formativo que se pretende dar a los resultados de la Evaluación del Desempeño Profesional Docente, la investigación presentada en este artículo tiene como fin último prestar información útil a docentes del sistema escolar para mejorar sus prácticas pedagógicas. Cabe mencionar que las fuentes de información utilizadas en esta investigación fueron dos documentos del portafolio; a saber: a) el procedimiento de evaluación de la unidad corregido al estudiantado y b) retroalimentación que le ofrecería el personal docente a dicho estudiantado en forma individual.
2. Marco referencial
2.1. El concepto de retroalimentación en la evaluación del aprendizaje
En el ámbito de la educación no hay acuerdo sobre un concepto unificado sobre retroalimentación, en parte debido a que para algunos autores se asocia a procesos de evaluación, por lo cual se le considera como posterior a la enseñanza (Hattie y Timperley, 2007). Para otros, es parte misma de la enseñanza (Evans, 2013), y en muchas investigaciones, se le trata como un proceso vinculado específicamente a la evaluación con calificación (Bailey y Garner, 2010; Brown, Harris y Harnett, 2012; Carless, 2006; Dixon y Haigh, 2009; Grainger, Purnell y Zipf, 2008; Harman y McDowell, 2011; Harris, Irving y Peterson, 2008; Jodaie, Farrokhi y Zoghi, 2011; Li y Barnard; 2011; 2011; Orrel, 2007; Orsmond y Merry, 2011; Tang y Harrison, 2011).
Por su parte, Ramaprasad (1983) establece que se trata de información sobre la brecha entre un estado de referencia y un estado deseable, dicha información es usada para cerrar esa brecha. En el contexto de la formación en educación superior, Sadler (1989) señala que, para que la retroalimentación tenga efectos positivos en el estudiantado, este debe poseer un concepto del estándar (nivel de referencia o meta) hacia el cual dirigirse; ser capaz de comparar su nivel actual de desempeño con el estándar; y, comprometerse en una acción apropiada que conduzca a algún cierre de la brecha entre su nivel actual de desempeño y el estándar.
De acuerdo con esta conceptualización, solo puede hablarse de retroalimentación cuando el proceso lleva a cerrar la brecha entre el actual estado de aprendizaje y el deseado (Black y Wiliam, 1998; Dowden, Pittaway, Yost y McCarthy, 2013; Draper, 2009; Havnes, Smith, Dysthe y Ludvigsen, 2012; Sadler 1989; Wiliam, 2011). Esta es una distinción importante, ya que no pueden considerarse como retroalimentación los procedimientos que se utilizan para comunicarle al estudiantado si la respuesta a una pregunta es correcta o incorrecta, por ejemplo, puntajes en las pruebas, notas, símbolos y palabras (Sadler, 2010). Ruiz-Primo y Brookhart (2018) establecen que la retroalimentación efectiva es aquella en la que el estudiantado participa activamente usando la información para avanzar en su aprendizaje, y para ello debe conocer y comprender su nivel actual de aprendizaje y el nivel esperado. Esta forma de entender la retroalimentación ha sido denominada también como “descriptiva” (Rodgers, 2018) y “dialógica” (Ajjawi y Boud, 2018; Esterhazy y Damsa, 2017).
En este mismo orden de cosas, Evans (2013), destaca que la retroalimentación incluye todas las interacciones generadas en el proceso de evaluación que ocurren dentro y fuera del contexto de aprendizaje inmediato, que pueden ser pedidos explícitamente o no por quines estudian y que provienen de una amplia gama de fuentes. Esto implica situar la retroalimentación desde una perspectiva socioconstructivista, es decir, desde un proceso que enfatice la naturaleza dinámica y social del aprendizaje, que destaca no solo su naturaleza, sino también los medios por los cuales es producida, distribuida y recibida. Por lo tanto, la retroalimentación es un proceso de diálogo cuya fuente de información no solo es la persona docente que dicta la asignatura, sino otro agente, por ejemplo, un par.
Para el propósito de esta investigación, se considera que la retroalimentación es un proceso de comunicación dialógica que genera quien enseña a partir de los resultados de procesos de evaluación de sus estudiantes, donde les entrega sugerencias y comentarios con la intención de que reconozcan sus errores y puedan aprender de ellos. Se define como un proceso dialógico porque, si bien es el profesorado quien realiza la retroalimentación, lo que realmente importa es lo que el o la discente haga con la información comunicada. Desde este punto de vista, la retroalimentación no garantiza aprendizajes, sino que aumenta las probabilidades de que quien estudia quiera aprender (Brookhart, 2011). Si la información es considerada útil, entonces ayudará al estudiantado a reafirmar lo que ya conocen y a comprender qué deben hacer para seguir aprendiendo, lo que les permite sentirse en control de su aprendizaje y desarrollar habilidades de auto-evaluación y monitoreo.
2.2. Retroalimentación efectiva para el aprendizaje
Si bien no existe en la literatura consenso respecto de todos los aspectos que la retroalimentación debe presentar para generar efectos positivos en los aprendizajes del estudiantado, sí existen algunos elementos comunes que deben tenerse en cuenta para que así sea. Entre ellos destacan:
Ser considerada como parte integral de la enseñanza y la evaluación (Burkšaitienė, 2012; Sadler, 1989, 2010). Por lo tanto, debe integrarse dentro de la planificación de clases (Nicol, 2010).
Permitir y estimular el diálogo entre estudiantes y docente sobre el aprendizaje, cuidando un ambiente positivo (Brookhart, 2007; Burkšaitienė, 2012; Carless, 2006; Hargreaves, 2013; Shute, 2008).
Entregarse en un tiempo adecuado, así como otorgar plazos adecuados para mejorar el trabajo (Brookhart, 2007; Crooks, 1998; Shute, 2008).
Ser legible y estar ubicada adecuadamente, esto si se trata de retroalimentación escrita (Sadler, 2010).
Centrarse en el desempeño mostrado en el trabajo en vez de dirigirse a la persona del estudiante (Brookhart, 2007; Burkšaitienė, 2012; Shute, 2008; Stobart, 2006; Veslin y Veslin, 1992).
Ser netamente descriptiva, clara, estructurada y detallada (Brookhart, 2007; Burkšaitienė, 2012; Carless, 2006; Jonsson, 2013; Nicol, 2010; Shute, 2008). Este es el tipo de retroalimentación que más valora el estudiantado (Crooks, 1998).
Comunicar al estudiantado sus fortalezas y debilidades, orientándolo para que pueda corregir sus errores y hacer mejores trabajos a futuro. En este sentido, adquiere un carácter transferible (Burkšaitienė, 2012; Crooks, 1998; Hargreaves, 2013).
Estar guiada especialmente por los aprendizajes que se evalúan y los criterios y estándares que orientan la corrección (Brookhart, 2007; Burkšaitienė, 2012; Carless, 2006; Crooks 1998; Jonsson, 2013; Sadler, 1989; Shute, 2008; Veslin y Veslin, 1992). El estudiantado, entonces, podrá apreciar la articulación entre lo que se pretende que aprendan, la enseñanza y la evaluación.
Centrarse en aquellos aspectos que son prioritarios para el aprendizaje que se evalúa (Sadler, 1989, 2010; Shute, 2008; Veslin y Veslin, 1992). De esta manera, ayuda a clarificar qué es un buen desempeño.
2.3. Categorías de retroalimentación
En la literatura especializada se encuentran diversas investigaciones que usan clasificaciones, tipologías y enfoques para analizar las prácticas de retroalimentación y las concepciones que las orientan. A continuación, se presenta una síntesis de dichas clasificaciones. Se le da especial énfasis a la tipología de Tunstall y Gipps (1996) por considerarse que el nivel educacional de aplicación se ajusta al de la presente investigación y por ser lo suficientemente completa y específica como para dar cabida a la mayoría de las modalidades de retroalimentación bajo estudio.
Dirigida al ego estudiantil. Denominada también “Dirigida a la persona”, esta retroalimentación destaca aspectos positivos o negativos relacionados con la persona del estudiante, ya sea su personalidad o conducta, las cuales afectan su desempeño (Butler, 1988). En caso de ser positiva, tiene como finalidad promover sentimientos positivos y compromiso con el estudio, especialmente en estudiantes a quienes les cuesta más obtener buenos resultados (Harris, Irving y Peterson, 2008). Ejemplos: “Felicitaciones”;
“Eres muy inteligente, sigue así”.
Dirigida al trabajo realizado. En oposición a la anterior, esta retroalimentación destaca aspectos positivos o negativos del trabajo realizado por el estudiantado pero separándolos de su persona (Butler, 1988). Ejemplo “Hay una clara identificación de los puntos en el gráfico”.
Evaluativa. Se trata de la emisión de un juicio sobre el trabajo del estudiantado, sin descripción o explicación alguna (Tunstall y Gipps, 1996; Voerman, Meijer, Korthagen y Simons, 2012). De acuerdo con Tunstall y Gipps (1996) puede subdividirse en retroalimentación positiva (recompensa y aprobación) y negativa (castigo y desaprobación):
Recompensa: Retroalimentación dirigida al ego, que consiste en un refuerzo positivo en su expresión más pura. Se usa para felicitar el esfuerzo, actitudes y ciertas habilidades como también para reforzar determinados comportamientos y motivar al estudiantado. Ejemplos: caritas felices, estrellas, elogios.
Aprobación: Se trata de expresiones de aprobación generales verbales y no verbales que se usan para motivar. Ejemplos. “Muy bien”, poner vistos buenos.
Castigo: Es la retroalimentación más negativa, se encuentra dirigida al ego. Es usada por el profesorado para indicar que algo les parece insatisfactorio y que lo reprueban. Ejemplos: Caritas tristes, “Horror”.
Desaprobación: Modalidad dirigida al ego y relacionada con sentimientos generales de desaprobación por parte del profesorado al estudiantado. Ejemplos. Subrayar errores, poner cruces, “Tú podrías hacerlo mucho mejor, pero eres tan flojo”.
Evans (2013), denomina como Retroalimentación correctiva las modalidades aquí presentadas como aprobación y desaprobación, ya que solo señalan lo bueno y malo del trabajo de la persona discente.
Descriptiva. Se trata de una modalidad dirigida al trabajo del estudiantado, orientada a describir las fortalezas y debilidades. De acuerdo con Tunstall y Gipps (1996), puede subdividirse en las siguientes modalidades:
Especificar aprendizajes logrados. Retroalimentación que identifica y comenta aspectos específicos de aprendizajes exitosos, comunica los criterios y el modo en que estos se han alcanzado. Ejemplo: "Esto está bien, pues rotulaste los ejes del gráfico y la distancia entre los números es equivalente".
Especificar lo que hay que mejorar. Se usa para corregir o especificar lo que necesita ser mejorado, se enfoca en los errores del trabajo realizado. Ejemplo: “Te equivocaste en el signo”.
Construir aprendizajes. Esta retroalimentación es más bien verbal e implica una conversación y diálogo con la estudiante o el estudiante para reflexionar sobre el trabajo realizado. Se lleva a cabo a través de preguntas orientadoras. Ejemplo, “¿Por qué crees que te equivocaste?”.
Diseñar caminos para aprender. Este tipo de retroalimentación se focaliza en la discusión conjunta acerca del trabajo, el profesorado sugiere en vez de corregir o decirle a su estudiante qué hacer para mejorar. Por ejemplo, discutir estrategias futuras para que les vaya mejor.
Producto de la revisión realizada, se excluyeron clasificaciones presentes en las siguientes investigaciones:
Santos y Pinto (2006). Si bien los autores usan una clasificación bastante completa, esta se centra en la interacción verbal entre el profesorado y el estudiantado, situación que en esta investigación no estaba presente por tratarse de análisis documental.
Noor, Aman, Mustaffa y Seong (2010) y Mori (2011). Ambas fueron descartadas por presentar clasificaciones exclusivas para retroalimentar el aprendizaje de una segunda lengua, con marcado foco en la corrección y confirmación y, por lo tanto, muy restringidas para la naturaleza de la presente investigación.
Ruiz-Primo y Li (2013). Descartada por presentar una clasificación exclusiva para retroalimentación de trabajos escritos.
2.4. El Sistema de Evaluación del Desempeño Profesional Docente en Chile
La Evaluación del Desempeño Profesional Docente en Chile es obligatoria para el profesorado que se desempeña en establecimientos educacionales que cuentan con financiamiento estatal. De acuerdo con los resultados de la evaluación, las personas son clasificadas en cuatro categorías: Destacado (desempeño que excede lo satisfactorio), Competente (desempeño satisfactorio), Básico (desempeño que refleja el mínimo requerido para llevar a cabo el ejercicio profesional docente) e Insuficiente (desempeño que no cumple los requisitos mínimos de la labor docente). Esta clasificación incide directamente en la remuneración docente en caso de ser clasificada en desempeño Destacado o Competente. Si su desempeño se clasifica como Básico o Insuficiente, debe reevaluarse al año siguiente, y, de acuerdo con esta nueva clasificación puede seguir trabajando o abandonar la dotación (Docentemas, 2016). Es decir, la Evaluación del Desempeño Profesional Docente en Chile tiene consecuencias significativas para profesores y profesoras.
Tal como ha sido señalado, el sistema tiene cuatro fuentes de información que, sumadas, determinan la calidad del desempeño docente: a) pauta de autoevaluación, b) entrevista de un par evaluador, c) informe de terceros (superior jerárquico) y d) portafolio divido en tres módulos. El módulo 1 del portafolio contempla la confección de tres productos relativos a diferentes ámbitos de los procesos de enseñanza y aprendizaje (planificación de una unidad pedagógica, evaluación de una unidad pedagógica y reflexión a partir de una clase). El módulo 2 considera el análisis de la grabación de una clase de 40 minutos, y el módulo 3, la evidencia de un trabajo colaborativo para el aprendizaje docente. El portafolio es la herramienta que mayor ponderación tiene dentro de las cuatro fuentes señaladas (60%). Para el caso de docentes que deben reevaluarse tras obtener la clasificación de desempeño insatisfactorio, representa el 80% de su calificación.
3. Marco metodológico
La investigación presentada tuvo un carácter cuantitativo, descriptivo y exploratorio, por cuanto pretende aumentar el grado de familiaridad de un fenómeno que es relativamente desconocido en el país e identificar conceptos o variables promisorias. Se trató de una investigación con carácter documental dado el objeto de estudio. Los documentos sirven para construir visiones particulares o específicas sobre un evento o proceso y son útiles para comprender realidades sociales dentro de un contexto institucional determinado (Flick, 2012). Por lo anterior, al analizarlos no debe solo considerarse su contenido, sino también el contexto en el que fueron escritos, los propósitos para los que fueron creados y el uso que se les da.
3.1. Muestra
El Centro de Perfeccionamiento, Experimentación e Investigaciones Pedagógicas, CPEIP, es un organismo dependiente del Ministerio de Educación de Chile, que está a cargo de la Evaluación del Desempeño Profesional Docente. Está autorizado para facilitar parte del material del profesorado evaluado para la investigación, previa firma de un compromiso de confidencialidad entre los investigadores y dicha institución. Se solicitó a dicho organismo que enviara pruebas corregidas por cada docente y la correspondiente retroalimentación que hace a su estudiante. Se recibieron 174 portafolios de docentes de matemática de todo el país y de distintos niveles de escolaridad, evaluados el año 2012. De estos, 16 fueron eliminados de la base por las siguientes razones: 2 estaban en blanco; 6 presentaban sus respectivas pruebas, pero sin corregir. Por lo tanto, se encontraban sin retroalimentación; 6 presentaban pruebas con notas fuera del rango solicitado por el Sistema (se estipula que debe ser una nota regular, es decir, no muy buena o no muy mala), y se presentaron pruebas con nota 7,0 y con nota 1,5; y, por último, 2 presentaron más bien pautas con aspectos a evaluar, pero sin completar y por lo tanto, ausentes de retroalimentación. De esta manera, se contó con 158 documentos válidos, es decir corregidos y con retroalimentación. Este número representaba el 11,3% de portafolios de docentes de matemática evaluados el año 2012.
La razón para seleccionar los documentos de docentes de matemáticas obedece a que es la especialidad disciplinaria de la investigadora responsable.
3.2. Documentos analizados y análisis de la información
El análisis se centró en dos documentos que forman parte del módulo 1 del portafolio de la Evaluación del Desempeño Profesional Docente: a) Un procedimiento de evaluación corregido al estudiantado y b) la retroalimentación ofrecida a dicho estudiantado (documento que solicita al profesorado escribir lo que le diría a su estudiante cuya evaluación fue corregida). Con el fin de caracterizar el tipo de retroalimentación realizada por el profesorado e inferir las concepciones subyacentes, los documentos mencionados fueron sometidos a un análisis de contenido en dos etapas. Primero, se realizó un breve análisis descriptivo para caracterizar el tipo de procedimientos de evaluación. Segundo, los documentos fueron objeto de la aplicación de un conjunto de códigos pre-establecidos a partir de las categorías de retroalimentación provenientes de la revisión bibliográfica, y presentadas en el marco referencial. Los códigos fueron aplicados de manera independiente por dos investigadores ayudantes, candidatos a magister, quienes fueron entrenados previamente para realizar el trabajo.
4. Resultados
4.1. Características de la muestra
La Tabla 1 presenta la clasificación docente en la Dimensión D del portafolio.
Tipo de pruebas | Frecuencia | Porcentaje válido | Porcentaje acumulado |
---|---|---|---|
Insatisfactorio | 55 | 34,8 | 34,8 |
Básico | 72 | 45,6 | 80,4 |
Competente | 23 | 14,6 | 94,9 |
Destacado | 8 | 5,1 | 100,0 |
Total | 158 | 100,0 | - |
Fuente: Elaboración propia a partir de los resultados año 2012
Como se observa, una gran parte del profesorado está clasificada en el nivel Básico (casi el 46%). El profesorado clasificado en el nivel Insatisfactorio corresponde al 34,8 %, las del nivel Competente al 14,6%, mientras que las del nivel Destacado llegan al 5,1%. De acuerdo con estos datos, solo un 19% del cuerpo docente realiza una retroalimentación de buena calidad.
La Tabla 2 muestra la clasificación de los procedimientos de evaluación presentados por el profesorado. Estos fueron clasificados de la siguiente manera: casi el 56%, en la categoría de pruebas combinadas, es decir, compuestas por preguntas de diverso tipo (se presenta el detalle en la Tabla 2). Le siguen las pruebas de tipo cuestionario con 25%, y luego las objetivas con 18%. Se presentaron 3 rúbricas y 2 listas de cotejo, pero 2 de las rúbricas y las 2 listas de cotejo venían acompañando pruebas tipo cuestionario, por lo cual se adoptó esta última clasificación. Una rúbrica se presentó sin prueba y se clasificó como rúbrica. Este último procedimiento junto a un trabajo de investigación, constituyen las únicas dos excepciones en un conjunto bastante tradicional, por lo cual se puede decir que el profesorado en su mayoría tiende a usar pruebas de respuesta cerrada o semi-cerrada.
Tipo de procedimientos | Frecuencia | Porcentaje válido | Porcentaje acumulado |
---|---|---|---|
Combinada | 88 | 55,7 | 55,7 |
Cuestionario | 40 | 25,3 | 81,0 |
Objetiva | 28 | 17,7 | 98,7 |
Rúbrica | 1 | 0,6 | 99,4 |
Trabajo de inv. | 1 | 0,6 | 100,0 |
Total | 158 | 100,0 | - |
Fuente: Elaboración propia a partir de los resultados año 2012
La Tabla 3, Tipo de preguntas, presenta el desglose para las 3061 preguntas provenientes de los 158 procedimientos de evaluación, esto confirma lo anteriormente dicho en cuanto a su estructura. Las preguntas de completación, selección múltiple, términos pareados y falso o verdadero constituyen el 52,9% del total; es decir, en más de la mitad se exige una respuesta cerrada de parte de la persona discente, lo que trae como consecuencia una pobre retroalimentación ya que el profesorado desconoce el razonamiento seguido para llegar a dicha respuesta. De las restantes preguntas, el 45,5%, son de tipo cuestionario, y aunque construidas con la misma lógica que aquellas de respuesta cerrada, dan más posibilidades a una buena retroalimentación, pues el estudiantado debe escribir algún desarrollo de su respuesta. La excepción a este conjunto la constituye un trabajo de investigación con 22 preguntas de desarrollo. No se encontraron preguntas de otro tipo, por ejemplo, de ensayo o que pudieran clasificarse como problema matemático.
Tipo pregunta | Frecuencia | Porcentaje |
---|---|---|
S. múltiple requisitos Preguntas de investigación | 16 22 | 0,5 0,7 |
Sin clasificar | 29 | 0,9 |
S. múltiple multi Item | 42 | 1,4 |
Términos pareados | 82 | 2,7 |
V ó F | 218 | 7,1 |
S. Múltiple Simple | 1053 | 34,4 |
Pregunta cuestionario | 1392 | 45,5 |
Total | 3061 | 100,0 |
Fuente: Elaboración propia a partir de los resultados año 2012
4.2. Caracterización de la retroalimentación
A continuación, se presenta el análisis conjunto del procedimiento de evaluación corregido -de aquí en adelante, la prueba corregida- de un estudiante y la retroalimentación que el docente le hizo efectivamente o haría a futuro de forma oral e individual. Dado que ambos documentos son de distinta naturaleza y, por lo tanto, la retroalimentación ofrecida es distinta, se establecen comparaciones entre un tipo de retroalimentación y otro.
En las pruebas corregidas se encuentran, en primer lugar, vistos buenos y malos, que de alguna manera comunican un puntaje. Luego, se encuentran círculos, dibujados ya sea para encerrar la respuesta correcta en el caso de las preguntas de selección múltiple, ya sea para señalar un error matemático (por ejemplo, un signo mal puesto), e incluso para señalar faltas de ortografía. También se encuentran, en menor medida, líneas para indicar que la estudiante o el estudiante no respondió; signos de interrogación para indicar que la persona docente no entendió la respuesta dada, y subrayados para indicar algún error o para llamar la atención sobre alguna indicación o instrucción (por ejemplo, “encierre con un círculo”). Por último, se encuentran dos casos de pruebas en que el cuerpo docente pone al lado de algunas respuestas L y N/L (logrado y no logrado).
Los puntajes indican el nivel de desempeño que el profesorado considera que ha tenido el estudiantado en una pregunta en particular y en la prueba en general. En todas las pruebas los puntajes se encuentran expresados en números, salvo una excepción, en que el profesorado asigna porcentajes. En todas, se consigna el puntaje total obtenido por el estudiantado y en la mayoría se encuentra el puntaje adjudicado por cada pregunta. Para las rúbricas y listas de cotejo, se encuentra marcado el puntaje que se obtiene. Puede decirse que los símbolos y puntajes consignados en las pruebas son de fácil interpretación para el alumnado, principalmente debido a que es la forma frecuente en que se procede en las pruebas escritas en el sistema escolar en Chile. Ello implica que hay una parte de la comunicación de resultados que se cumpliría debido a que la decodificación es la adecuada.
Respecto de los comentarios que el personal docente escribe en las pruebas, se encontraron un total de 97 de distinta naturaleza, relativos a las respuestas en las preguntas, y que, por lo tanto, comunican una diversidad de aspectos. Este análisis se presenta a continuación, en conjunto con el análisis de la retroalimentación estudiantil.
Para ilustrar este análisis, se presenta la Tabla 4 en la que se consignan las frecuencias de clasificación de los tipos de retroalimentación encontrados en las respuestas a las preguntas y en el documento que consigna el diálogo con el estudiantado.
TIPOS DE RETROALIMENTACIÓN | Documentos (158) | Preguntas (3061) | |||
---|---|---|---|---|---|
n | % | N | % | ||
Recompensa | 2 | 1,3 | 1 | 0,0 | |
Positiva Aprobación | 88 | 55,7 | 2302 | 75,2 | |
Castigo | 2 | 1,3 | 4 | 0,1 | |
Negativa Desaprobación | 6 | 3,8 | 604 | 19,7 | |
Especificar aprendizajes logrados | 64 | 40,5 | 1 | 0,0 | |
Especificar lo que hay que mejorar | 78 | 49,4 | 1270 | 41,5 | |
Construir aprendizajes | 16 | 10,1 | 4 | 0,1 | |
Diseñar caminos para aprender | 14 | 8,9 | 1 | 0,0 |
Fuente: Elaboración propia a partir de los resultados año 2012
4.2.1. Modalidades de retroalimentación “Recompensa” y “Castigo”.
La Tabla 4 muestra que solo el 1,3% del profesorado usó estas modalidades en forma particular con su estudiante. Respecto de cada respuesta en las pruebas, solo hay una con retroalimentación del tipo recompensa y 4 del tipo Castigo, lo que constituye apenas un 0,1%.
4.2.2. Modalidad de retroalimentación “Aprobación”.
Cerca del 56% del profesorado usó esta modalidad con su estudiante en particular. Dentro de este porcentaje, la mayoría se concentró en felicitaciones, en algunos casos destacando sus aspectos positivos, por ejemplo "Veo en ti un alto potencial y mucho esfuerzo", y "Quiero felicitarte por tu esfuerzo y entusiasmo". Respecto de la corrección en las pruebas escritas, esta modalidad se encuentra en un gran porcentaje de las respuestas, 75%, pero se trata de marcas o vistos, lo que es esperable tratándose de procedimientos escritos que llevan a calificación ya que el profesorado debe usar algún tipo de símbolo para comunicar su grado de aprobación en cada pregunta.
4.2.3 Modalidad de retroalimentación “Desaprobación verbal y no verbal”.
Esta fue usada en un porcentaje muy bajo de 3,8%. Dicho profesorado escribió comentarios tales como "Se nota que no estudiaste adecuadamente” o "No seas tan pasivo”. Como se puede observar, hay una atribución de responsabilidad de parte de la persona docente hacia su estudiante cuando no ha logrado realzar la tarea de la forma en que se esperaba.
En el caso de la prueba corregida, esta modalidad se da en forma de cruces o vistos malos, señalando que la respuesta de la persona estudiante no es la esperada: está mala, incompleta o ausente. Se aprecia entonces una diferencia en la modalidad en que se otorga este tipo de retroalimentación: si es de manera directa con el estudiantado se traduce en expresiones verbales de desaprobación y, si es por escrito, se remite solo a marcas en la prueba.
4.2.4 Modalidad de retroalimentación “Especificar aprendizajes logrados”
Un 40,5% del profesorado usó esta modalidad al retroalimentar a su estudiante particular. Los comentarios realizados son más o menos específicos, y en su mayoría detallan qué estuvo bueno en relación con los objetivos de la prueba. Por ejemplo, "En el primer objetivo lograste un 100%"; “Has logrado identificar correctamente los múltiplos y divisores"; "Demostraste un gran dominio en los despejes de las incógnitas”. Se encontró una pequeña correlación positiva y significativa de 0,21 entre esta variable y la clasificación total en la dimensión de reflexión, lo que implica que aquel profesorado que fue específico al retroalimentar fue mejor clasificado. En el caso de la corrección de las pruebas, solo un comentario realizado a una pregunta de tipo cuestionario fue clasificado en esta categoría.
4.2.5. Modalidad de retroalimentación “Especificar lo que hay que mejorar”
Casi la mitad del profesorado usó este tipo de retroalimentación con su estudiante particular. En este caso, se encuentran dos tipos de comentarios: aquellos que indican aspectos específicos que requieren ser mejorados y, en menor proporción, aquellos que, además, otorgan sugerencias para mejorar. Ejemplos del primer caso son, “Referente a la construcción del gráfico, la lectura no fue la adecuada" o “Te equivocaste al escribir el exponente lo que te llevó a un error en el desarrollo del ejercicio". Se puede afirmar que en estos casos también hay atribución de responsabilidades, ya que los comentarios se dirigen a faltas en la persona estudiante: de estudio, de concentración, de participación. Para el segundo caso, relativo a sugerencias, encontramos: “Le indico los aprendizajes no logrados, le pido que revise las preguntas incorrectas y descubra en qué se equivocó" o "Es importante que realices ejercicios de fracciones".
El programa SPSS arrojó una pequeña correlación positiva y significativa de 0,23 entre esta variable y la clasificación en la Dimensión D, relativa a la reflexión, lo que sugiere que docentes que especificaron aquello que su estudiante debía mejorar fueron mejor clasificados que quienes que no lo hicieron. En el caso de las pruebas corregidas, se encontró apenas un 4,4% de las preguntas con este tipo de retroalimentación. La mayoría se refiere al contenido evaluado, por ejemplo, le completan un ejercicio al que le falta algo o le señalan en palabras específicamente lo que falta, como "Falta dividir con decimales” o “Falta aplicar teorema”. Otros comentarios se refieren a habilidades generales con comentarios como “Debes mejorar tu redacción”.
4.2.6. Modalidad de retroalimentación “Construir aprendizajes”
El personal docente que usó este tipo de retroalimentación con una persona estudiante en particular constituyen solo un 10%. Se enfocaron en realizar preguntas orientadoras, tanto generales como también centradas en el contenido específico que se evalúa, tales como “¿Cuáles son los pasos que debemos realizar para resolver un problema?” o “¿Cuál crees que sería la respuesta correcta?". Debido a la naturaleza de este tipo de retroalimentación, se encontró esta modalidad solo en 4 preguntas de las pruebas corregidas.
4.2.7. Modalidad de retroalimentación “Diseñar caminos para aprender”
Menos del 9% usó esta modalidad con comentarios o acciones como las siguientes: "Consulté al estudiante el por qué de sus errores, y decidimos en conjunto sus fallas" y "Valoro sus ideas y pongo énfasis en los puntos positivos”. Dado que se trata, más bien, de un diálogo, este tipo de retroalimentación prácticamente no fue encontrado en la corrección de las pruebas.
5. Discusión
Respecto del tipo de preguntas que contienen las pruebas analizadas, debe señalarse que las indicaciones que se otorgan desde el Mineduc, en relación con el tipo de procedimiento evaluativo que puede presentar el profesorado, son lo suficientemente amplias como para permitir una variedad de estrategias evaluativas. Se pide que la evaluación sea coherente con los objetivos planteados y los aprendizajes abordados en clases; que haya una determinación clara y correcta de las respuestas o desempeños esperados; se otorgan sugerencias si se trata de evaluación del desempeño a través de rúbricas o pautas, como también si se trata de pruebas más tradicionales; puede ser aplicada durante el proceso o al final e incluir textos, fotocopias y audios (Docentemas, 2012). Por lo tanto, no se puede atribuir una intencionalidad en las instrucciones respecto del tipo de procedimiento evaluativo que debe presentar el profesorado de matemática.
Debe destacarse que se encuentran notorias diferencias en la retroalimentación ofrecida por quienes enseñan en las pruebas corregidas en comparación con el diálogo que sostienen con sus estudiantes. Esto puede deberse a varios factores, entre los cuales se cuenta el hecho de que la Evaluación del Desempeño Profesional Docente pone el foco en la retroalimentación que se ofrecería a la persona estudiante en lógica de diálogo, por lo cual es posible que los docentes y las docentes piensen, de manera legítima, que no tienen necesidad de otorgar una retroalimentación muy detallada al corregir la prueba, ya que esta competencia la van a evidenciar en otro documento.
Por otra parte, dados los procedimientos de evaluación presentados y sus correspondientes preguntas o tareas (cerradas o semi-cerradas), es difícil ofrecer una retroalimentación escrita que apunte al aprendizaje, descriptiva y centrada en habilidades, ya que el profesorado, en la mayoría de los casos desconoce la naturaleza de los errores. En cambio, al dialogar con su estudiante, quien enseña comprende su razonamiento matemático, se entera si se trata de otro tipo de habilidades que debe atender y sugiere alternativas para mejorar. Se puede afirmar entonces que, en las modalidades de retroalimentación escrita y oral, subyacen distintos tipos de concepciones. A continuación, se presenta una caracterización de los tipos de retroalimentación encontrados, en modalidad oral y escrita, las concepciones que las orientan y el sentido que aparentemente le otorga el profesorado.
5.1. Retroalimentación entendida como corrección
Los símbolos comunican información evaluativa y pueden presentarse de muy diversas maneras. La retroalimentación en las pruebas escritas analizadas se caracteriza por símbolos, tales como: cruces, vistos, subrayados, signos de interrogación, círculos y rayas, puntajes individuales por pregunta y por prueba en total, notas y, en mucha menor medida, por comentarios. Aunque no hay presencia de las categorías castigo y recompensa, la retroalimentación ofrecida es mayoritariamente evaluativa, específica, retroactiva; es decir, que identifica los aciertos o errores cometidos en la tarea pasada, enfocada hacia la comunicación de los resultados y no al aprovechamiento pedagógico.
Esta modalidad ha sido denominada por Torrance y Pryor (1998) como “convergente” y por Jodaie, Farrokhi, y Zoghi (2011) como “correctiva”. Se concibe como un proceso en el cual se le comunican al estudiantado sus aciertos, pero especialmente sus errores, a través de símbolos, marcas, cruces, vistos y puntajes (Bailey y Garner, 2010; Harris et al., 2008; Jodaie et al., 2011; Knight, 2003; Li y Barnard, 2011; Long, 2014; Orsmond y Merry, 2011; Tang y Harrison, 2011). Para la comunidad docente es una manera rápida y clara de identificar los errores, por ejemplo, con subrayados o círculos.
Los símbolos otorgan una información muy limitada, por lo cual, el estudiantado tiene poca posibilidad de mejorar, en especial, si la nota no es buena, ya que lo puede desmotivar notablemente (Jonsson, 2013) y afectar la percepción de autoeficacia (Gibbs y Simpson, 2009). De acuerdo con Sadler (1989), en estos casos, la atención del estudiantado se desvía de los criterios y de sus juicios fundamentales derivados, por lo que resulta ser contraproducente para efectos formativos. Los estudios muestran que, aun cuando se ponga una calificación acompañada de comentarios de buena calidad, el estudiantado otorga poca atención a mejorar su aprendizaje, ya que está más preocupado de aprobar la asignatura a través de la calificación obtenida, produciéndose un efecto de “cancelación” (Butler, 1988; Crooks, 1988; Gibbs y Simpson, 2009; Jonsson, 2013; Nicol, 2010; Stobart, 2006).
Si se indaga en la literatura sobre el sentido que el profesorado da a esta modalidad de retroalimentación, se encuentran dos aspectos interrelacionados; por una parte, la utilizan para comunicar y explicar al estudiantado cómo ha sido juzgado y calificado su trabajo junto con su nivel de desempeño; por otra parte, la usan para justificar la calificación asignada, no solo a sus estudiantes, sino también a los apoderados (Jodaie et al., 2011).
En este sentido, es necesario destacar que todas las pruebas presentadas derivan en calificación. Esta característica incide en la forma en que el profesorado retroalimenta, puesto que necesariamente deben comunicar a la persona discente su nivel de aprendizaje traducido, ya sea en un número o concepto, y en la mayoría de los casos acompañado de vistos o cruces. Esta situación confiere a las prácticas de retroalimentación una primera orientación a la corrección.
5.2. Retroalimentación entendida como elogio
La modalidad de retroalimentación que aparece con mayor preponderancia cuando la persona docente dialoga con su estudiante, respecto de los resultados en la prueba, es la aprobación traducida en elogios o alabanzas, con un 55,7%. En la modalidad escrita también se encuentra esta retroalimentación, pero reducida a palabras tales como: “Excelente”, “Felicitaciones” o “Bien”. Este tipo de retroalimentación, junto con el anteriormente analizado, constituye uno de los más frecuentes en cualquier nivel de escolaridad. Se trata de retroalimentación evaluativa, positiva y dirigida al ego, cuya finalidad es promover sentimientos positivos y compromiso con el estudio, especialmente en estudiantes a quienes les cuesta más obtener buenos resultados (Burnett y Mandel, 2010; Harris et al., 2008).
Puesto que la retroalimentación tiene como propósito central cerrar la brecha entre el actual estado de aprendizaje y el deseado, Stobart (2006), señala que en la retroalimentación como elogio la brecha a ser cerrada apunta, más bien, a la percepción estudiantil sobre su persona que a su aprendizaje. Por lo tanto, es razonable que desde las directrices oficiales no se solicite este tipo de retroalimentación. Su gran frecuencia de aparición podría explicar en parte la baja puntuación que obtiene la comunidad docente de matemática evaluada el 2012 en esta dimensión, que es de 2,04.
5.3. Retroalimentación entendida como la especificación del aprendizaje no logrado
En el caso del diálogo con el estudiantado, en un importante porcentaje cercano al 50%, se encuentra presente la categoría que dice relación con una retroalimentación descriptiva, específica, dirigida al trabajo estudiantil y enfocada en los aprendizajes no logrados; por ejemplo, errores cometidos, aspectos incompletos o ausencias. De aquí surgen dos modalidades: una, que indica aspectos específicos que requieren ser mejorados, y en menor medida otra, que, además, otorga sugerencias para mejorar.
En las pruebas escritas también se encuentra un alto número de respuestas con esta modalidad de retroalimentación, cercano al 42%, enfocada en completar una respuesta incompleta o sencillamente poner la respuesta correcta. Otra forma que adopta es escribir específicamente cuál es el error cometido; por ejemplo, "Faltó poner la respuesta por escrito” o “no usó la fórmula”.
5.4. Retroalimentación entendida como mejoría proyectiva
Otra forma de concebir la retroalimentación se expresa en comentarios que el profesorado realiza oralmente a sus estudiantes, con la intención explícita de que puedan mejorar en trabajos a futuro. Les hacen sugerencias, mayoritariamente sobre aspectos personales, tales como: responsabilidad, capacidad de trabajar en grupo, atención en clases, perseverancia o motivación al estudio, y en menor medida sobre el contenido matemático. En algunos casos, les sugieren acciones en conjunto, ya sea con la persona docente o con los compañeros y las compañeras. La tendencia es que los comentarios se refieren mayoritariamente a errores, aspectos deficitarios o elementos ausentes en los trabajos estudiantiles. En la corrección de las pruebas esta forma de entender la retroalimentación casi no se encuentra presente.
Al análisis anterior hay que agregarle aquellas modalidades que están ausentes o que se presentan con muy poca frecuencia. La modalidad castigo no se encuentra, la desaprobación se presenta con muy poca frecuencia en el diálogo con el alumno y en las pruebas corregidas está solo traducida en cruces. Por lo tanto, se puede afirmar que este profesorado casi no usa retroalimentación evaluativa negativa. Por otra parte, hay retroalimentación descriptiva que se usa muy poco, como lo son las modalidades Construir aprendizajes y Diseñar caminos para aprender, que, aunque implican un diálogo, apenas alcanzan al 10% en la instancia en que el profesorado conversa con su estudiante. Las pruebas escritas prácticamente carecen de todo tipo de retroalimentación descriptiva.
Respecto del estudiantado, es lamentable que la Evaluación del Desempeño Profesional Docente no estimule su participación en los procesos de retroalimentación, en especial, en la modalidad de diálogo que realiza el profesorado. Las investigaciones señalan que la retroalimentación concebida como diálogo es un proceso que involucra la interacción coordinada entre docente-estudiante, y que en este proceso se comparten interpretaciones y se negocian significados, lo cual le permite a quien estudia interactuar con las nociones de calidad en la disciplina, a partir de la información que le entrega su docente (Carless, 2015; Nicol, 2010; Steen-Utheima y Line Wittek, 2017). Dado que no se tiene información acerca de la actividad del estudiantado, queda la impresión de que este proceso se ve reducido a un monólogo. Finalmente queda la interrogante acerca del efecto que tienen las diversas modalidades de retroalimentación en el aprendizaje del estudiantado. Si se atiende a la literatura se podría decir que la comunidad estudiantil cuyo profesorado le otorga retroalimentación descriptiva, orientadora, específica y proyectiva podrá aprender más y mejor que aquella que recibió otra modalidad.
6. Conclusiones
Aunque una limitante de la investigación es que los documentos analizados no son representativos en términos estadísticos, es claro que estos dan cuenta, en parte, de la manera en que el profesorado de matemáticas retroalimenta a sus estudiantes. Entre los aspectos positivos de este conjunto se puede destacar la casi total ausencia de retroalimentación negativa y un alto porcentaje de retroalimentación de tipo descriptiva y específica. No obstante, si se considera que el profesorado tiene la oportunidad de presentar una retroalimentación individual y oral; es decir, un diálogo con el estudiantado, se puede decir que la desaprovechan, ya que, en su mayoría, alaban a la persona del estudiante, le señalan errores muy generales y le otorgan también sugerencias generales. Así, la literatura es clara en señalar que los comentarios orales o escritos deben dirigirse al trabajo y no al ego de la persona discente; ser coherentes con los criterios de evaluación y corrección; ser orientadores y, en lo posible, ser proyectivos, esto es, mejorar en trabajos a futuro.
Este panorama podría explicarse, en parte, por el tipo de procedimientos de evaluación que utiliza la comunidad docente -de respuestas cerradas - lo que impide conocer el razonamiento estudiantil y, por lo tanto, limita una retroalimentación adecuada. A su vez, la continua aplicación de pruebas estandarizadas en nuestro país influye en las prácticas evaluativas docentes, puesto que se sienten presionadas a responder a las exigencias de este tipo de pruebas externas (Rojas, 2010). A lo anterior, se suma que las orientaciones que les son entregadas parecen ser insuficientes para conducirlas en ejercicio a responder a los requerimientos de la Evaluación del Desempeño Profesional Docente. Esto se evidencia en la amplitud de las instrucciones y en la poca información que estas entregan para comprender qué se concibe como resultado óptimo.
Los resultados de este estudio llaman a promover el fortalecimiento de la formación inicial y continua en evaluación para el aprendizaje con el fin de utilizar la retroalimentación como un insumo para mejorar los procesos de aprendizaje. Esta recomendación se vuelve aún más perentoria tras la reconfiguración realizada en 2016 al formato del portafolio de Evaluación del Desempeño Profesional Docente, donde la retroalimentación ya no aparece explícitamente como un producto a evidenciar. Si bien, se sigue instando al uso formativo de las dificultades del estudiantado, la ambigüedad existente respecto de los procesos de retroalimentación puede causar confusión en el profesorado evaluado, e, incluso, puede conducirlas a pensar que no son relevantes, puesto que ya no son evaluadas.
Para finalizar, debe mencionarse que los estudios sobre procesos de retroalimentación son escasos en el contexto hispanoparlante, en todos los niveles escolares y en todas las disciplinas, por lo que se alienta a la comunidad investigadora a contribuir a reducir este déficit. Se espera que los resultados de este estudio puedan profundizarse con nuevos estudios en terreno, los cuales contribuyan a caracterizar las concepciones docentes sobre los procesos de retroalimentación y a analizar sus prácticas de aula.