SciELO - Scientific Electronic Library Online

 
vol.19 issue3English vowel sounds: pronunciation issues and student and faculty perceptionsSensitive education: effects of a formative pedagogy for democratic coexistence in Peruvian schoolchildren author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • Have no similar articlesSimilars in SciELO

Share


Actualidades Investigativas en Educación

On-line version ISSN 1409-4703Print version ISSN 1409-4703

Rev. Actual. Investig. Educ vol.19 n.3 San José Sep./Dec. 2019

http://dx.doi.org/10.15517/aie.v19i3.38638 

Artículo

El uso de la rúbrica como herramienta de evaluación y de retroalimentación de la expresión escrita en Francés

The use of the rubric as a tool of assessment and feedback of expression in French

Kuok-Wa Chao Chao1 

Micheline-Joanne Durand2 

1Profesor catedrático de la Universidad de Costa Rica en la Escuela de Lenguas Modernas, Costa Rica. Doctorado en medición y evaluación de la Universidad de Montréal, Canadá. Dirección electrónica: kuok.chao@ucr.ac.cr

2Profesora catedrática de la Universidad de Montréal, Directora de laboratorio de investigación en evaluación, Canadá. Doctorado en educación de la Universidad de Québec, Canadá. Dirección electrónica:mj.durand@umontreal.ca

Resumen

Este artículo comparte los hallazgos de una investigación realizada en la Universidad de Costa Rica durante el año 2016. El problema planteado en este estudio fue ¿Cómo la rúbrica ayuda a la persona docente a desarrollar una retroalimentación efectiva y a evaluar las producciones escritas de sus estudiantes? Los antecedentes señalan que la retroalimentación es un elemento esencial para ayudar al estudiantado a mejorar y a reflexionar sobre su propio aprendizaje. Se utilizó una metodología cualitativa de tipo colaborativo. Las personas participantes estaban conformadas por tres docentes y sus respectivos estudiantes. Se realizó un pretest antes de comenzar con la implementación de la rúbrica descriptiva analítica, para documentar las prácticas evaluativas existentes del cuerpo docente. Esto tuvo lugar antes de la realización del taller de formación. Asimismo, se efectuó un postest después de finalizar la investigación en el mes de diciembre del año 2016. De esta manera, se realizaron seis entrevistas a profundidad a docentes de cursos de composición y seis grupos de discusión a sus estudiantes. Se realizaron tres entrevistas antes del taller de formación al cuerpo docente y las otras tres al final de la investigación. De igual modo, para los grupos de discusión, se realizaron tres antes del taller y tres al finalizar el estudio. Como principales resultados, el profesorado encontró que la rúbrica le permitió evaluar de una manera más profesional, al mismo tiempo que ofreció una buena retroalimentación al estudiantado. Sin embargo, se necesita realizar ajustes para mejorarla. Por parte del cuerpo estudiantil, este percibió que era un buen instrumento para realizar una autoevaluación de sus producciones escritas, pero que era necesario tener ejemplos de trabajos para cada criterio. Se concluye que a pesar de algunas dificultades que hubo durante la implementación, la rúbrica es eficaz para la retroalimentación y la evaluación en los cursos de expresión escrita.

Palabras clave: evaluación; retroalimentación; expresión escrita; francés

Abstract

This paper was conducted at the University of Costa Rica in 2016. The research problem was “How does the rubric for written production help teachers provide effective feedback to their students?” Existing theory emphasizes that feedback is an essential tool to help students improve their skills. Additionally, it allows them to extend their learning and become aware of their own learning process. In regard to the methodology for this research, a qualitative collaborative method was used. Three professors and their students participated in this study. A pretest was conducted before the implementation of the descriptive analytical rubric in order to document the existing assessment practices among professors. It also took place before the completion of a training workshop. A post-test was conducted after completing the investigation in December 2016. In this manner, six interviews were completed by professors teaching written expression courses as six discussion group were held with the participant students. Three interviews were conducted before the training workshop and the other three at the end of the research. Likewise, for the discussion groups, three interviews were conducted before the workshop and three at the end of the study. The results show that this assessment tool allowed instructors to evaluate and to offer effective feedback to the participants. Concerning the students, they expressed a positive attitude towards the instrument for self-evaluation of their written productions. Nevertheless, it is necessary to have some models as examples of assignments for each criterion. Taking these results into account, it is possible to conclude that the rubric is an effective tool to give feedback and to evaluate written productions.

Key words: assessment; feedback; writing; French

Introducción

La sociedad moderna depende mucho más de la escritura debido al número de personas que la utiliza en casi todos los ámbitos de la vida: personal, académico y profesional (Carduner, Holy, M’Ghary y Pignon, 2013). Según Aase, Fleming, Ongstad, Pieper y Samihaian (2009), los conocimientos y las habilidades requeridos para la producción escrita exigen una gama de competencias lingüísticas, pragmáticas y sociolingüísticas. Estos autores señalan que algunas son aprendidas o enseñadas, y otras son adquiridas a largo plazo. La escritura es una actividad difícil y compleja, ya que es la última competencia que desarrollan las personas aprendices y requiere el acompañamiento y la guía de la persona docente (Cledera Adelfa, 2009; Corpas y Madrid, 2007; Rakedson y Baram-Tsabari, 2016).

La complejidad de la producción escrita requiere de prácticas variadas para evaluarla. Se evaluaba tradicionalmente la capacidad del estudiantado para traducir un texto en donde se penalizaba, sobre todo, el error gramatical y léxico, sin tener en cuenta los otros componentes de la lengua (Bachman, 1990; Brown y Abeywickrama, 2010; Lussier y Turner, 1995). Sin embargo, con la llegada del enfoque comunicativo, el alumnado desarrolla la capacidad de comunicarse a través de los actos de habla en un contexto auténtico, sobre todo, para la producción oral (Germain, 1993; Larsen-Freeman y Anderson, 2016). A finales de la década de los 90, llega un nuevo enfoque en la didáctica de las lenguas conocido como la perspectiva enfocada hacia la acción. Este también se interesa en evaluar la producción escrita en un contexto auténtico por medio de tareas inspiradas en la vida real (Tardieu, 2008). De esta manera, se privilegia la redacción de textos variados, como la descripción, la carta, el formulario de inscripción, la argumentación, etc, para que el estudiantado pueda demostrar su competencia en diversos contextos (Tardieu, 2008). Por lo tanto, el hecho de quitar un punto por error gramatical, ortográfico o léxico no se aplicaría (Lussier y Turner, 1995), sino que se busca apoyar la evaluación por medio de una rúbrica para evaluar los diferentes aspectos lingüísticos, pragmáticos y sociolingüísticos de una producción escrita (Bento, 2012a; Bourguignon, 2009).

La rúbrica es un instrumento de evaluación asociado a la evaluación formativa, ya que ofrece una buena retroalimentación al estudiantado (Bachman y Palmer, 2010; Bento, 2012a; Bourguignon, 2009; Brookhart y Nitko, 2008; Brown y Abeywickrama, 2010; Rezaei y Lovorn, 2010; Wiggins, 1998). Diferentes estudios muestran los múltiples beneficios que este tipo de instrumento de evaluación aporta para el aprendizaje del alumnado (Andrade, 2005; Leggette, McKim et Dumsford, 2013; Lipnevich et al., 2014; Reddy, 2011; Russikoff, 1995; Yi, 2012). En efecto, su utilización permite a la persona estudiante ver su progresión y alcanzar los objetivos de aprendizaje (Furze, Gale, Black, Cochran y Jensen, 2015; Leggette et al., 2013). Las investigaciones muestran también que la rúbrica ayuda a la persona discente a mejorar su producción escrita, y es un instrumento que permite evaluar esta competencia lingüística (Andrade, 2005; Lipnevich et al., 2014; Reddy, 2011), lo cual aumenta la autoeficacidad de la escritura durante el curso (Andrade, Du y Mycek, 2010; Andrade, Wang, Du y Akawi, 2009). Ofrece también al alumnado explicaciones y clarificaciones de lo que se espera en su producción escrita (Rublee, 2014) y permite identificar las debilidades y las fortalezas para cada uno de los criterios evaluados (Russikoff, 1995; Yi, 2012). Es además una herramienta que le ofrece retroalimentación y una calificación; y esto aumenta la motivación y la comprensión de la evaluación por parte de las personas estudiantes (Andrade, 2005; Roever y Manna, 2005). Finalmente, ayuda al profesorado a evaluar la producción escrita según los criterios establecidos (Andrade, 2005; Rublee, 2014).

Otros estudios muestran que la rúbrica es un instrumento fiable para evaluar la competencia de la producción escrita, sobre todo, si las personas correctoras tuvieron una capacitación sobre su utilización, una discusión para ponerse de acuerdo y si participaron en su creación (Beyleri y Ari, 2009; East, 2009; Rezaei y Lovorn, 2010; Timmerman, Strickland, Johnson y Payne, 2011; Zhao, 2012). De esta manera, se puede observar una reducción o una eliminación de sesgo en la evaluación entre las personas evaluadoras (Rezaei y Lovorn, 2010).

En cuanto al contexto costarricense, identificamos una sola investigación sobre la evaluación de la competencia de la producción oral con el profesorado de inglés mediante la rúbrica. Barquero D’Avanzo y Ureña Salazar (2015) encontraron que este instrumento garantizaba la objetividad del proceso evaluativo, facilitaba la evaluación para el profesorado, disminuía el estrés en el momento de evaluar, ya que el estudiantado conocía cuáles eran los criterios en los que serían evaluados. Sin embargo, con respecto a la producción escrita, no existe ningún estudio sobre esta temática, sobre todo en el caso de francés en el contexto costarricense.

Cabe recalcar también que en los cursos de expresión escrita de las carreras del Bachillerato en Francés y Bachillerato en la Enseñanza del Francés de la Universidad de Costa Rica, el profesorado suele emplear un instrumento de evaluación que no aporta casi ninguna retroalimentación para el estudiantado o no utiliza ningún tipo de rúbrica, sino que penaliza solamente los errores lingüísticos sin contemplar los otros componentes de la lengua. Por lo tanto, en esta investigación se busca por un lado identificar las prácticas evaluativas vigentes del cuerpo docente para evaluar las producciones escritas de sus estudiantes y, por otro, analizar las percepciones que tienen el estudiantado y el profesorado acerca del instrumento de evaluación utilizado. A partir de estos primeros resultados, se construirá una serie de talleres de formación para el profesorado con el fin de instrumentarlo en las nuevas prácticas de evaluación más acordes con las nuevas perspectivas en didáctica de una segunda lengua o lengua extranjera y en evaluación. Por otro lado, se pretende analizar después de la implementación de la rúbrica la percepción docente y estudiantil acerca del papel que juega este nuevo instrumento de evaluación para la producción escrita. Esta investigación contempla solamente a un grupo específico de docentes de los cursos de expresión escrita en francés y sus estudiantes, puesto que estos accedieron a colaborar voluntariamente en el estudio durante el segundo semestre del 2016. Además, las docentes participantes estuvieron presentes en los talleres de formación que se realizaron en el mes de julio del 2016.

A continuación, se presentará en este artículo como referente teórico el nuevo paradigma en la evaluación, así como la función de la evaluación formativa conocida como la evaluación al servicio del aprendizaje y la instrumentación de la evaluación. Además, se hablará de la investigación colaborativa como la metodología empleada para este estudio, de las características del contexto, de las personas participantes, de los instrumentos usados para la recolección de datos y de las limitaciones. Luego, se realizará la descripción de los resultados. Finalmente, se presentarán la discusión y las conclusiones de esta investigación.

Marco teórico

Un nuevo paradigma en la evaluación

El socioconstructivismo es un paradigma epistemológico que adopta la idea según la cual la persona estudiante construye sus aprendizajes, ya que toma en cuenta su dimensión social. Los aprendizajes se construyen por medio de las interacciones con las otras personas (el cuerpo estudiantil, el cuerpo docente, las amistades, la familia, etc.) y del entorno cultural e histórico (Guénette, 2010; Marion, 2007; Vygostsky, 1933). A partir de este contexto, surge la perspectiva nueva de la evaluación influenciada por este paradigma epistemológico y el paradigma centrado en el aprendizaje (Scallon, 2004). Desde esta perspectiva, la evaluación cumple con diferentes funciones (Ángeles Gutiérrez, 2003; Scallon, 2004):

  1. a. Utiliza instrumentos que permiten reconocer la manera de aprender de la persona estudiante y por qué obtiene ciertos resultados

  2. b. Concibe el aprendizaje como una sucesión de etapas interdependientes, es decir la evaluación está integrada al aprendizaje

  3. c. Toma en consideración el contexto de aprendizaje y los conocimientos anteriores de la persona alumna permitiéndole construir los nuevos conocimientos

  4. d. Representa una condición indispensable para proponer la ayuda de manera significativa y eficaz

  5. e. Muestra las etapas recorridas por el estudiantado durante su proceso de aprendizaje

  6. f. Permite al profesorado hacer una observación continua con el fin de tomar una decisión pertinente para ofrecer a la persona estudiante las ayudas necesarias.

De esta manera, la evaluación es vista como un proceso constante de producción de información, ofrecida por la persona profesora y estudiante para la toma de decisiones, con el fin de modificar las actividades de enseñanza y de aprendizaje (Black y Wiliam, 1998a; Lorenzana Flores, 2012; Wiliam, 2010). Según esta perspectiva, el individuo construye una respuesta relativamente elaborada y varias respuestas diferentes pueden ser consideradas como aceptables o posibles, es decir que no existe una única respuesta esperada por la persona docente (Louis, 2004; Scallon, 2004), sino que se busca que el individuo manifieste su competencia a través de situaciones complejas (Ahumada, 2005; Ferreyra, 2012; Nguyen y Blais, 2007; Scallon, 2004). Para evaluar estas situaciones, se necesita apoyarse en criterios precisos (Scallon, 2004). Se acepta la presencia del error como una forma natural de aprender y que no conduce necesariamente a una sanción (Ahumada, 2005). Es por eso que se reconoce la importancia de integrar la evaluación en el proceso de aprendizaje. Por lo tanto, la evaluación y el aprendizaje son interdependientes (Leroux y Bigras, 2003; Scallon, 2004). Esto es posible gracias al reconocimiento de la función formativa de la evaluación o la evaluación al servicio del aprendizaje (Scallon, 2004).

La evaluación al servicio del aprendizaje

Este tipo de evaluación se desarrolla durante la formación o el aprendizaje estudiantil (Allal, 1991; Durand y Chouinard, 2012; Lussier, 1992; Roegiers, 2010). Tiene una función de regulación (Allal, 1991; Cuq y Gruca, 2003; Scallon, 2000). Ofrece al profesorado y al estudiantado una retroalimentación sobre el progreso de este último e identifica los problemas de aprendizaje que tiene (Allal, 1991; Black y Wiliam, 1998b). Permite recoger informaciones sobre las fortalezas y las debilidades estudiantiles, su progreso, sus dificultades, sus conocimientos adquiridos parcialmente y sus limitaciones con el fin de ajustar continua e inmediatamente las intervenciones de su formación (Abedi, 2010; Earl y Giles, 2011; Louis, 2004). Así, el estudiantado las reorganiza en función de sus limitaciones o de sus necesidades específicas para mejorar su aprendizaje y guiarlo mejor (Abedi, 2010; Earl y Giles, 2011; Louis, 2004). Brookhart (2007) afirma que este tipo de evaluación es visto como una información sobre el proceso de aprendizaje del cual el profesorado puede servir para guiar sus decisiones pedagógicas y que el estudiantado puede utilizar para mejorar sus demostraciones. Además, busca desarrollar en el alumnado su capacidad para autoevaluarse, utilizar las retroalimentaciones para sus propios aprendizajes, identificar sus necesidades y sus estrategias con la guía del profesorado (Earl y Giles, 2011; Keppell y Carless, 2006).

Los instrumentos para la interpretación y para el juicio de valor

En cuanto a los instrumentos para la interpretación y para emitir un juicio de valor, encontramos los siguientes:

  1. a. La lista de verificación. Es un instrumento que permite verificar la ausencia o la presencia de un indicio, una fortaleza o una debilidad (Durand y Chouinard, 2012).

  2. b. La escala uniforme. Es un instrumento que permite emitir un juicio de valor sobre las cualidades de la realización del estudiantado (Durand y Chouinard, 2012). Son fáciles de elaborar, pero tienen el inconveniente de no presentar suficiente descripción para cada una de las escalas (Durand y Chouinard, 2012). Además, la interpretación de esta escala varía de una persona evaluadora a otra, lo que no garantiza la objetividad de la evaluación (Côté, 2014).

  3. c. La rúbrica. Es un instrumento que es utilizado para evaluar la producción oral o escrita del estudiantado (Côté, 2014). Está compuesto por una serie de criterios y cada uno está acompañado de una descripción para cada nivel de la realización alcanzada (Brown y Abeywickrama, 2010).

La rúbrica

Diab et Balaa (2011) afirman que la rúbrica es un instrumento que permite evaluar, y a la vez ofrecer una retroalimentación al estudiantado. La rúbrica ayuda a evaluar una situación compleja como es el caso de una producción escrita (Popham, 1997; Scallon, 2004; Tardif, 2006) e indica al alumnado y al profesorado cuáles elementos se deben evaluar con el fin de permitir una notación fiable e imparcial (Guzmán Cedillo, 2013; Popham, 1997; Wiggins, 1998). Los descriptores en cada uno de los niveles permiten controlar la subjetividad de la evaluación y facilitar el ejercicio de un juicio de valor profesional y eliminan todo tipo de arbitrariedad (Côté, 2014; Diab et Balaa, 2011; Reddy, 2011).

Además, este instrumento simplifica la manera de atribuir una nota al estudiantado y ayuda al profesorado a ser consistentes en su evaluación (Ene y Kosobucki, 2016). A su vez, según Durand y Mouffe (2014) y Guzmán Cedillo (2013), la rúbrica ofrece a la persona discente una información precisa sobre su rendimiento y le permite centrarse en los objetivos de aprendizaje que le faltan por adquirir. Stiggins, Arter, Chappuis y Chappuis (2006) afirman que ayuda al estudiantado a comprender tres preguntas esenciales de una retroalimentación eficaz: hacia dónde voy, en dónde estoy ahora y qué es lo que voy a hacer luego. De esta manera, este instrumento define las cualidades de lo que se espera del alumnado en su producción, le propone una retroalimentación para mejorar su producción y le puede servir para hacer una autoevaluación y una autorreflexión de su trabajo (Andrade, 2005; Diab y Balaa, 2011; Guzmán Cedillo, 2013; Popham, 1997; Rublee, 2014).

Según Airasian, Engerman y Gallagher (2007), Andrade (2005), Côté (2014), Diab y Balaa (2011) y Scallon (2004), la rúbrica posee una serie de ventajas:

  1. a. Asegura un alto grado de concordancia de las evaluaciones realizadas por diferentes personas correctoras

  2. b. Propone una retroalimentación al estudiantado

  3. c. Evita comparar entre estudiantes

  4. d. Facilita su utilización para las personas estudiantes si han recibido una explicación de su uso y si se les han aclarado los criterios

  5. e. Permite la autoevaluación del trabajo de la persona discente

  6. f. Establece las manifestaciones observables de la competencia

  7. g. Ofrece informaciones descriptivas de la producción para el estudiantado

  8. h. Facilita la evaluación al profesorado

  9. i. Reduce la subjetividad de la calificación.

Estos mismos autores mencionan también una serie de inconvenientes como:

  1. a. La aplicación limitada a un pequeño número de criterios

  2. b. El tiempo que se toma para construir una buena rúbrica

  3. c. El estudiantado no comprende fácilmente la rúbrica si no se le acompaña y se le explica.

Como resumen, podemos mencionar que la rúbrica es un instrumento que está ligado a la evaluación al servicio del aprendizaje, ya que ofrece una buena retroalimentación al estudiantado, lo guía durante su proceso de aprendizaje, lo involucra en el proceso evaluativo, guía al profesorado y garantiza la objetividad en la evaluación.

Marco metodológico

En esta sección, presentamos el tipo de investigación, así como el contexto, los participantes, los instrumentos y el tipo de análisis que se utilizó en este estudio.

Tipo de investigación

Nuestro estudio es de enfoque cualitativo y de tipo colaborativo. Según Desgagné, Bednarz, Couture, Poirier y Lebuis (2001), la investigación colaborativa busca investigar con quiénes participan en lugar de hacerla sobre las personas participantes. Este tipo de investigación busca transformar las maneras de pensar y de hacer, según un proceso en donde los episodios reservados a la reflexión y a la acción están interrelacionados (Bourassa y Boudjaoui, 2012). Implica también una cooperación estrecha entre la persona investigadora y la persona participante, quienes se comprometen a explorar un aspecto de la práctica que forma parte de la investigación (Desgagné, 1997; Morrissette, 2013). De esta manera, es una co-construcción de un objeto de conocimiento entre el equipo investigador y sus participantes (Desgagné, 1997). El modelo desarrollado por Desgagné y sus colaboradores (2001) une la investigación con la formación.

Según Durand y Poirier (2012), esta actividad reflexiva conduce al profesorado a explicitar y a analizar sus prácticas pedagógicas y evaluativas con el fin de cambiarlas por medio de la formación continua para la persona docente. Esta actividad reflexiva se convierte en un objeto de análisis de la persona investigadora para producir conocimientos nuevos (Durand y Poirier, 2012). En este tipo de investigación, la población participante se compromete a explorar un aspecto de su práctica y ofrecer su comprensión del fenómeno estudiado (Desgagné et al., 2001). Según Desgagné (1997), la persona investigadora juega un doble papel: en el plano investigativo, solicita la colaboración de las personas participantes para investigar un objeto de estudio y pone en práctica el dispositivo necesario como la recolección y el análisis de los datos para producir conocimiento, mientras que en el plano de la formación, propone a las personas participantes un marco de reflexión sobre un aspecto de su práctica que responda a su desarrollo profesional o perfeccionamiento.

Contexto y participantes de la investigación

Esta investigación se realizó en la Sección de francés de la Escuela de Lenguas Modernas de la Universidad de Costa Rica, en los cursos de expresión escrita de segundo y tercer año de la carrera de Bachillerato en Francés. Esto se realizó durante el segundo semestre del 2016. En cuanto a las personas participantes, podemos hablar de dos grupos. El primer grupo lo conforman tres profesoras de los cursos de expresión escrita, de las cuales dos pertenecen al segundo año de la carrera y una al tercer año. A continuación, les presentamos algunas características de las docentes en la Tabla 1:

Tabla 1: Descripción de las características del profesorado de los cursos de expresión escrita de la Escuela de Lenguas Modernas, UCR, 2016 

Característica Docente 1 (P1) Docente 2 (P2) Docente 3 (P3)
Edad 41 a 50 años 31 a 40 años 51 a 60 años
Número de año de experiencia en enseñanza universitaria 12 años 6 años Más de 15 años
Diplomas Maestría Maestría Maestría

Fuente: Elaboración propia de los autores, 2017

El segundo grupo de participantes lo conforma el estudiantado matriculado en los cursos impartidos por estas docentes. A continuación, se describen las características de quienes participan en este grupo, como se presenta en la Tabla 2.

Tabla 2: Descripción de las características del estudiantado de los cursos de expresión escrita de la Escuela de Lenguas Modernas, UCR, 2016 

Características Segundo año Grupo 1 N: 17 Segundo año Grupo 2 N: 18 Tercer año Grupo 3 N: 13
Género 12 mujeres 5 hombres 15 mujeres 3 hombres 10 mujeres 3 hombres
Edad 10 de 18 a 21 años 7 de 22 años o más 8 de 18 a 21 años 10 de 22 años o más 9 de 18 a 21 años 4 de 22 años o más
Aprendizaje del francés 10 aprendieron el francés en la universidad 1 en la escuela 6 en el colegio 9 aprendieron el francés en la universidad 3 en la escuela 6 en el colegio 11 aprendieron el francés en la universidad 1 en el colegio 1 en Francia
Escolarización primaria 16 vienen de escuela pública 1 viene de escuela privada 13 vienen de escuela pública 5 viene de escuela privada 12 vienen de escuela pública 1 viene de escuela privada
Escolarización secundaria 12 vienen de colegio público 5 vienen de colegio privado 12 vienen de colegio público 6 vienen de colegio privado 8 vienen de colegio público 5 vienen de colegio privado
Matriculados en otras carreras 13 no están en otras carreras 4 están en otras carreras 13 no están en otras carreras 5 están en otras carreras 9 no están en otras carreras 4 están en otras carreras
Número de veces matriculados en el curso 17 hacen el curso por primera vez 16 hacen el curso por primera vez 1 hace el curso por segunda vez 1 hace el curso por tercera vez 13 hacen el curso por primera vez

Fuente: Elaboración propia de los autores, 2017

Las técnicas y los instrumentos de recolección de datos

Con respecto a la técnica y a los instrumentos de recolección de datos, en los siguientes apartados, explicamos lo que usamos durante esta etapa.

Las entrevistas3

Recurrimos sobre todo a la entrevista semiestructurada para el profesorado y a la entrevista en los grupos de discusión para el estudiantado. Todas las entrevistas y los grupos de discusión fueron realizados por una persona del equipo investigador. Es importante señalar que el equipo investigador no conocía a las personas estudiantes ni había sido docente en los cursos. Una persona investigadora conocía las profesoras participantes en la investigación, pero en el momento de realizar la recolección de datos, tenía un permiso sin goce de salario desde el año 2014 y no estaba laborando desde ese tiempo en la institución.

Las entrevistas al profesorado se grabaron con el fin de obtener la integridad de la discusión. Estas se desarrollaron en dos momentos diferentes de la investigación. Por lo tanto, se podría hablar de un pretest en donde se documenta las prácticas evaluativas empleadas por las tres docentes antes de la implementación del nuevo instrumento de evaluación para las producciones escritas. Esta se realizó antes del taller de formación. Este taller tuvo lugar a finales de julio del 2016. El postest se realizó al final de la investigación para documentar la percepción de las tres profesoras acerca de sus nuevas prácticas evaluativas. De esta manera, hubo tres entrevistas en profundidad antes de empezar la investigación a finales de junio y principios de julio del 2016 y las otras tres se realizaron en el mes de diciembre del 2016.

El profesorado participó también en dos mini-entrevistas durante el semestre con el fin de documentar la experiencia y las dificultades que tuvieron con la aplicación de la rúbrica analítica para evaluar las producciones escritas de sus estudiantes. Luego, se realizaron ajustes al instrumento empleado. Estas mini-entrevistas se desarrollaron a principios del mes de setiembre y la otra a mediados del mes de octubre del 2016.

Los grupos de discusión también se realizaron en dos momentos diferentes. Se separaron las personas estudiantes en tres grupos. El primer grupo estaba conformado por el estudiantado de la P1, el segundo por el alumnado de la P2 y el tercero por el de la P3. La primera entrevista a los tres grupos de discusión se realizó antes del taller de formación del profesorado para documentar la percepción estudiantil con respecto a las prácticas evaluativas vigentes de sus profesoras, es decir al principio del mes de julio del 2016. El segundo se realizó al final de la investigación para documentar la percepción del estudiantado acerca de las nuevas prácticas evaluativas de sus profesoras.

Cabe mencionar que según Abarca Rodriguez, Alpízar Rodríguez, Sibaja Quesada y Rojas Benavides (2013), Kvale (2011) y Massé (1992), es posible someter las preguntas de la entrevista a personas expertas y someterla a otras personas antes de proponerla a las personas participantes de una investigación para hacer una validación de la claridad de las preguntas y para ver si esta permite tener la información necesaria para la investigación. Por lo tanto, tres personas expertas de la Universidad de Montreal realizaron una revisión de las preguntas de las entrevistas para el profesorado y para los grupos de discusión en el mes de junio del 2016. Luego, otras tres personas expertas provenientes de los programas de medición y evaluación de la Universidad de Montreal y del departamento de docencia universitaria de la Universidad de Costa Rica hicieron una segunda revisión. Se realizaron modificaciones y correcciones a las preguntas de las entrevistas luego de la revisión de las personas expertas. Además, es importante señalar que se entrevistó a un profesor y dos estudiantes que no formaron parte de la investigación para validar la claridad de las preguntas, para ver si éstas permitían recolectar la información necesaria para la investigación y para ver la duración de cada entrevista. Después de esta validación, se realizaron otras modificaciones y correcciones a las preguntas de las entrevistas.

Las rúbricas

Se recolectaron también todas las rúbricas completadas por el profesorado durante el semestre en el que se realizó la investigación. Por lo tanto, para P1, se recogieron 89 rúbricas que pertenecían a los diferentes trabajos realizados por el estudiantado. Para P2, se recolectaron 137 rúbricas. Para P3, se recogieron 107 rúbricas.

Cabe mencionar que se creó la rúbrica empleada por el profesorado durante los talleres de formación. Esta actividad tuvo lugar en la última semana del mes de julio del 2016. En estos talleres, una de las personas investigadoras elaboró junto con las docentes el instrumento de evaluación. Esta primera versión de la rúbrica fue validada por varias personas especialistas en medición y evaluación de la Universidad de Montreal. Con esta primera validación se le realizaron algunas modificaciones. Luego, se le hicieron otras modificaciones después de utilizarla para el primer trabajo realizado por el estudiantado.

A continuación, en la Tabla 3, presentamos la rúbrica empleada por las docentes para evaluar las producciones escritas del estudiantado:

Tabla 3: Rúbrica usada para evaluar las producciones escritas 

Aspectos por evaluar A Très satisfaisant B Satisfaisant C Partiellement satisfaisant D Peu satisfaisant E Insatisfaisant
Pertinence des idées liées au sujet et à l’intention Le sujet de la production écrite est très bien développé et explicitement présenté. Il respecte particulièrement bien l’intention, toutes les idées traitées sont bien expliquées et illustrées par des exemples. L’étudiant utilise des moyens efficaces pour capter l’intérêt du lecteur tout au long de la production écrite. Le sujet de la production écrite est bien développé et présenté. Il respecte l’intention. La plupart des idées sont expliquées et illustrées par des exemples. L’étudiant utilise des moyens pour susciter l’intérêt du lecteur tout au long de la production écrite. Le sujet de la production écrite est présenté sommairement et il respecte les exigences minimales de l’intention. quelques idées sont expliquées et illustrées par quelques exemples. L’étudiant utilise parfois des moyens pour susciter l’intérêt du lecteur. Le sujet de la production écrite est présenté sommairement et il manque un élément principal pour que l’intention soit respectée. Les idées sont parfois illustrées par des exemples. L’étudiant utilise très peu de moyens pour susciter l’intérêt du lecteur. Le sujet de la production écrite est présenté très sommairement. Il a peu ou pas de lien avec l’intention. Les idées sont hors sujet et ne sont pas illustrées par des exemples. Les moyens pour susciter l’intérêt du lecteur sont absents.
Puntaje 10 8 6 4 2
Cohérence de l’organisation Les idées progressent aisément (sans rupture, sans interruption), de façon logique et chronologique. Le texte est divisé en paragraphes qui correspondent très bien avec les idées. Des liens appropriés sont toujours établis entre les phrases et entre les paragraphes. Les idées progressent de façon logique ou chronologique malgré quelques ruptures dans la fluidité des phrases. Le texte est divisé en paragraphes qui correspondent aux idées. Des liens appropriés sont souvent établis entre les phrases ou entre les paragraphes. Les idées présentent des problèmes de progression logique ou chronologique. Le texte présente un ou plusieurs paragraphes parfois maladroits. Quelques liens appropriés sont établis entre les phrases ou entre les paragraphes. Plusieurs idées ne sont pas assemblées de façon logique ou chronologique. OU Les idées ne sont pas groupées en paragraphes ou le sont de façon inappropriée. Les idées sont très difficiles à suivre.
Puntaje 10 8 6 4 2
Justesse du vocabulaire Les expressions et les mots sont précis, justes, très variés et parfois évocateurs et recherchés. Les expressions et les mots sont précis et variés. Les expressions et les mots sont simples et adaptés à la production. Ils sont parfois précis. Les expressions et les mots sont imprécis ou répétitifs et appartenant parfois au registre familier. Les expressions et les mots sont imprécis, répétitifs et appartenant au registre familier.
Puntaje 5 4 3 2 1
Qualité de la langue Toutes les phrases ou presque toutes sont bien structurées, bien construites et bien ponctuées (de 0 à 1%). Plusieurs phrases sont bien structurées et construites, malgré quelques erreurs de ponctuation (de 2% à 3%). Certaines phrases ont des problèmes de structures et de ponctuation (de 4% à 5%). La plupart de phrases sont mal structurées et mal ponctuées. (de 6% à 7%). Toutes les phrases ou presque toutes sont mal structurées et mal ponctuées. (8% et plus).
Puntaje 5 4 3 2 1
Qualité de la langue La concordance de différents temps verbaux et l’accord des verbes sont toujours respectés (de 0% à 1% d’erreurs). La concordance de temps et l’accord des verbes sont souvent respectés (de 2% à 3%). La concordance de temps et l’accord des verbes sont partiellement respectés (de 4% à 5%). La concordance de temps et l’accord des verbes sont peu respectés (de 6% à 7%). La concordance de temps et l’accord des verbes sont très peu respectés (8% et plus).
Puntaje 5 4 3 2 1
Variété des phrases Présence de phrases simples et d’une variété de phrases complexes élaborées (juxtaposées, coordonnées et subordonnées). Présence de phrases simples et d’un nombre important de phrases juxtaposées, coordonnées et subordonnées. Présence de phrases simples, d’un grand nombre de phrases juxtaposées et coordonnées et quelques phrases subordonnées. Présence d’un grand nombre de phrases simples et quelques phrases complexes élaborées. L’existence d’une déficiente élaboration des phrases (phrases simples et/ou juxtaposées).
Puntaje 5 4 3 2 1

Fuente: MELS (2012) y cuarto taller de capacitación para el profesorado de francés de la Universidad de Costa Rica (2016)

El tratamiento y análisis de los datos

Para analizar los datos obtenidos en las entrevistas y en los grupos de discusión, se utilizó el programa de QDA Miner y se realizó un análisis de contenido a partir de los códigos preestablecidos y otros códigos que surgieron después de realizar un primer análisis de los datos. También se realizó un contracodaje, que consiste en una confrontación de los códigos con varias personas codificadoras (Lapointe, 2011; Van der Maren, 1996). Esto permitió identificar algunas ambigüedades en los códigos utilizados y garantizar la fiabilidad del análisis de los datos. Para nuestra investigación, una especialista de la Universidad de Montreal realizó el contracodaje de las entrevistas, y una especialista de la Universidad de Costa Rica hizo el de los grupos de discusión. A las especialistas se les enviaron los códigos y las transcripciones de las entrevistas y de los grupos de discusión por correo. Se les explicó el significado de los códigos. Se obtuvo un 96,23% de concordancia para el caso de las entrevistas y un 98,12% de concordancia para el caso de los grupos de discusión. A continuación, en la Tabla 4, se presentan los códigos que se utilizaron para analizar el contenido de las entrevistas y de los grupos de discusión.

Tabla 4: Lista de códigos para análisis del contenido de las entrevistas y de los grupos de discusión 

Código Significado
Inst-PE Instrumento de evaluación para evaluar la producción escrita
Inst-crit-import Criterios importantes para evaluar la producción escrita
Inst-crit-secon Criterios menos importantes para evaluar la producción escrita
Inst-grille-oui Utilización de un instrumento de evaluación para la producción escrita
Inst-grille-non No utilización de un instrumento de evaluación para la producción escrita
Inst-grille-avan Las ventajas de la rúbrica uniforme
Inst-grille-incon Las desventajas de la rúbrica uniforme
Inst-grille-élabo El procedimiento de la elaboración de la rúbrica uniforme
Inst-grille-util-e La manera de usar la rúbrica uniforme por parte del alumnado
Inst-grille-util-p La manera de usar la rúbrica uniforme por parte del profesorado
Inst-gd-éval Utilización de la rúbrica descriptiva para evaluar la producción escrita
Inst-gd-descrip Los descriptores de la rúbrica descriptiva
Inst-gd-crit Los criterios de la rúbrica descriptiva
Inst-gd-avan Las ventajas de la rúbrica descriptiva
Inst-gd-incon Las desventajas de la rúbrica descriptiva
Inst-gd-util-e La manera de usar la rúbrica descriptiva por parte del estudiantado
Inst-gd-util-p La manera de usar la rúbrica descriptiva por parte del profesorado
Inst-gd-amél-e Las mejoras que hay que realizar a la rúbrica descriptiva según el alumnado
Inst-gd-amél-p Las mejoras que hay que realizar a la rúbrica descriptiva según el profesorado

Fuente: Elaboración propia de los autores, 2017

Limitaciones de la investigación

Por ser un estudio de tipo cualitativo, es difícil realizar una generalización de los resultados, ya que se cuenta con un número limitado de participantes, sobre todo en el caso de las docentes que participaron en la investigación.

Otra limitación está relacionada con la investigación colaborativa, puesto que se había negociado con las personas participantes la utilización de la rúbrica analítica y holística al mismo tiempo para evaluar las producciones escritas de sus estudiantes. Sin embargo, durante el semestre en donde se realizó la recolección de los datos, las docentes decidieron no implementar el uso de la rúbrica holística, sino solamente usar la analítica. Este imprevisto hizo que se hicieran algunas modificaciones a la guía de entrevista final para el profesorado y para el estudiantado, y que se contemplaran solamente las experiencias vividas por las personas participantes en el uso de la rúbrica descriptiva analítica.

Otra limitante que hubo fue el hecho de que no se siguiera a las docentes durante el primer semestre para documentar cuáles eran las prácticas evaluativas que tenían en los cursos de expresión escrita, sino lo que se hizo fue realizarles una entrevista antes de que comenzara la investigación y triangular los resultados con los grupos de discusión realizados con las personas estudiantes para poder observar si efectivamente lo mencionado por el profesorado es lo que el alumnado vivió durante el primer curso con respecto a la evaluación de sus producciones escritas.

Descripción de los resultados

Para la descripción de los resultados, estos se organizan de la siguiente manera. Primeramente, presentamos los resultados de las entrevistas y de los grupos de discusión antes de la implementación de la rúbrica. Luego, describimos los resultados obtenidos por el estudiantado en los diferentes trabajos. Finalmente, presentamos los resultados de las entrevistas y de los grupos de discusión después de la implementación de dicho instrumento de evaluación.

La instrumentación utilizada por el profesorado antes de la implementación de la rúbrica

Antes de la implementación de la rúbrica descriptiva analítica, P1 y P2 utilizaban una escala uniforme en donde se establecía los criterios y la ponderación para cada uno de ellos, tal como se muestra en la Figura 1.

Fuente: Imagen tomada del instrumento de evaluación de los cursos de expresión escrita de segundo año, 2016

Figura 1: Instrumento utilizado por P1 y P2 para evaluar la producción escrita del estudiantado antes de la implementación de la rúbrica descriptiva analítica 

Para P3, también utilizaba una rúbrica uniforme en donde aparecen los criterios sin la ponderación para cada uno, como aparece en la Figura 2. P3 explicó en la entrevista que el instrumento contenía “20 puntos…la parte de lengua, era de 10 y la parte técnica, otro 10 puntos…Para la lengua, morfosintaxis tenía en general 6 puntos, 2 para el léxico y ortografía y puntuación 2…los otros diez puntos, era la coherencia que tenía dos puntos y las etapas, 8” (P3).

Fuente: Imagen tomada del instrumento de evaluación de los cursos de expresión escrita de tercer año, 2016

Figura 2: Instrumento utilizado por P3 para evaluar la producción escrita del estudiantado antes de la implementación de la rúbrica descriptiva analítica 

Cada profesora creó su propio instrumento de evaluación, por ejemplo, P1 y P3 lo crearon “según su experiencia”. P1 agrega también que es:

P1: Según lo que he leído y visto en los libros…en los diferentes métodos, en los cursos de la Alianza francesa y de lo que veía en los exámenes del DELF-DALF, por ejemplo, tomé las tablas de evaluación que existía en el DELF, los libros y a partir de allí las creé.

En cuanto a P2, menciona que era un instrumento que ya se estaba usando en los cursos y era conveniente para ella:

P2: El instrumento existía ya en los cursos y fue propuesto a los profesores que daban el curso de composición. Por lo tanto, no había que hacer ningún otro instrumento, sino se tomó ese que ya estaba y se siguió usándolo, para mí estaba bien y por eso no le cambié nada.

P3 afirma que “esta herramienta se hizo según la experiencia y lo que se consideraba importante” (P3).

El profesorado encontró que la gran ventaja de ese instrumento es el hecho de “tener todos los aspectos que se deben tomar en cuenta para evaluar una producción escrita” (P1, P2, P3). Además, P1 considera que es “una manera más objetiva para justificar la nota del estudiantado” (P1). El principal inconveniente es la dificultad de tomar una decisión sobre la calidad de la producción escrita sin tener un retrato claro de cada una de las escalas que acompaña cada criterio. Por ejemplo, P1 menciona lo siguiente:

P1: Hay trabajos mal hechos desde el punto de vista de la estructura, la coherencia, pero no tiene ninguna falta de ortografía ni de puntuación ni léxico, entonces uno tiene que otorgarle todos los puntos.

P2 agrega que “es complicado cuando uno encuentra que el estudiantado no merece todos los puntos, dar la mitad es complicado” (P2). Finalmente, P3 dice que “a veces los estudiantes son buenos en morfología y no cometen muchas faltas y toda la parte técnica no está bien, entonces uno siente que tienen buena nota” (P3).

Según lo señalado por el profesorado, el estudiantado utilizó este instrumento para verificar la nota obtenida en la producción escrita, como lo ilustra P1 en su intervención:

P1: Yo tengo la impresión de que no toman muy en serio la tabla de evaluación, ven nada más la nota final… para verificar la nota, no utilizan la tabla para autocorregirse o para mejorar uno de los aspectos. Lo importante para ellos es saber si se sumó bien los puntos y la nota, verifican sobre todo la calificación.

P2 también lo menciona diciendo lo siguiente: Ven justamente cuantas faltas obtuvieron…verifican los puntos y contabilizan las faltas. P3 lo confirma también con sus estudiantes: No ponen mucha atención en la tabla, solo miran la nota.

Como resumen, podemos mencionar que el profesorado utilizó este instrumento para evaluar la producción escrita de sus estudiantes, ya que tiene la ventaja de presentar todos los aspectos que se deben evaluar en este tipo de competencia, pero es difícil situar al estudiantado en alguna de las escalas que tiene el instrumento, ya que falta la descripción de lo esperado en cada uno de los niveles que tiene cada criterio. Esta imprecisión hace difícil tomar una decisión objetiva sobre la calidad de la producción escrita de sus estudiantes. Además, presenta el inconveniente de que el estudiantado lo utiliza para ver la nota obtenida, ya que no le ofrece ningún otro indicio de retroalimentación.

La percepción del estudiantado acerca de la instrumentación utilizada

Según el estudiantado, sus profesoras utilizaban una tabla de evaluación como se ilustra en el comentario de GP1-E3: Era como una tabla de uno a cinco con la parte de morfosintaxis, léxico, ortografía, la parte técnica como la introducción, desarrollo y conclusión. Sin embargo, el estudiantado de P3 mencionó que no conocían los criterios de evaluación de la producción escrita hasta el día que les devolvían el primer examen:

GP3-E4: Sí, solo en el examen cuando ella entrega el examen, entonces allí va pegado la grille que utilizó, pero esa grille no se conocía antes del examen, sino después de que ella le entregaba a uno el examen corregido. En la grille, viene desglosado, pero no se sabe que usted pierde tantos puntos en tal aspecto ¿por qué? sino es nada más su nota. Igual no la conocemos. Nada más sabemos que con algo nos evalúa.

El estudiantado de las tres profesoras afirmó que este instrumento presentaba muy pocas ventajas, como por ejemplo: Permite saber la parte que tiene que mejorar (GP1-E3), los guía para hacer el párrafo (GP2-E6), hay una buena distribución de los puntos (GP3-E4), es justo, porque los criterios están allí (GP3-E6). Sin embargo, presentaba también una serie de desventajas, por ejemplo: Uno sabía que era cada cosa, pero en qué falló en el texto no (GP1-E5), son como neutras, porque uno ve eso, pero no le dice nada (GP2-E1), sí uno ve, pero no sabe qué es lo que le están evaluando (GP2-E2), hay elementos como la morfosintaxis que uno no sabe qué es ni para qué sirve (GP2-E7), para mí es una confusión (GP2-E5), desventaja creo que uno no sabe a lo que enfrentamos (GP3-E6). Observamos que según el alumnado, la desventaja que existe es la falta de claridad de los criterios, la inexistencia de una retroalimentación y la dificultad de comprender lo que significa cada aspecto evaluado. Según el estudiantado, la importancia de ese instrumento era el conocimiento de la calificación obtenida en el trabajo, como lo ilustran los siguientes comentarios: Yo nunca le presté atención (GP1-E1), porque al final usted veía la nota nada más (GP1-E5), es sólo un número…sí lo que me fijo es el número que está bien grande (GP2-E4), yo no pongo atención en la grille, sino que nada más me fijo en la nota (GP3-E4), la grille es la nota, porque en realidad no hay nada explícito que diga algo más (GP3-E6).

Como resumen, podemos decir que el estudiantado indicó que el profesorado utilizaba una tabla de evaluación para evaluar las producciones escritas, pero su función era solamente para conocer la nota obtenida, raras veces le ayudaba a mejorar sus trabajos, ya que no le proveía suficiente retroalimentación.

La rúbrica descriptiva analítica utilizada por el profesorado

Durante el semestre en donde se desarrolló la investigación, las tres profesoras participantes experimentaron con la rúbrica descriptiva analítica para evaluar la producción escrita, en lugar de utilizar la escala uniforme que era empleada habitualmente. P1 menciona que utilizó: La rúbrica holística al principio junto con la rúbrica analítica, pero no seguí utilizándola. P1 agregó también que este tipo de rúbrica: Era útil para tener una idea general del trabajo del estudiantado y para saber en qué situación se encontraba cada uno. Las otras dos personas participantes no emplearon la rúbrica holística porque preferían conocer mejor la analítica como lo muestra los siguientes verbatims: Quería familiarizarme con la rúbrica analítica (P2) y prefiero conocer mejor esta rúbrica que estoy usando antes de usar las dos al mismo tiempo (P3).

En cuanto a los criterios que son importantes a la hora de evaluar una producción escrita, el profesorado consideró que todos los criterios escogidos (pertinencia de las ideas, coherencia de la organización, justeza del vocabulario, calidad de la lengua y variedad de las oraciones) en la rúbrica analítica eran necesarios e importantes. Por ejemplo, P1 piensa que “se adapta a sus necesidades y que no hay que cambiarle nada por el momento” (P1), P2 considera que “todos los elementos que se deben evaluar en una composición están presentes” (P2) y P3 menciona en la entrevista que “pienso que los criterios están bien, porque hay una variedad de todo y cuando uno corrige, allí está todo lo que se necesita y también para que la persona estudiante se dé cuenta que haya comprendido las diferentes partes” (P3).

Otro elemento importante que se debe retener es que durante el primer semestre, el profesorado entregaba la escala uniforme al mismo tiempo que el trabajo corregido. Por eso, el estudiantado miraba solamente la nota, sin detenerse en mirar la corrección del trabajo. No obstante, durante el semestre en donde se desarrolló la investigación, el estudiantado conocía desde el principio los aspectos evaluados en el instrumento de evaluación utilizado. Además, P2 y P3 entregaban las composiciones sin la rúbrica, con el fin de que el estudiantado revisara sus errores, mirara sus trabajos y leyera los comentarios, como se ejemplifica a continuación:

P2: Yo les daba las correcciones y los comentarios primero y luego la rúbrica con la nota, les daba varios minutos para que vieran y me preguntara; después les daba la nota y les daba otros minutos para que vieran y compararan su trabajo con la rúbrica.

P3: Yo les entregaba primero el trabajo, el texto corregido y miraban un poco por aquí y un poco por allá, para que vieran las correcciones que realicé y después, en cinco minutos, les daba la rúbrica y allí se dan cuenta en donde se ubica y comprenden su calificación.

P1 menciona también que “al principio, entregaba el trabajo sin la rúbrica con la nota para que el estudiantado lea y compare, vea el trabajo corregido y después la rúbrica con la nota” (P1). Sin embargo, no siguió con esta práctica luego, ya que «no tenía tiempo y entregaba la rúbrica con la copia corregida” (P1).

Con respecto a las ventajas de la rúbrica descriptiva analítica, el profesorado considera que permitía evaluar de una manera más profesional y objetiva la calidad de la producción escrita por las siguientes razones:

P1: Es más precisa, existe también una guía para el profesorado y para el estudiantado, ofrece una corrección objetiva, ayuda al alumnado a comprender su calificación y sobre qué está fallando con respecto a la calidad de la lengua, a las oraciones, al vocabulario, etc.… Permite evaluar de manera justa y reflexionada.

P2: Permite sistematizar diferentes categorías y evaluar a partir de criterios claros las producciones del estudiantado.

P3: Es más científico, se cuenta bien los errores, los problemas, las faltas de ortografía…se ve más o menos en donde se sitúa cada estudiante…Ofrece más seguridad a la hora de evaluar.

Las docentes mencionaron que la rúbrica ofrecía una buena retroalimentación para el estudiantado, puesto que “sabía en donde situarse con respecto a la calidad de la lengua, de las oraciones, etc.” (P1), “es más explicativa y clara” (P1) y le permitía evaluar fácilmente sus producciones gracias a los diferentes descriptores: Es fácil, porque como propone las equivalencias en punto, después es un simple cálculo matemático y como tenemos el retrato de lo que se espera en cada escala, eso ayuda en situar la producción en cada uno de los retratos (P2), es más fácil para el profesorado saber lo que espera de ellos (P3). Permitía además realizar una evaluación más fluida de la producción escrita, ya que los diferentes descriptores les posibilitaban clasificar las producciones variadas del estudiantado como se ejemplifica en los siguientes comentarios:

P2: Eso se convierte en algo mecánico, porque es aplicar simplemente el procedimiento, cuenta la cantidad de faltas, buscas en la rúbrica a que corresponde, revisa nuevamente de manera global y esto se ubica entre tal o tal criterio.

P3: Es más rápido de corregir, una vez que se aprende la rúbrica y se comprende.

Por lo tanto, permitía “justificar la nota” (P1) y “da más seguridad a la hora de evaluar” (P3), puesto que “propone criterios muy vastos y muy fiables para poder aplicarlos cuando se miran las producciones escritas del estudiantado” (P2).

Sin embargo, existen algunos inconvenientes en la utilización de la rúbrica para las docentes P1 y P2 como la dificultad de realizar la evaluación con este instrumento al principio o la falta de claridad entre un nivel a otro, por ejemplo:

P1: Existen algunos descriptores que es necesario revisar todavía, a veces del A al B hay una cierta distancia.

P1: Al principio, toma mucho más tiempo completar la rúbrica, pero cuando uno se acostumbra, es más fácil.

P2: Había faltas más graves que otros, pero en el momento de pasar a la penalización la falta grave, tenía el mismo valor que la falta que cometía por primera vez.

P2: Al principio, era más complicado, pero cuando uno se va familiarizando con las diferentes categorías o los diferentes conceptos, era una cuestión de minutos”.

En el caso de P3, menciona que no tuvo grandes dificultades a la hora de utilizar la rúbrica como lo muestra su verbatim: No encontré inconvenientes, pienso que todo estaba correcto.

Es por eso que las docentes encontraron que era importante trabajar de nuevo los descriptores de algunos criterios como la coherencia de la organización, la variedad de las oraciones, la exactitud del vocabulario y la pertinencia de las ideas:

P1: La coherencia de la organización, a veces hay ideas que progresan lógicamente, hay una cierta fluidez, pero sería necesario redefinir un poco más la calidad de las ideas.

P1: Para la variedad de las oraciones, se penaliza demasiado para el segundo año, porque no utilizan muchas oraciones yuxtapuestas, coordinadas y subordinadas.

P2: El estudiantado inventa palabras y sería necesario incluir un nuevo término o una nueva oración para poder penalizar este aspecto.

P3: Revisar el puntaje de los dos primeros criterios: la pertinencia de las ideas y la coherencia de la organización…todos los criterios están bien, porque hay una variedad y todo es necesario.

Es importante señalar que según las participantes, esta rúbrica permitía a sus estudiantes realizar una autoevaluación de su trabajo antes de enviárselas para su corrección, ya que “había criterios y los descriptores que estaban allí les guiaban para corregir su producción y ellos podían ver lo que se esperaba de sus trabajos” (P1). Además, “podían comparar su trabajo con la rúbrica antes de entregarlo” (P2).

En cuanto a la experiencia vivida por parte del cuerpo docente participante, vemos que fue positiva como se refleja en sus comentarios:

P1: La rúbrica es un instrumento más completo para evaluar las composiciones que la escala uniforme, es más explicativa, más clara, ofrece más retroalimentación a las personas estudiantes y todos los aspectos de la producción escrita están allí.

P2: Pienso continuar usando la rúbrica, porque es más fiable…además este semestre no hubo reclamos por parte del estudiantado acerca de la calificación, eso quiere decir que la nota estaba bien justificada y comprendía por qué la obtuvo.

P3: Existe más seguridad a la hora de evaluar, ya que antes tenía más dificultades y no sabía cómo resolverlas y no sentía bien con el instrumento que tenía, ahora me siento más segura y ofrezco al alumnado los aspectos que se van a evaluar.

En resumen, podemos apreciar que la rúbrica presentó ciertas ventajas para las personas participantes, pues ofreció una retroalimentación a sus estudiantes, mantuvo la objetividad del proceso evaluativo, garantizó una evaluación más fluida y permitió la autoevaluación de sus estudiantes. Sin embargo, todavía hubo ciertos criterios y descriptores que habría que revisar o mejorar.

La percepción del estudiantado acerca de la rúbrica analítica

Habría que acordar que el estudiantado había señalado que el interés principal que tenía cuando recibía la escala uniforme, era conocer la nota obtenida, ya que no le ofrecía ninguna retroalimentación. Sin embargo, con respecto a la rúbrica implementada durante la sesión de la investigación, mencionaron que encontraron varias ventajas. Por ejemplo, “los descriptores ofrecen la posibilidad de saber lo que se busca para los diferentes niveles de cada criterio” (GP1-E1), “lo que se debe hacer para el próximo trabajo” (GP1-E3), “para saber en qué avancé en este curso” (GP2-E4), “cuáles son las fortalezas y las debilidades de mis trabajos” (GP1-E5), “lo que la profesora espera de mi trabajo” (GP1-E6), “tiene como un argumento válido para decirle a uno lo que está fallando” (GP1-E6), “le hace tener conciencia a uno de la calidad de trabajo que está haciendo” (GP2-E1). La rúbrica “permite analizar la producción escrita según los diferentes descriptores” (GP2-E2), “permite a la profesora justificar la nota y ser objetiva” (GP2-E1 y GP3-E2), “ayuda para ver mis errores, qué puedo mejorar, pues sí me ha ayudado bastante y también me ha ayudado a buscar siempre el muy satisfactorio” (GP2-E2). Además, “permite hacer un trabajo colaborativo cuando uno pide a otro compañero corregir la producción escrita” (GP2-E1), “saber lo que se va a evaluar de la producción escrita” (GP2-E3) y “evaluar independientemente los diferentes aspectos de la producción escrita” (GP2-E4). Cabe mencionar también que existe una penalización más general de los errores, como lo ilustra el siguiente verbatim:

GP3-E6: La ventaja es que por errores ya no se cuenta como antes que tantos errores tiene un cuatro tantos errores es un cinco, sino que era más general, entonces ya uno tiene la posibilidad de ver realmente que es lo que la profesora está corrigiendo y que la nota no sea tan catastrófica como antes.

Existe también un equilibrio entre el componente pragmático y sociolingüístico de la lengua con el lingüístico:

GP2-E1: Es muy objetiva, presenta los datos bien, de una manera organizada, bien catalogada…en categorías, valga la redundancia, los puntos están bien distribuidos, creo que se da un balance a la coherencia y la pertinencia de las ideas y lo demás que vale menos está bien justificado, porque antes todo estaba en el mismo nivel, tal vez una frase que es bien crítica y bien analítica sobre el tema que nos daba, tenía un error de ortografía y ya eso era 0,25 menos, pero ahora se rescata más el valor de esa frase que al error en sí. Eso es algo positivo de esa rúbrica.

Es importante señalar también que la rúbrica presentó algunos inconvenientes para el estudiantado. Por ejemplo, “la falta de ejemplos de trabajos que ilustraban una producción muy buena y otra poco satisfactoria con el fin de saber lo que se espera de cada una” (GP2-E1), “existe una ambigüedad para los descriptores del nivel muy satisfactorio y satisfactorio para la pertinencia de las ideas y la coherencia de la organización” (GP3-E2) y “sería necesario equilibrar el puntaje para ciertos criterios” (GP2-E2). A pesar de esos inconvenientes, el estudiantado consideró que la rúbrica era “muy clara y puntual” (GP2-E4), “que no cambiaría nada por el momento” (GP1-E5) y “que es una rúbrica muy completa” (GP2-E1).

Cabe destacar que el estudiantado de P2 y P3 mencionaron que sus profesoras no entregaron la rúbrica al mismo tiempo que el trabajo corregido. El cuerpo estudiantil consideró esto como: Una buena estrategia, ya que de esta manera, uno leía lo que estaba escrito, porque si ella entregaba primero la rúbrica con la nota, entonces uno hubiera visto inmediatamente la nota y hubiera guardado el trabajo (GP2-E2), era muy bueno, porque uno veía así los errores y después la nota (GP2-E7) y había más interés en leer los comentarios y ver la corrección (GP3-E2). Para el caso del estudiantado de P1, mencionó que “entregaba al mismo tiempo la composición con la corrección y los comentarios con la rúbrica” (GP1-E1).

Es importante señalar que el estudiantado empleó la rúbrica de diferentes maneras. Por ejemplo, algunos la utilizaron para verificar la nota, ya que permitía al profesorado justificar el resultado obtenido en el trabajo:

GP2-E3: La rúbrica me ayuda mucho en comprender mi nota, por ejemplo, aquí la pertinencia de las ideas que no estaban bien desarrolladas, entonces yo veía lo que decía e iba a mi trabajo para ver por qué estaba ubicado allí y no en otra escala.

También señaló que es un instrumento muy útil para la autoevaluación de su trabajo antes de entregarlo a la persona docente, ya que precisa lo que se espera en cada uno de los criterios, como lo ilustra los verbatims de las siguientes personas estudiantes:

GP1-E3: Sí los diferentes criterios y así me ayudaron bastante en lo que es la organización digamos cómo tenía que hacer desde un principio y cómo tengo que hacer la composición correctamente, que tenía que tener o no tener la composición. Bueno, en el desarrollo, bueno eran tres partes desarrollo, conclusión, introducción, que tenía que llevar cada uno y el otro, qué palabra llevaba uno y no el otro con respeto a todas las partes de la composición, en este semestre muy bien el plan y toda la composición.

GP2-E2: La rúbrica me ayuda a autoevaluar, porque podía ver más o menos lo que decía, creo que estoy utilizando eso, estoy utilizando varias ideas con ejemplos o eso, entonces me ayudó a situarme y además, para saber lo que se me estaba evaluando, por ejemplo, debo acompañar las ideas con ejemplos para estar en A.

GP3-E5: Como para evaluar la producción antes de entregarla, por ejemplo en este aspecto voy a ver cómo puedo hacer para llegar a A.

El cuerpo estudiantil utilizó también la rúbrica para identificar las fortalezas y las debilidades de sus proyectos con el fin de mejorar lo que no se pudo adquirir o interiorizar, por ejemplo:

GP3-E3: Esta rúbrica era más bien para guiarnos y para ubicarnos en el nivel que se espera para cada trabajo, por ejemplo, en la ortografía, tuve eso y debo llegar a eso, pero estoy bien en conjugación.

GP3-E5: Para ver en general en donde estaba situado para cada cosa, por ejemplo, aquí, estoy bien en coherencia de la organización, pero debo trabajar la variedad de las oraciones.

Finalmente, permitió al estudiantado mejorar y progresar en cada uno de los trabajos, ya que sabía en cuál aspecto debía trabajar de nuevo para su próximo trabajo:

GP1-E1: Sí poco a poco más que todo, porque ya en las siguientes usted iba acostumbrándose a ese tipo de evaluación y trataba de no cometer los mismos errores y trataba de mejorar en cada escala.

GP2-E7: Sí, lo utilicé, pero para hacer las otras composiciones, miraba los aspectos que me corrigió para tratar de mejorarlo en la próxima composición, por ejemplo, había un criterio sobre la variedad de las oraciones, entonces trataba de mejorarlo, entonces para la próxima, sé que debo usar otros tipos de oraciones como las subordinadas, las relativas y así comencé a mejorar.

GP3-E5: La rúbrica nos ayuda a progresar, porque cuando uno sabe eso, uno debe mejorarlo con la guía que da la rúbrica.

Como resumen, podemos decir que el estudiantado consideró ventajosa la utilización de la rúbrica por parte de sus profesoras, ya que pudo evaluar de manera más objetiva sus trabajos, existió más claridad en la evaluación, ofreció una retroalimentación, le permitió realizar una autoevaluación de su trabajo, entre otros.

La percepción del estudiantado sobre su mejora en la competencia de la producción escrita

El estudiantado percibió que sus producciones escritas han mejorado con respecto al semestre anterior. En efecto, mencionó que “aunque sabía que había algo que no estaba bien, sabía el por qué y cómo debía hacer para mejorarla y tenía más consciencia de mis errores” (GP1-E1); “al principio, tomaba mucho tiempo para escribir una producción escrita y era muy difícil, pero ahora, es otra cosa, ya que tomo menos tiempo y es más fácil” (GP1-E3); “antes, era más complicado hacer un párrafo de diez líneas, pero ahora, se puede hacer una composición completa y no pienso en español, sino se piensa directamente en francés y las ideas vienen en francés” (GP1-E5).

El alumnado mencionó también que la progresión se ve reflejada en la utilización de nuevas estrategias, como por ejemplo: “he comenzado a utilizar más el diccionario y de esta manera, he podido aumentar el vocabulario y he mejorado la ortografía” (GP2-E2). También el cuerpo estudiantil dijo que su progreso se ve reflejado en el momento de “hacer ideas más precisas y concisas” (GP2-E3, GP2-E1). Finalmente, GP3-E2 dijo que “mi producción mejoró, porque comencé a utilizar más oraciones complejas”.

Discusión de los resultados

Es importante mencionar que el estudiantado utilizó la rúbrica analítica de diferentes maneras, ya que la usó para hacer una autoevaluación de su trabajo antes de entregarlo a su profesora. Esto coincide con lo que encontraron otras personas investigadoras en su investigación (Diab y Balaa, 2011; Forrest y Moquett, 2016; Guzmán Cedillo, 2013). Este instrumento de evaluación tiene la característica de ofrecer una descripción de lo que se espera en cada una de las escalas para cada uno de los criterios. Esto permite al estudiantado comparar su producción escrita con lo que está descrito. Además, la rúbrica lo guía para redactar su producción escrita, es decir comparar con lo que su profesora espera de su trabajo y con lo que escribió. Esta situación hace que la persona estudiante tenga más autonomía en su proceso de aprendizaje y adquisición de la competencia de la producción escrita.

Sin embargo, es necesario que el alumnado comprenda bien los diferentes descriptores y los criterios, esto, para que los utilice verdaderamente para autoevaluar su trabajo guiándolo de esta manera hacia la autorregulación de su aprendizaje, ya que así pueden efectuar modificaciones, correcciones y mejoras antes de entregarle el trabajo a su profesora. Además, esto conduce a la persona discente a comprometerse y ser más responsable en sus aprendizajes, ya que tiene más consciencia de lo que está evaluado y de lo que se espera de su composición.

Es importante señalar que existen estudiantes que utilizaron la rúbrica para justificar la nota obtenida, puesto que los descriptores facilitaban fácilmente la comprensión de su calificación. Esto también lo relaciona con las investigaciones de Fernández y Fialho (2016), Raposo-Rivas y Martínez-Figueira (2014) y Vanier (2011). Ellos mencionan que este instrumento de evaluación tiene por función informar al estudiantado sobre los criterios de evaluación y garantiza la transparencia y la objetividad del proceso evaluativo.

Las investigaciones de Guzmán Cedillo (2013) y de Raposo-Rivas y Martínez-Figueira (2014) encontraron que la rúbrica ayudaba al estudiantado a mejorar sus producciones progresivamente. Esta situación también fue comprobada en nuestra investigación, ya que el alumnado tuvo una mejora en el nivel lingüístico y en la complejidad de sus producciones escritas.

Con respecto a los cambios experimentados por las personas participantes en sus prácticas evaluativas, podemos decir que las tres cambiaron el instrumento utilizado para evaluar las producciones escritas de sus estudiantes. Cabe destacar que, según Côté (2014) y Reddy (2011), una rúbrica de primera generación tiene que ser mejorada y modificada para transformarla en una de segunda generación. Efectivamente, para nuestra investigación, las personas participantes indicaron que existían algunos descriptores que no estaban muy claros para algunos criterios y existían otros que no eran adecuados al nivel de los estudiantes. Además, cuando se construyó este instrumento, no había trabajos representativos para cada nivel, lo que habría podido ayudar a construir una rúbrica analítica más adecuada y adaptada a la realidad de las personas estudiantes. Por eso, consideramos que la construcción de este instrumento de evaluación no es fácil, ya que requiere mucha reflexión y pide mucho tiempo para su concepción, como lo señaló ya en su investigación Rublee (2014).

Sin embargo, no podemos negar que una vez que exista una rúbrica bien construida, facilita el trabajo de evaluación del profesorado, ya que permite justificar la nota del estudiantado, describe lo que se debe observar en cada uno de los criterios y garantiza la objetividad de la evaluación. Esto también coincide con las investigaciones de Arribalzaga (2016), Diab y Balaa (2011), Raposo y Martínez (2011) y Vanier (2011).

Conclusiones

El objetivo principal de nuestra investigación es analizar la percepción del profesorado y del estudiantado acerca del papel de la rúbrica en la evaluación de la producción escrita. Durante el estudio, encontramos que antes de la implementación de la rúbrica, las docentes usaban una escala uniforme para evaluar las producciones escritas de sus estudiantes. Este tipo de instrumento de evaluación tenía la ventaja de que era fácil de crear y que contemplaba todos los criterios para evaluar una producción escrita. Sin embargo, el profesorado consideraba que no era una herramienta de evaluación objetiva, ya que tenía dificultades a la hora de decidir sobre el puntaje que se debía atribuir a la producción escrita de sus estudiantes para cada uno de los criterios. En cuanto al estudiantado, observamos que la escala uniforme no era un instrumento de evaluación que le aportaba una buena retroalimentación. Además, tenía dificultades para comprender lo que se evaluaba. Por lo tanto, la importancia de esta herramienta de evaluación era conocer la calificación obtenida en el trabajo.

Con la implementación de la rúbrica, observamos que las docentes consideraron que era un instrumento de evaluación muy útil para efectuar un proceso evaluativo objetivo en los cursos de expresión escrita, las guió en su evaluación y les ayudó a justificar la nota ofrecida al estudiantado. Además, era un instrumento evaluativo que ofreció una buena fuente de retroalimentación para la persona discente, ya que le ayudaba a identificar lo que se debía trabajar de nuevo y le indicaba lo que había podido realizar bien, a su vez era un instrumento que permitía al alumnado ser más autónomo y más comprometido con su aprendizaje, pues le posibilitaba realizar una autoevaluación de su producción antes de entregarla a la docente.

Con respecto al estudiantado, vemos que sus percepciones también coincidieron con las de las docentes, puesto que la rúbrica le permitió comprender mejor el resultado, le ayudó a autoevaluarse o pedir a su par la corrección de su trabajo, le facilitó conocer los criterios que eran evaluados y lo que su profesora esperaba en su producción escrita y le permitió mejorar su competencia escrita.

Otro punto esencial que se debe retener en esta investigación es el hecho de que dos de las docentes entregaban primero a sus estudiantes los trabajos corregidos sin la rúbrica. Esta experiencia fue crucial para que el estudiantado tomara su tiempo para analizar los comentarios de sus profesoras y revisara sus producciones escritas en lugar de mirar la calificación como sucedió antes de la implementación de este instrumento de evaluación.

Sin embargo, es importante señalar que a pesar de que la rúbrica haya sido de gran utilidad para el cuerpo estudiantil y docente, hubo también una serie de aspectos que se debería mejorar. Por ejemplo, era necesario mejorar algunos descriptores para los criterios de la pertinencia de las ideas y la coherencia de la organización, sobre todo para los dos primeros niveles de la rúbrica. Otro inconveniente que hubo fue que no había trabajos representativos de cada uno de los niveles esperados en los diferentes criterios durante el semestre en donde se implementó la rúbrica. Por lo tanto, para una próxima utilización de este instrumento evaluativo es de suma importancia contar con trabajos del estudiantado para usarlos como ejemplo para cada uno de los criterios y de los niveles esperados. Así se puede ofrecer una mejor comprensión de la rúbrica para el estudiantado.

Referencias

Aase, Laila., Fleming, Michael., Ongstad, Sigmund., Pieper, Irene. y Samihaian, Florentina. (2009). L’écriture. Québec, Canada : Plateforme de ressources et de références pour l’éducation plurilingue et interculturelle. [ Links ]

Abarca Rodríguez, Allan., Alpízar Rodríguez, Felipe., Sibaja Quesada, Gina. y Rojas Benavides, Carla. (2013). Técnicas cualitativas de investigación. San José, Costa Rica: Editorial UCR. [ Links ]

Abedi, Jamal. (2010). Research and recommendations for formative assessment with English language learners. En Gregory J. Cizek y Heidi L. Andrade (dir.), Handbook of formative assessment (pp. 181 -197). New York, Estados Unidos: Routlegde. [ Links ]

Ahumada, Pedro. (2005). La evaluación auténtica: un sistema para la obtención de evidencias y vivencias de los aprendizajes. Perspectiva educacional, Formación de profesores, 45, 11 - 24. [ Links ]

Airasian, Peter., Engemann, Joseph. y Gallagher, Tiffany. (2007). Classroom assessment: concepts and applications. Montreal, Canada: McGraw-Hill Ryerson. [ Links ]

Allal, Linda. (1991). Vers une pratique de l’évaluation formative: matériel de formation continue des enseignants. Bruselas, Bélgica: De Boeck-Wesmael. [ Links ]

Andrade, Heidi. (2005). Teaching with rubrics: The good, the bad, and the ugly. College Teaching, 53(1), 27-30. Recuperado de http://www.jstor.org/stable/27559213Links ]

Andrade, Heidi, Wang, Xiaolei, Du, Ying. y Akawi, Robin. (2009). Rubric-Referenced Self-Assessment and Self-Efficacy for Writing. The Journal of Educational Research, 102, 287 - 301. [ Links ]

Andrade, Heidi, Du, Ying. y Mycek, Kristina. (2010). Rubric-referenced self-assessment and middle school students’ writing. Assessment in Education: Principles, Policy & Practice, 17(2), 199-214. DOI: 10.1080/09695941003696172 [ Links ]

Ángeles Gutiérrez., Ofelia. (2003). Enfoques y modelos centrados en el aprendizaje. Distrito federal, México: UNAM. [ Links ]

Arribalzaga, Eduardo B. (2016). Rúbrica como evaluación de historia clínica simulada. FEM, 19, 93-99. [ Links ]

Bachman, Lyle. (1990). Fundamental Considerations in Language Testing. Oxford, Inglaterra: Oxford University Press. [ Links ]

Bachman, Lyle. y Palmer, Adrien. (2010). Language Assessment in Practice. Oxford, Inglaterra: Oxford University Press. [ Links ]

Bachy, Sylviane. y Lebrun, Marcel. (2009). Catégorisation de techniques de rétroaction pour l'enseignement universitaire. Mesure et évaluation en éducation, 32, 29 - 47. [ Links ]

Barquero D’Avanzo, Milena. y Ureña Salazar, Elvia. (2015). Rúbricas para evaluar la competencia oral en un segundo idioma: un estudio de caso. Intersedes, 16, 1-22. [ Links ]

Bento, Margaret. (2012). L’évaluation des langues dans une perspective actionnelle. Les langues modernes, 106, 12 - 17. [ Links ]

Beyreli, Latif. y Ari, Gokhan. (2009). The Use of Analitic Rubric in the Assessment of Writing Performance Inter-Rater Concordance Study. Educational Sciences: Theory & Practice, 9, 105 - 125. [ Links ]

Black, Paul. y Wiliam, Dylan. (1998a). Inside the Black Box: Raising Standards through Classroom Assessment. The Phi Delta Kappan, 80, 139 - 148. [ Links ]

Black, Paul. y Wiliam, Dylan. (1998b). Assessment and classroom learning. Assessment in Education: Principles policy and practice, 5, 7-73. [ Links ]

Bourassa, Bruno. y Boudjaoui, Mehdi. (2012). Des recherches collaboratives en sciences humaines et sociales (SHS) : enjeux, modalités et limites. Québec, Canada: Presses de l’Université Laval. [ Links ]

Bourguignon, Claire. (2009). L’apprentissage des langues par l’action. En Marie-Laure Lions-Olivieri y Philippe Liria (Eds.), L’approche actionnelle dans l’enseignement des langues (pp. 49 - 78). Barcelona, España: Maison des langues. [ Links ]

Brookhart, Susan M. (2007). Expanding views about formative classroom assessment: a review of the literature. En James H. McMillan (Ed.), Formative classroom assessment: theory into practice (pp. 43-62). New York, Estados Unidos: Teachers college press. [ Links ]

Brookhart, Susan M. y Nitko, Anthony J. (2008). Assessment and Grading in Classrooms. New Jersey, Estados Unidos: Pearson. [ Links ]

Brown, Douglas H. y Abeywickrama, Priyanvada. (2010). Language Assessment: Principles and Classroom Practices. New York, Estados Unidos: Pearson Longman. [ Links ]

Campanale, Françoise. y Raîche, Gilles. (2008). L'évaluation dans la formation supérieure et professionnelle. Mesure et évaluation en éducation , 31, 35 - 59. DOI: 10.7202/1024963ar [ Links ]

Carduner, Damien., Holy, Lauriane., M’Ghary, Kévin. y Pignon, Camille. (2013). La place de l’écrit et de l’écriture dans notre société: usages et mutations. Rennes, Francia: INSA. [ Links ]

Cledera Adelfa, Sara. (2009). Feedback en clase de inglés. Innovación y experiencias educativas, 21, 1 - 8. [ Links ]

Corpas, María Dolores. y Madrid, Daniel. (2007). Desarrollo de la producción escrita en inglés al término de la Educación Secundaria Obligatoria española. Porta Linguarum, 8, 169 - 191. [ Links ]

Côté, France. (2014). Construire des grilles d’évaluation descriptives au collégial : Guide d’élaboration et exemples de grille. Québec, Canada : Presses de l’Université du Québec. [ Links ]

Cuq, Jean-Pierre. y Gruca, Isabelle. (2005). Cours de didactique du français langue étrangère et seconde. Grenoble, Francia : PUG. [ Links ]

Desgagné, Serge. (1997). Le concept de recherche collaborative : l’idée d’un rapprochement entre chercheurs universitaires et praticiens enseignants. Revue des sciences de l’éducation, 23(2), 371 - 393. DOI: 10.7202/031921ar [ Links ]

Desgagné, Serge., Bednarz, Nadine., Lebuis, Pierre., Poirier, Louise. y Couture, Christine. (2001). L’approche collaborative de recherche en éducation : un rapport nouveau à établir entre recherche et formation. Revue des sciences de l’éducation , 27(1), 33-64. DOI: 10.7202/012754ar [ Links ]

Diab, Rula. y Balaa, Luma. (2011). Developing detailed rubrics for assessing critique writing: impact on EFL university students’ performance and attitudes. TESOL Journal, 2, 52-72. DOI: 10.5054/tj.2011.244132 [ Links ]

Durand, Micheline-Joanne. y Chouinard, Roch. (2012). L’évaluation des apprentissages, de la planification de la démarche à la communication des résultats (2da Ed.). Montreal, Canada: Marcel Didier. [ Links ]

Durand, Micheline-Joanne. y Mouffe, Mireille. (2014). La métagrille, un outil pour évaluer la qualité des grilles d’évaluation : exemple d’une production en histoire. En Micheline-Joanne Durand y Nathalie Loye (Dir.), L’instrumentation pour l’évaluation : la boîte à outils de l’enseignant évaluateur (pp. 69 - 92). Montreal, Canada : Marcel Didier. [ Links ]

Durand, Micheline-Joanne. y Poirier, Solen. (2012). La recherche collaborative au service du développement professionnel en ligne. Éducation et francophonie, 40(1), 119 - 137. [ Links ]

Earl, Kerry. y Giles, David. (2011). An other look at Assessment: Assessment in Learning. New Zealand Journal of Teachers’ Work, 8, 11-20. [ Links ]

East, Martin. (2009). Evaluating the reliability of a detailed analytic scoring rubric for foreign language writing. Assessing Writing, 14, 88 - 115. DOI:10.1016/j.asw.2009.04.001 [ Links ]

Ene, Estela. y Kosobucki, Virginia. (2016). Rubrics and corrective feedback in ESL writing: A longitudinal case study of an L2 writer. Assessing writing, 30, 3-20. DOI: org/10.1016/j.asw.2016.06.003 [ Links ]

Ferreyra, Ana Cecilia. (2012). Creencias y concepciones docentes sobre la evaluación de los aprendizajes en el contexto universitario (Tesis de licenciatura). Universidad Católica de Perú, Perú. [ Links ]

Fernández, María Jesús. y Fialho, Isabel. (2016). Qué tipo de emociones experimenta el alumnado al ser evaluado con rúbrica. Revista Internacional de Evaluación y Medición de la Calidad Educativa, 3, 81-88. Recuperado de http://www.sobrelaeducacion.comLinks ]

Forrest, Scott N. y Moquett, Kerry D. (2016). Improving writing of College-Bound Students with rubrics: an English department’s collaborative journey through teacher leadership. The clearing house, 89(6), 179-184. DOI: 10.1080/00098655.2016.1196103 [ Links ]

Furze, Jennifer., Gale, Judith., Black, Lisa., Cochran, Teresa M. y Jensen, Gail. (2015). Clinical reasoning: Development of a grading rubric for student assessment. Journal of physical therapy education, 29(3), 34-45. [ Links ]

Germain, Cluade. (1993). Évolution de l’enseignement des langues : 5000 ans d’histoire. Paris, Francia : CLÉ international. [ Links ]

Guénette, Danielle. (2010). La rétroaction corrective à l’écrit : pratiques et croyances, deux réalités parallèles?. La revue canadienne des langues vivantes, 66, 935 - 966. DOI:10.3138/cmlr.66.6.935 [ Links ]

Guzmán Cedillo, Yunuen Ixchel. (2013). Rúbrica de autoevaluación para promover la competencia argumentativa en foros de discusión en línea. Revista educación, 37 (2), 155-167. Recuperado de http://www.redalyc.org/articulo.oa?id=44029444008Links ]

Keppell, Mike. y Carless, David. (2006). Learning-oriented assessment : a technology-base case study. Assessment in Education, 13, 179-191. DOI: 10.1080/09695940600703944 [ Links ]

Kvale, Steinar. (2011). Las entrevistas en investigación cualitativa. Madrid, España: Morata. [ Links ]

Lapointe, Joanne. (2011). Étude des annotations d’un enseignant à la suite de l’enseignement explicite des stratégies de résolution de problèmes mathématiques (Tesis de maestría). Universidad de Montréal: Canada. [ Links ]

Larsen-Freeman, Diane y Anderson, Marti. (2016). Techniques and principles in language teaching. Oxford, Inglaterra: Oxford University Press. [ Links ]

Leggette, Holli R., McKim, Billy R. y Dunsford, Deborah. (2013). A case study of using electronic self-assessment rubric in a core curriculum writing course. Journal of the National Association of Colleges and Teachers of Agriculture, 57, 2-10. [ Links ]

Leroux, Julie Lyne. y Bigras, Nathalie. (2003). L’évaluation des compétences: une réalité accessible dans nos collèges. Saint-Hyacinthe, Canada: PERFORMA. [ Links ]

Lipnevich, Anastasiya A., McCallen, Leign N., Miles, Katharine Pace. y Smith, Jeffrey K. (2014). Mind the gap! Students’ use of exemplars and detailed rubrics as formative assessment. Instructional Science, 42, 539-559. DOI 10.1007/s11251-013-9299-9 [ Links ]

Lorenzana Flores, Ruth Isabel. (2012). La evaluación de los aprendizajes basada en competencias en la enseñanza universitaria. (Tesis de doctorado). Universität Flensburg : Alemania. [ Links ]

Louis, Roland. (2004). L’évaluation des apprentissages en classe (2da Ed.). Montreal, Canada: Beauchemin. [ Links ]

Lussier, Denise. (1992). Évaluer les apprentissages dans une approche communicative. Paris, Francia : Hachette. [ Links ]

Lussier, Denise. y Turner, Carolyn. (1995). L’évaluation en didactique des langues. Québec, Canada: Centre éducatif et culturel. [ Links ]

Marion, Isabelle. (2007). Apprentissage coopératif. En Carole Raby y Sylvie Viola (dir.), Modèles d’enseignement et théories d’apprentissage de la pratique à la théorie (pp. 67- 89). Montreal, Canada: CEC. [ Links ]

Massé, Pierrette. (1992). Méthodes de collecte et d’analyse de données en communication. Québec, Canada: Press de l’Université du Québec. [ Links ]

Ministère de l’éducation, du loisir et du sport. (2012). Précisions sur la grille d’évaluation : français langue d’enseignement - fin du troisième cycle du primaire. Québec, Canada: Autor. [ Links ]

Morrissette, Joëlle. (2013). Recherche-action et recherche collaborative: quel rapport aux savoirs et à la production de savoirs ?. Nouvelles pratiques sociales, 25 (2), 35-49. DOI: 10.7202/1020820ar [ Links ]

Nguyen, Diem Quyen. y Blais, Jean-Guy. (2007). Approche par objectifs ou approche par compétences? Repères conceptuels et implications pour les activités d’enseignement, d’apprentissage et d’évaluation au cours de la formation clinique. Pédagogie médicale, 8, 232 - 251. DOI: 10.1051/pmed:2007026 [ Links ]

Popham, W. James. (1997). What’s wrong - and what’s right - with rubrics. Educational leadership, 55(2), 72-75. [ Links ]

Rakedson, Tzipora. y Baram-Tsabari, Ayelet. (2016). Assessing and improving L2 graduate students’ popular science and academic writing in an academic writing course. Educational psychology, 10, 1-20. DOI: 10.1080/01443410.2016.1192108 [ Links ]

Raposo, Manuela y Martínez, Maria Esther. (2011). La rúbrica en la enseñanza universitaria: un recurso para la tutoría de grupos de estudiantes. Formación universitaria, 4(4), 19-28. DOI: 10.4067/S0718-50062011000400004 [ Links ]

Raposo-Rivas, Manuela. y Martínez-Figueira, Maria Esther. (2014). Evaluación educativa utilizando rúbrica: un desafío para docentes y estudiantes universitarios. Educación y educadores, 17(3), 499-513. DOI: 10.5294/edu.2014.17.3.6 [ Links ]

Reddy, Malini Y. (2011). Design and development of rubrics to improve assessment outcomes. Quality assurance in education, 19(1), 84-104. DOI : 10.1108/09684881111107771 [ Links ]

Rezaei, Ali Reza. y Lovorn, Michael. (2010). Reliability and validity of rubrics for assessment through writing. Assessing Writing, 15(1), 18 - 39. DOI:10.1016/j.asw.2010.01.003 [ Links ]

Roegiers, Xavier. (2010). L’école et l’évaluation : des situations complexes pour évaluer les acquis des élèves. Bruselas, Bélgica: De Boeck. [ Links ]

Roever, Sally. y Manna, Paul. (2005). Could you explain my grade? The pedagogical and administrative virtues of grading sheets. PS: Political Science and Politics, 39, 317-320. DOI: 10.1017/S1049096505056556 [ Links ]

Rublee, Maria Rost. (2014). Rubrics in the political science classroom: Packing a serious analytical punch. PS: Political Science and Politics , 47, 199-203. DOI: 1100//11004499009695615310300107017404 [ Links ]

Russikoff, Karen. (1995). A Comparison of Writing Criteria: Any Differences?. TESOL , s.r., 1 - 9. [ Links ]

Scallon, Gérard. (2000). L’évaluation formative. Québec, Canada : ERPI. [ Links ]

Scallon, Gérard. (2004). L’évaluation des apprentissages dans une approche par compétences. Montreal, Canada: L’école en mouvement ERPI. [ Links ]

Stiggins, Rick., Arter, Judith., Chappuis, Jan. y Chappuis, Steve. (2006). Classroom Assessment for Student Learning: Doing it Right - Using it Well. New Jersey, Estados Unidos: Pearson. [ Links ]

Tardieu, Claire. (2008). La didactique des langues en 4 mots-clés : communication, culture, méthologie, évaluation. Paris, Francia : Ellipses. [ Links ]

Tardif, Jacques. (2006). L’évaluation des compétences documenter le parcours de développement. Montreal, Canada: Chenelière Éducation. [ Links ]

Timmerman, Briana E., Strickland, Denise C., Johnson, Robert L. y Payne, John R. (2011). Development of a ‘universal’ rubric for assessing undergraduates’ scientific reasoning skills using scientific writing. Assessment and Evaluation in Higher Education, 36, 509 - 547. DOI: 10.1080/02602930903540991 [ Links ]

Van der Maren, Jean-Marie. (1996). Méthodes de recherche pour l’éducation. Bruselas, Bélgica: De Boeck. [ Links ]

Vanier, Mariane. (2011). La rubrique analytique comme outil d’évaluation et de rétroaction pour les laboratoires de physique au niveau postsecondaire (Tesis de maestría). Universidad de Alberta, Canada. [ Links ]

Vygostsky, Lev S. (1933). Pensée et langage. Paris, Francia: Editions La dispute. [ Links ]

Wiggins, Grant. (1998). Educative assessment: Designing Assessments to Inform and Improve Student Performance. San Francisco, Estados Unidos: Jossey-Bass. [ Links ]

Wiliam, Dylan. (2010). An integrative summary of the research literature and implications for a new theory of formative assessment. En Gregory J. Cizek y Heidi L. Andrade (dir.), Handbook of formative assessment (pp. 41-56). New York, Estados Unidos: Routlegde. [ Links ]

Yi, Yong. (2012). Questions arising from the assessment of EFL narrative writing. ELT Journal Volume, 67, 70 - 79. DOI:10.1093/elt/ccs062 [ Links ]

Zhao, Cecilia G. (2012). Measuring authorical voice strength in L2 argumentative writing: The development and validation of an analytic rubric. Language Testing, 30 (2), 201 - 230. DOI: 10.1177/0265532212456965 [ Links ]

3 Se pueden consultar las guías de entrevistas en el documento complementario de este artículo

Recibido: 06 de Marzo de 2019; Aprobado: 10 de Junio de 2019

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons