Introducción

En el ámbito educativo, la innovación constituye uno de los pilares en la mejora de la calidad de los procesos de enseñanza y aprendizaje. Uno de los ámbitos en los que se están incrementando estas innovaciones se hacen en educación emocional. Estas iniciativas pedagógicas, de acuerdo con ^{Durlak et al. (2011}), Organización para la Cooperación y Desarrollo Económico (^{OCDE 2017}) y ^{Peterson (2018}) evidencian su efectividad, entre otras, en la mejora del rendimiento académico y la convivencia escolar y familiar. Por otra parte, ^{Durlak (2016}) señala la importancia de realizar evaluaciones más completas, que integren también la calidad de la implementación de dichas innovaciones en educación emocional. En la misma línea, ^{Dowling y Barry (2020}) concluyen que existen pocos estudios que evalúen la calidad de estas propuestas innovadoras tomando como unidad de análisis su implementación, a pesar de la importancia que posee el conocer de qué modo la variabilidad en la puesta en práctica de los programas condiciona los resultados.

Por ello, con el fin de anticipar líneas de actuación que mejoren la calidad educativa, conocer qué elementos afectan la puesta en marcha de proyectos de innovación educativa en los centros escolares supone un reto para las instituciones (^{OCDE, 2020}).

En la bibliografía existente se han encontrado modelos que ilustran los factores más relevantes que condicionan la calidad de la implementación de los proyectos de innovación educativa en los centros escolares (^{Domitrovich et al., 2008}; ^{Durlak y Dupre, 2008}) (Tabla 1).

Tabla 1: Factores que pueden afectar a la calidad de la implementación 

Nota: Elaboración propia, a partir de ^{Domitrovich et al. (2008}), ^{Durlak y Dupre (2008}).

Dada la multiplicidad de elementos que pueden condicionar la calidad del desarrollo de las iniciativas de innovación educativa y, más concretamente, en educación emocional, se procedió, en primer lugar, a analizar, de manera crítica, los modelos teóricos existentes y, en segundo lugar, se realizó un diseño inicial del instrumento que se estructuró en cinco dimensiones: motivación, facilitadores, barreras, efectividad percibida y sostenibilidad.

La primera dimensión que conforma el cuestionario está apoyada en la teoría de la autodeterminación (^{Deci y Ryan, 1985}; ^{Ryan y Deci, 2017}). El constructo motivación refleja el perfil motivacional del profesorado de acuerdo con la clasificación propuesta por estos estudios. Asimismo, se ha partido del instrumento validado por ^{Ruiz Quiles (2015}) para la creación de los ítems de la dimensión motivacional.

Las dimensiones segunda y tercera del cuestionario incorporan factores que pueden actuar como facilitadores o, por el contrario, como barreras a la hora de llevar a cabo los proyectos de innovación educativa en general, y de educación emocional en particular.

Los estudios de ^{Agner et al. (2020}), ^{Atkins y Frederico (2017}), ^{Long, et al. (2016}) señalan que la falta de tiempo personal, una inadecuada planificación en la puesta en marcha de los proyectos, la carga laboral de las personas participantes, la débil implicación del profesorado en las distintas fases del proceso, así como un ambiente escolar y de aula poco cálidos y desorganizados actúan como barreras en la fase de desarrollo de las iniciativas innovadoras.

Estos factores han sido contrastados por ^{Zaltman y Duncan (1977}), en cuyo estudio identifican 18 causas que actúan como barreras del cambio, y que agrupan en cuatro categorías: culturales, sociales, organizacionales y psicológicas. En esta misma línea, el modelo de ^{Carbonell (2001}) señala que existe gran dificultad en la creación de herramientas que evalúen de modo integral las fases de ejecución de los proyectos. Tomando como referencia los estudios señalados, se han incorporado en el cuestionario dos nuevas dimensiones relacionadas con los elementos contextuales: la dimensión facilitadores con cinco subdimensiones: características organizacionales del proyecto, factores organizativos culturales, liderazgo orientado a la cultura de aprendizaje, apoyo y acompañamiento percibido dentro del centro educativo y apoyo externo recibido. En relación con la dimensión barreras se establecen cinco subdimensiones: curriculares, factores temporales y de cultura de centro, ausencia de liderazgo orientado a la cultura de aprendizaje, actitudes docentes respecto al proyecto y débil apoyo externo percibido.

Nos interesaba, además, que el cuestionario incluyera la dimensión efectividad percibida del proyecto (cuarta dimensión). Partiendo del instrumento elaborado por ^{Berástegui Martínez (2016}), ^{Matas Terrón et al. (2004}) y, adaptándola al presente estudio, se ha creado la dimensión efectividad percibida de los efectos de los proyectos de educación emocional implementados en el desarrollo emocional de los escolares. De acuerdo con los autores referidos, esta dimensión comprende tres subdimensiones: efectividad percibida curricular, efectividad percibida en la relación educativa y efectividad percibida en el impacto en el alumnado.

Por último, de acuerdo con la revisión bibliográfica, se ha incluido una última dimensión que hace referencia a la sostenibilidad de las iniciativas llevadas a cabo en los centros escolares. Entendiendo por sostenibilidad como sinónimo de perdurabilidad, de acuerdo con el principio de longitud señalado por ^{Hargreaves y Fink (2006}).

Con base en lo señalado, el objetivo del estudio es ofrecer evidencias de validez de contenido mediante jueces y juezas de un cuestionario para recabar las percepciones del profesorado no universitario sobre la implementación de proyectos de educación emocional en los que han participado.

Metodología

Resultados

Como resultado de la triangulación realizada sobre el instrumento, se aprecian tres resultados. El primero de ellos es el grado de acuerdo entre los jueces y las juezas, hallado mediante la media estadística. El instrumento no posee ningún ítem con una media inferior a 3 puntos en ninguna de las áreas evaluadas. Por ello se ha diferenciado entre aquellos ítems que obtuvieron puntuación entre 3,5 y 4 y aquellos que obtuvieron una puntuación entre 3 y 3,49, ya que estos últimos requieren de revisión. Como se puede observar en la Tabla 2, las cuatro dimensiones estudiadas poseen un porcentaje de acuerdo superior al 92%, llegando a ser un acuerdo del 100% en la dimensión coherencia.

Tabla 2: Validez de contenido de las dimensiones y el instrumento 

Nota: Elaboración propia.

El segundo estudia el coeficiente de concordancia a través de la W de Kendall, que permite conocer el nivel de concordancia entre los jueces y las juezas. Existe concordancia si la totalidad valora de igual manera aquellos aspectos o ítems evaluados. Si la significatividad es menor que .05, existe consenso interjueces. A continuación, se presentan la Tabla 3 donde se expone la prueba estadística W de Kendall de las 4 dimensiones que se han evaluado.

Tabla 3: Estadísticos de prueba 

Nota: ª: Coeficiente de concordancia de Kendall. Elaboración propia.

El quinto estadístico, la W de Kendall, se ha estudiado para el instrumento de manera global, obteniendo una significatividad de .000. Por ello, se descarta la hipótesis nula. Las puntuaciones obtenidas en el W de Kendal señalan que existe un nivel de acuerdo entre los jueces y las juezas muy débil, ya que es inferior en todos los casos al 0.3 (^{Schmidt, 1997}).

Por último, el tercero es el relacionado con las observaciones cualitativas que realizan del instrumento los jueces y las juezas. Estas valoraciones se pueden subdividir en dos grandes categorías: aquellas que sugieren añadir, eliminar o modificar ítems de la escala y otra en la cual se modifica la estructura del instrumento. Como resumen del proceso de validación por triangulación, la Tabla 4 contiene las correcciones del instrumento.

Tabla 4: Modificaciones realizadas en los ítems 

Nota: Elaboración propia.

La primera versión del instrumento constaba de dos secciones: la primera con 11 preguntas sociodemográficas y 77 preguntas que estudiaban las cinco dimensiones propuestas, lo que conforman un total de 88 ítems. Los cambios producidos para mejorar su fiabilidad han hecho que el instrumento final pase de tener 88 ítems a 86.

A continuación, en la Tabla 5 se presenta la estructura interna del instrumento final y, en el Apéndice A (https://doi.org/10.5281/zenodo.5137479), el propio instrumento con las modificaciones señaladas por los jueces y las juezas. El instrumento se divide en dos apartados, el primero que recoge los datos sociodemográficos de las personas participantes y el segundo que abarca las 5 dimensiones estudiadas.

Tabla 5: Tabla de conceptos y dimensiones que conforman el cuestionario a evaluar 

Nota: Elaboración propia.

Discusión

La bibliografía científica recoge la necesidad de evaluar los procesos de implementación en educación emocional. Las investigaciones centran sus esfuerzos en el estudio de un factor y sus efectos. Algunos ejemplos son los trabajos de ^{Barry et al. (2017}), ^{Dowling y Barry (2020}), ^{Goldberg et al. (2019}), ^{Long et al. (2016}) y ^{Oberle y Schonert-Reichl (2016}), en los que se ha estudiado el rol docente y su implementación de intervenciones con el objetivo de dar respuesta a las dificultades que perciben en el entorno. En estos trabajos se han centrado en factores como la práctica diaria y el desarrollo de habilidades sociales y emocionales, tanto en los centros educativos como en sus agentes más cercanos. De igual manera, recogen que los resultados observados son el producto de evaluar, si las intervenciones realizadas han generado cambios en las personas participantes. Sin embargo, son escasos los estudios multidimensionales sobre los procesos de implementación, que es el enfoque que se adopta en este estudio.

Por ello, la presente investigación aborda la tarea de crear y validar un instrumento para recopilar las percepciones del profesorado participante sobre cinco elementos que afectan la implementación de los proyectos de innovación educativa en educación emocional. Por tanto, se ha partido tanto de elementos que afectan la innovación (^{Domitrovich et al., 2008}; ^{Durlak y Dupre, 2008}) como de constructos utilizados para crear las dimensiones (^{Berástegui Martínez, 2016}; ^{Carbonell, 2001}; ^{Deci y Ryan, 1985}; ^{Hargreaves y Fink, 2006}; ^{Matas Terrón et al., 2004}; ^{Zaltman y Duncan, 1977}).

Conocer estos elementos limitantes o potenciadores en la implementación de los proyectos de educación emocional brindará elementos de reflexión a los responsables educativos encargados de modificar la estructura organizacional, con el fin de realizar modificaciones que se traduzcan en mejoras de la calidad educativa. Un ejemplo de ello sería la revisión de planes de estudio, no solo a nivel macro como explica la ^{OCDE (2020}) sino también a nivel de centro y aula. En aquellos casos en los que se detectase puntuaciones bajas, sería conveniente realizar un estudio para reorganizar el proyecto de educación emocional puesto en marcha, centrando sus esfuerzos en la resolución y eliminación de barreras, así como el fomento y promoción de aquellos resultados positivos.

Para dar respuesta a estas cuestiones, la finalidad del instrumento es proveer una herramienta diagnóstica para la mejora de la calidad de la implementación de proyectos en educación emocional partiendo del conocimiento situado y la experiencia del personal docente sobre las realidades del centro, así como la voluntad de realizar mejoras sobre esta misma.

Conclusiones

En este artículo se han expuesto las razones que han justificado la creación del instrumento. Como explica la ^{OCDE (2017}, ²⁰²⁰), la necesidad de evaluar la calidad de la implementación de los proyectos de educación emocional hace necesario la creación de una herramienta capaz de estudiar el contexto en el que estas se desarrollan. Si bien es cierto que existen instrumentos validados que estudian factores concretos sin tener en cuenta la ecología de los factores que condicionan el éxito de los proyectos de educación emocional que se implementan (^{Durlak, 2016}), el presente instrumento lo enfoca desde una perspectiva multidimensional, ya que aglutina cinco factores. No obstante, en este artículo el estudio de la validez y confiabilidad en la medición del constructo no forma parte de este estudio. La recogida de datos de la muestra necesaria para el estudio de la consistencia interna y fiabilidad será objeto de un segundo estudio en el que estamos trabajando. Por ello, se limita la discusión a la validez mediante juicio experto.

Los jueces y las juezas señalan que la escala diseñada presenta validez de contenido. Esto es debido tanto al número de jueces y juezas que han participado en el estudio de validez -un total de 11, que supera el mínimo de cinco jueces recomendado (^{Escobar-Pérez y Cuervo-Martínez, 2008}), como al proceso metodológico seguido- estimación de la fuerza de magnitud en la fuerza de concordancia entre jueces y juezas, la fuerza de concordancia entre jueces de las características del instrumento y sus apreciaciones cualitativas globales. Sin embargo, una limitación a destacar es la prueba W de Kendall. Los resultados de este estadístico han de ser interpretados con cautela. El instrumento presenta la existencia de acuerdo entre el equipo, aun cuando el grado de acuerdo es muy débil. Esto podría ser debido a que la escala posee 87 ítems, lo cual dificulta el acuerdo. No obstante, se ha decidido continuar con el proceso de validación, ya que las escalas empleadas para la construcción del instrumento han sido validadas por separado.

Para concluir, este instrumento forma parte de un estudio más amplio enmarcado en el trabajo de una tesis doctoral que se está llevando a cabo en la Universidad de Sevilla (España). Como ya se ha mencionado anteriormente, un segundo estudio en el que estamos trabajando difundirá los resultados de la validación del instrumento. El acceso a la muestra se está desarrollando desde el grupo de investigación en educación emocional y dramatización (GRieeD) en colaboración con la Consejería de Educación de la Junta de Andalucía (España). Su utilización por parte de los agentes educativos permitirá a los centros escolares, equipos directivos y profesorado valorar los aspectos de los proyectos de educación emocional que desarrollan, mejorar aquellos factores donde se obtengan puntuaciones bajas y buscar apoyo para poder aumentar la calidad de los proyectos de educación emocional implementados.