Fase 1. Revisión documental

Se trata de una técnica que consiste en seleccionar y recopilar información por medio de la lectura y la crítica de recursos documentales y bibliográficos (^{Baena Paz, 1985}).

En esta fase, se realizó una revisión documental sobre las dimensiones de la competencia digital, con la intención de formular un modelo de indicadores que sirviera de base para el diseño de la prueba de evaluación.

Fase 2. Elaboración de un modelo de indicadores de la competencia digital

Tras el análisis y la síntesis de la revisión documental, el equipo investigador adoptó el modelo DigComp 1.0 (^{Ferrari, 2013}). Basándose en la estructura de este modelo, para el área de resolución de problemas fueron planteados un total de 56 indicadores adaptados a la población objeto de estudio, organizados en tres niveles (básico, intermedio y avanzado) y tres ámbitos (conocimiento, habilidad y actitud).

Estos indicadores pueden consultarse en el Modelo de indicadores para evaluar la competencia digital de los estudiantes tomando como referencia el modelo DigComp (INCODIES) (^{García-Valcárcel Muñoz-Repiso, Hernández Martín et al., 2019}), documento más amplio en el que se recogen un total de 325 indicadores distribuidos entre las 5 áreas de la competencia digital.

Para la validación del contenido de los indicadores del área, se siguió el método de jueces. Un total de 18 personas expertas en el diseño de indicadores de evaluación, en competencia digital y profesionales en ejercicio de educación obligatoria, pertenecientes a diferentes ámbitos educativos (educación obligatoria, universidad, gestión educativa), evaluaron la importancia, pertinencia y claridad de los indicadores por medio de un cuestionario online con una escala tipo Likert de 4 grados (4-mucha, 3-bastante, 2-poca, 1-ninguna).

Fase 3. Diseño de la prueba de evaluación

A partir del modelo de indicadores, se procedió a elaborar un banco de ítems para el área de resolución de problemas. Esta batería de ítems se depuró por medio de una revisión de personas expertas, se diseñó la prueba de evaluación que fue aplicada a una muestra piloto de 288 estudiantes de educación obligatoria, calculándose los niveles de dificultad de los ítems de conocimiento y habilidad, así como la fiabilidad de los de actitud (α de Cronbach 0,78). Con los resultados obtenidos, se procedió a elaborar la prueba definitiva.

Esta prueba está compuesta por 16 ítems, 7 pertenecen al ámbito de conocimiento, 9 al de habilidad y 6 al de actitud. Las actitudes fueron valoradas con una escala Likert (1 muy en desacuerdo, 5 muy de acuerdo).

La aplicación de la prueba se realizó de modo online a través de una plataforma web diseñada con el propósito de facilitar las respuestas de escolares. En todo momento se contó con el permiso de las autoridades de la Administración Educativa y del Comité Ético de la Universidad de Salamanca.

Para proceder al desarrollo de la evaluación, fueron enviadas a los centros educativos seleccionados solicitudes de participación del estudiantado de sexto de educación primaria y primero de educación secundaria obligatoria. Todos los centros colaboraron voluntariamente para aplicar la prueba en horario lectivo y para encargarse de, a partir de protocolos específicos, recabar los permisos de las familias y de la niñez.

Análisis descriptivo

Para este análisis, los ítems han sido agrupados en cuatro competencias (C1 a C4) creadas a partir de la suma de las puntuaciones de los cuatro ítems que la miden. Se presentan los estadísticos de la media, la desviación típica, la asimetría y la curtosis, especificando, en cada uno de ellos, el ámbito competencial (conocimiento/habilidad) (Tabla 1). Como los ítems son dicotómicos (acierto 1/error 0) las valoraciones máximas obtenidas en la puntuación media son de 1.

Tabla 1: Análisis descriptivo de los ítems que componen la prueba 

Nota: Elaboración propia.

Las puntuaciones medias oscilan entre 1,36 (C4) y 2,80 (C2). Así, el estudiantado tiene mayor conocimiento y capacidad sobre la identificación de necesidades y respuestas tecnológicas, en primer lugar, y sobre innovar y utilizar la tecnología de forma creativa, en segundo lugar, seguido de la resolución de problemas técnicos y la identificación de lagunas en la competencia digital.

La puntuación media total en la prueba completa es de 6,9 puntos sobre 16, aproximándose al punto central (8) de la escala. Teniendo en cuenta la puntuación media de cada uno de los ítems, la mínima es la del 7 (=0,21) y la máxima la del 6 (=0,82), lo que demuestra que existen diferencias en cuanto a su dificultad. El 7 lo aciertan un 21% del estudiantado, por lo que se considera el más difícil, y el 6 un 82%, el más fácil, lo que manifiesta que el alumnado no sabe seleccionar los mejores dispositivos para trabajar con un procesador de textos, pero sí saben instalar apps en una tablet.

Algunos de los ítems (4, 6, 7 y 13) presentan una asimetría elevada (> 1 o >-1). Respecto a la curtosis, todos presentan puntuaciones inferiores a 3 y en la mayoría de los casos negativas, por lo que pueden considerarse distribuciones platicúrticas. Estos valores por debajo de 0 también indican que los datos están muy dispersos.

Análisis preliminar: Índice de dificultad, discriminación, homogeneidad y fiabilidad

En relación con el índice de dificultad, la tasa promedio en los 16 ítems es del 43,43%, lo que confirma, empíricamente, una dificultad moderada del instrumento ya anticipada por las personas expertas. En relación con los ítems que evalúan capacidades, los aciertos constituyen un 43,31% y los que evalúan conocimientos un 43,55%. No se aprecian prácticamente diferencias entre ambos ámbitos competenciales, excepto si nos fijamos en el porcentaje de aciertos en función de las distintas subáreas. El estudiantado tiene mayor competencia en la de identificación de necesidades y respuestas tecnológicas (52,05%), y menor en la de identificación de lagunas en la competencia digital (34,15%) de las 4 subáreas.

No es una prueba demasiado equilibrada, ya que, aunque predominan las preguntas de nivel intermedio y estas son las que mejor discriminan, carece de las que se sitúan en las categorías extremas (muy fácil-muy difícil). También hay pocas en la de fácil y demasiadas en la de difícil. Los ítems muestran un nivel alto de pertinencia percibida, incluso con un ligero incremento en los de la sub-área identificación de lagunas en la competencia digital, lo que aconseja conservarlos para una posible versión futura del instrumento destinada a una población de mayor edad.

En la Tabla 2 se muestran los datos estadísticos de cada uno de los ítems de conocimiento y capacidad que permiten conocer su índice de discriminación (correlación biserial puntual), su índice de dificultad, la media y varianza de la escala si se suprimiera el ítem, la correlación de los elementos corregida y la fiabilidad de la escala si se suprimiera el ítem.

El análisis de cada uno de ellos y su aportación a la fiabilidad total de la prueba sugeriría suprimir aquellos ítems que si no estuvieran la aumentarían, como en el caso del 4 y del 8 (α de Cronbach = 0,48 en el primero y α de Cronbach = 0,47 en el segundo), que además arrojan una correlación negativa. Estos valores pueden considerarse poco aceptables (<0,70) aunque sería importante tener en cuenta las sugerencias de algunos estudios en relación con la aplicación del α de Cronbach al utilizar una escala dicotómica (^{Oliden y Zumbo, 2008}; ^{Zumbo et al., 2007}).

La Figura 1 representa, mediante ejes de coordenadas, los ítems de la prueba distribuidos teniendo en cuenta el índice de dificultad/facilidad y el de discriminación (correlación biselial puntual). En función de la zona en la que se sitúe el valor p se representa gráficamente la estructura de los ítems. Así, encontramos dos (6 y 7) en la azul, identificados con un nivel bajo de dificultad. Se justifican desde un punto de vista conceptual por tratarse de cuestiones básicas en la evaluación de la competencia digital, como: instalar una App en la tablet y saber seleccionar el mejor dispositivo para hacer un trabajo utilizando un procesador de textos. En la verde o zona objetivo, considerada como las más adecuada, se sitúan el 2, 3, 11 y 12, con un índice de dificultad media. La amarilla o rbpt, de mayor dificultad, no es la más apropiada y en ella se concentran la mayoría de los ítems (1, 5, 9, 10, 13, 14, 15, 16) que, sin embargo, pueden ser aceptados por sus índices de discriminación adecuados. Finalmente, el 4 y el 8 quedan al margen en la zona de discriminación negativa, y deben ser objeto de modificación o eliminación.

Nota: Elaboración propia.

Figura 1: Distribución de los ítems en función de índices de dificultad y discriminación (rbp) 

Análisis correlacional

Para conocer las relaciones entre los 16 ítems se aplicó el estadístico de Pearson. Existen correlaciones positivas y negativas y en la mayoría de los casos no son elevadas, aunque sí significativas. Como casos excepcionales se señala el ítem 1 que no correlaciona con el resto y el 5 que lo hace únicamente con el 16.

Si nos centramos en las cuatro competencias se observan, dado el tamaño de la muestra, correlaciones con valores moderados, pero altamente significativos, a excepción de la C4 sobre identificación de lagunas en la competencia digital que no lo hace ni con la C3 (innovar y utilizar la tecnología de forma creativa), ni tampoco con las actitudinales.

Análisis de fiabilidad de la prueba de conocimientos y capacidades

Se calculó mediante el método Kuder Richardson (coeficiente de correlación KR₂₀), teniendo en cuenta el carácter dicotómico de los 16 ítems. El valor obtenido (r₂₀=0,45) demuestra un coeficiente de consistencia interna que puede considerarse pertinente para este tipo de instrumentos de evaluación de competencias, puesto que se trata ítems que no tienen la misma dificultad. Contrastada la hipótesis de significación, se pudo determinar que el valor alfa obtenido es poco significativo, ello indica que la prueba tiene una confiabilidad moderada-baja. Por tanto, este valor del coeficiente no es suficiente para garantizar la fiabilidad de la escala.

Estadísticos descriptivos

La actitud es muy positiva, con una puntuación media en el total de la escala de 25,42 sobre 30. Si se tiene en cuenta cada uno de los ítems, la media es muy elevada en todos ellos, especialmente los mejor valorados son el 1 (Es importante conocer las características de dispositivos y aplicaciones) y el 6 (Es importante conocer las propias limitaciones en el uso de las tecnologías), ambos con una elevada asimetría (> 1 o >-1). Respecto a la curtosis, la mayoría presentan valores inferiores a 3, demuestra que los datos están muy dispersos y que las distribuciones son platicúrticas. Excepcionalmente en los ítems 1 y 6 se obtienen puntuaciones mayores que 3, considerándose una curtosis leptocúrtica que indica que existe una gran concentración de los valores sobre su media.

Análisis preliminar: Índice de discriminación y fiabilidad

El índice de discriminación se determina con la correlación biserial puntual, dicotomizando la variable. Las puntuaciones 4 y 5 se consideraron como “actitud positiva” y el resto de las puntuaciones (1, 2 y 3) como “actitud negativa”. Las correlaciones son positivas en todos los casos con un índice de discriminación adecuado (Tabla 3).

Calculado el α de Cronbach se obtuvo una puntuación de 0,78 lo que indica una fiabilidad muy aceptable, si se tiene en cuenta el reducido número de ítems.

Análisis correlacional

Calculado el coeficiente de Pearson, se observa que todos los ítems muestran correlaciones significativas con el resto y con el total de la escala. En el primero de los casos, las más altas se establecen entre los ítems 1, 4 (sobre dispositivos) y 5 (sobre tecnología que permite trabajar de forma colaborativa). Las mostradas con el total de la escala son las más elevadas al superar, en casi todos los casos, el valor de 0,60.

Estadísticos descriptivos

En general, las actitudes son mucho más positivas que las puntuaciones obtenidas en los ámbitos competenciales de conocimiento y capacidad (Tabla 4). En una escala de 0-22 puntos, la puntuación global es de 14, se situán los ámbitos competenciales próximos al punto medio, y alcanzan las actitudes un nivel alto (>4). La desviación típica del total de la prueba pone de manifiesto la variabilidad que se atribuye a la prueba, capaz de diferenciar entre los distintos niveles de competencia de los sujetos.

Fiabilidad y validez

Para la prueba de conocimiento y capacidad (16 ítems dicotómicos), la fiabilidad se comprobó mediante el método Kuder Richardson (coeficiente de correlación KR₂₀) se obtuvo un valor de r₂₀= 0,45. Para la escala de actitudes (tipo Likert) se hizo mediante el α de Cronbach cuyo valor fue de 0,78.

Al considerar la prueba completa, un total de 22 ítems, se obtuvo un valor α de Cronbach de 0,65. Volvemos a recordar que la fiabilidad variaría si se eliminara el ítem 4 y 8, tal y como se sugirió con anterioridad, en cuyo caso la puntuación se situaría en 0,66.

Respecto a la validez, entendida como la capacidad que tiene una escala para medir, de manera adecuada y significativa, el factor o la dimensión para la que ha sido creada (^{Muñiz, 1998}; ^{Wiersma, 1986}), se optó por realizar dos tipos: de contenido y de estructura.

En relación con la validez de contenido, los ítems de la prueba se ajustan a un prototipo de indicadores de la competencia digital que, fundamentado en el modelo DigComp, fue diseñado por el equipo de investigación y validado por personas expertas, como ya se indicó anteriormente (puede consultarse en https://gredos.usal.es/handle/10366/139409). Tomando como base este modelo de indicadores, ajustados todos ellos a las edades del estudiantado de educación obligatoria, se formularon los ítems de la prueba que fueron sometidos a juicio experto mediante la técnica de grupos de discusión, con lo que se consiguió una formulación final por medio de un riguroso proceso de discusión y debate de los enunciados y respuestas de los ítems. Todo este proceso sirvió para diseñar un conjunto de ítems con validez de contenido (siguiendo las pautas del modelo teórico-conceptual DigComp) que conforman la prueba del área competencial de resolución de problemas, válida para medir los conocimientos, capacidades y actitudes. El análisis de los ítems demostró su capacidad de discriminación y ajuste a la población de referencia, exceptuando el 4 y el 8 que, según los resultados obtenidos, debieran ser revisados para su posible reformulación o eliminación.

Para el estudio de la validez estructural, primeramente, se calculó el índice de adecuación muestral KMO y la prueba de esfericidad de Bartlett para la totalidad del instrumento. Los resultados obtenidos en la medida de KMO son aceptables por ser superiores a ,50 y la prueba de esfericidad de Barlett se considera altamente significativa (p<.001), con un valor de Chi-cuadrado de 802,688 y con 45 grados de libertad, lo cual indica que los datos se correlacionan positivamente, al mostrar una relación lineal entre las variables. Ello permitió realizar un análisis factorial mediante el estudio de componentes principales con el método de rotación varivax con normalización Kaiser, tomando como variables las 4 competencias de conocimiento-capacidad (C1-C4) y los 6 ítems de actitudes (Tabla 5). La técnica empleada fue la multivariante con el propósito de simplificar, en el menor número de elementos posible, un grupo de variables interrelacionadas en un grupo de factores independientes, para comprobar la correlación entre variables y poder realizar una reducción de los datos simplificando la estructura.

Tabla 5: Porcentaje de varianzas total explicada en cada variable 

Nota: Elaboración propia.

En el análisis de componentes principales se calcularon los valores l para cada uno de los componentes reteniendo los factores cuyo valor l ≥ 1. El primer factor explica el 60,09% de la varianza y el segundo añade 39,90%, de modo que los dos explican el 100% de la varianza de la matriz factorial.

Tras realizar un análisis factorial exploratorio, forzando el número de factores a dos, se consigue alcanzar la unidimensionalidad con un 100% de varianza explicada y se confirma, en este sentido, la validez de la prueba. La variable C1 resolución de problemas técnicos explica el 27,41% de la varianza total, la C2 identificación de necesidades y respuestas tecnológicas el 13,88%, la C3 innovar y utilizar la tecnología de forma creativa el 10,14% y la C4 identificación de lagunas en la competencia digital el 8,65%. Finalmente, la variable de actitud (incluyendo los 6 ítems) explica un 39,9% de la varianza total, con un peso factorial muy alto en la totalidad de la escala.

En la matriz de componentes (Tabla 6) se puede observar la saturación de los ítems de actitudes en el primer factor y de los de competencias sobre conocimientos/capacidades en el segundo factor.

Tabla 6: Matriz de componentes principales 

Nota: Método de extracción: Análisis de componentes principales. Método de rotación: Varimax con normalización Kaiser. Elaboración propia.

Todos los ítems adquieren el peso suficiente (<40) para ser ubicados en el mismo factor en el que los establecieron tanto el equipo investigador como el comité experto que validó el contenido de la prueba (^{Ferrando, 1996}). Los correspondientes a la variable actitud presentan valores altos en la interpretación del factor, por lo que pueden considerarse determinantes.

Para finalizar este estudio de las características de la prueba se pretendió comprobar que los ítems no tenían sesgo en función del género, calculando los valores de Chi cuadrado. Los resultados evidencian que no hay diferencias significativas prácticamente en ninguno de los ítems a excepción del 9 (p= 0.02), con mayor número de aciertos en los chicos (52% frente al 42%).