SciELO - Scientific Electronic Library Online

 
vol.8 issue1Implementation of mobile reference services in the Library of the Inter-American Court of Human Rights: the Whatsapp and SMS useMakey Makey and its Possible Application in Libraries author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • Have no similar articlesSimilars in SciELO

Share


E-Ciencias de la Información

On-line version ISSN 1659-4142

E-Ciencias de la Información vol.8 n.1 San Pedro de Montes de Oca Jan./Jun. 2018

http://dx.doi.org/10.15517/eci.v8i1.30012 

Informe técnico

Metodología para valorar y clasificar herramientas de evaluación de accesibilidad web

Methodology to valuate and classify web accessibility evaluation tools

Javier López-Zambrano1 

Joffre Moreira-Pico2 

Nathaly Alava-Cagua3 

1Escuela Superior Politécnica Agropecuaria de Manabí - Manuel Feliz López. Carrera de Computación. ECUADOR. jlopez.ec@outlook.com. orcid.org/0000-0002-3439-4066

2Escuela Superior Politécnica Agropecuaria de Manabí - Manuel Feliz López. Carrera de Computación. ECUADOR. joramopi@gmail.com. orcid.org/0000-0001-6961-3188

3Escuela Superior Politécnica Agropecuaria de Manabí - Manuel Feliz López. Carrera de Computación. ECUADOR. nathy_ja17@hotmail.com. orcid.org/0000-0002-5696-4779

Resumen

Teniendo en cuenta que la accesibilidad Web es el arte de garantizar que los portales de la Internet puedan ser visitados y utilizados de forma satisfactoria por el mayor número posible de personas, es imprescindible evaluar sus contenidos empleando las herramientas adecuadas; por tal razón, esta investigación tiene como objetivo presentar un modelo metodológico para valorar estas herramientas automáticas y seleccionar, entre las existentes, las que tienen más criterios, contemplados en la WCAG 2.0. El modelo propuesto comprende una metodología cíclica y se denomina IPAC, por las siglas en inglés de sus cuatro etapas: Inspect-Plan-Assess-Categorize, que pretenden categorizar y/o recategorizar las herramientas de evaluación de accesibilidad Web, cuyas funciones incorporadas son cambiantes en el tiempo. La validación realizada de este modelo en julio de 2017 de dio como resultado la categorización de las cinco mejores herramientas de licencia libre por cada nivel de conformidad (A, AA y AAA).

Palabras clave: Metodología IPAC; contenido Web; WCAG 2.0; nivel de conformidad

Abstract

Taking into account that Web accessibility is the art of ensuring that web portals can be visited and used satisfactorily by as many people as possible, it is indispensable to evaluate the Web contents using the appropriate tools, for this reason, this research work aims to present a methodological model to evaluate these automatic tools, and to select between the existing ones, the highest number of criteria (referred to in WCAG 2.0) can be assessed. The proposed model comprises a cyclic methodology and is called IPAC by the acronym in English of its 4 stages (inspect-plan-assess-categorize), the same ones that are intended to categorize and/or recategorize the Web Accessibility assessment tools, whose built-in functions are changed over time. The validation made in July 2017 of this model resulted in the categorization of the 5 best free license tools for each conformance level (A, AA and AAA).

Keywords: IPAC methodology; Web content; WCAG 2.0; conformance level

Introducción

Con el uso masivo de la Internet, el enfoque de desarrollo de aplicaciones Web, es decir, en páginas, sitios y portales, ha evolucionado sustancialmente, así como el concepto de usuario propuesto para ellas; por lo tanto, una comprensión en profundidad de sus necesidades, las preferencias de los medios de comunicación, la similitud y la diferencia y la usabilidad de la tecnología actual son plausibles hacia el diseño del sistema de comunicación universal y personalizado (Hossain, 2017).

Para garantizar la accesibilidad Web, la W3C (2008) la define como accesible si su contenido es perceptible para cada usuario, los componentes de la interfaz de usuario en su contenido son operables , el contenido y los controles son comprensibles , y si el contenido es lo suficientemente robusto como para trabajar con tecnologías actuales y futuras; en ese sentido, existen dos métodos que pueden ayudar a los evaluadores, diseñadores y desarrolladores a valorar los contenidos Web para garantizar que sean accesibles: revisiones con herramientas de evaluación automáticas y controles manuales.

Las herramientas de evaluación de la accesibilidad de la Web pueden reducir significativamente el tiempo y el esfuerzo necesarios para llevar a cabo las evaluaciones; estas herramientas, cuando se usan con cuidado durante las fases de diseño, implementación y mantenimiento del desarrollo Web, pueden ayudar a prevenir barreras de accesibilidad, reparar obstáculos encontrados y mejorar la calidad general de los sitios Web (W3C, 2016b).

Uno de los factores centrales en la evaluación automática de la accesibilidad Web es seleccionar las herramientas que más criterios evalúan, por eso, luego de una revisión bibliográfica exhaustiva, se determinó que una limitante es la ausencia de una metodología unánimemente reconocida por personas con experticia y que investigan como la más adecuada para dicha selección.

Ante esto, el presente trabajo pretende sentar las bases de una metodología para valorar y clasificar, es decir categorizar o recategorizar, herramientas de evaluación de accesibilidad Web, tomando como base las pautas del estándar de accesibilidad dictado por la W3C, además de ayudar a los gerentes, diseñadores, desarrolladores, diseñadores de políticas, investigadores y otros a optimizar sus esfuerzos en dichas áreas.

Referente teórico

2.1. Accesibilidad web

En los últimos años, la Web ha pasado a ser la mayor fuente de información gratuita disponible para todo el mundo (Eccles, Thelwall, y Meyer, 2012). De Souza y Mont'Alvao (2012) indican que se ha convertido en un recurso fundamental para distintas áreas, por ello, lograr un diseño Web accesible debe ser un objetivo elemental en la creación de su contenido para que cualquier persona pueda tener acceso a los recursos que ofrece la Internet (Chacón-Medina, Chacón-López, López-Justicia, y Fernández-Jiménez, 2013).

Para lograr el acceso universal a la información en la internet, el diseño de la interfaz de usuario de los sitios Web debe estar implementada con características de accesibilidad (De Souza y Mont'Alvao, 2012; Acosta y Luján-Mora, 2017), teniendo en cuenta que la accesibilidad Web es el arte de garantizar que sus portales puedan ser visitados y utilizados de forma satisfactoria por el mayor número posible de personas (Carreras, 2012), venciendo las barreras que excluyen a las personas de edad avanzada y con discapacidades visuales, auditivas, cognitivas, mentales y físicas (Luján-Mora, 2013; W3C, 2016a).

Para Garrido, et al., (2013) el principal problema de la accesibilidad Web es la falta de compromiso con el cumplimiento de este parámetro que se resuelve aplicando estándares de accesibilidad, porque como lo mencionan Casasola, Guerra, Casasola y Pérez (2017), además de permitir la accesibilidad a los contenidos Web, brindan otras ventajas, por ejemplo: que la tecnología y los dispositivos sean independientes, hay mayor eficiencia en el tiempo de respuesta y mejora la imagen de la responsabilidad social de las instituciones.

2.2. Estándares de accesibilidad web

En 1999, el grupo de trabajo Iniciativa de Accesibilidad Web (WAI), creado por el Consorcio Mundial de la red (W3C), desarrolló las denominadas: Pautas de Accesibilidad para el Contenido en la Web 1.0 (WCAG), que en 2008 fue actualizada a la versión WCAG 2.0 (Romen y Svans, 2012; Luján-Mora, 2013); en el presente, es un estándar internacional, según Acosta y Luján-Mora (2017) ISO/IEC (ISO / IEC 40500:2012), con la finalidad de guiar el diseño de páginas Web hacia un planteamiento altamente accesible, reduciendo barreras a la información (Quizhpi, 2015).

Por su parte, De Oleo y Rodríguez (2013) y Marino, Alfonzo, Escalante, Alderete y Godoy (2015) indican que las WCAG 2.0 están destinadas para una audiencia variada, o sea, desarrolladores Web, diseñadores Web, desarrolladores de herramientas o, en general, para personas que necesiten un estándar para guiarse con el objetivo asegurar y garantizar la accesibilidad. Los estándares de accesibilidad, de acuerdo con Garrido, et al., (2013), deben ser contemplados desde el inicio, durante el diseño y el desarrollo de las aplicaciones, y páginas Web.

En sus términos, la WCAG 2.0 está comprendida por cuatro principios fundamentales: perceptible, operable, comprensible y robusta, los cuales se desarrollan en 12 pautas (W3C, 2008; Casasola et al., 2017); estas pautas, como lo indican Li, Yen, Lu, y Lin (2012), tienen por objeto promover un ambiente de cooperación con el contenido Web accesible, donde cada punto de verificación está asignado a uno de los tres niveles de prioridad 1, 2, y 3 establecidos por las pautas (Alfonzo y Mariño, 2013).

Según Romen y Svans (2012) y Navarrete y Luján (2014) en función a estos puntos de verificación se establecen los Niveles de Conformidad: "A", es decir todos los puntos de verificación de prioridad 1 se satisfacen; "AA", o sea, todos los puntos de verificación de prioridad 1 y 2 se satisfacen, y "AAA", todos los puntos de verificación de prioridad 1, 2 y 3 se satisfacen y son utilizados para referenciar el nivel de accesibilidad que tiene una página o sitio Web.

2.3. Herramientas de evaluación de accesibilidad

Una parte decisiva de identificar que el contenido Web sea accesible es haciendo una revisión del trabajo, que se puede hacer de forma manual, por medio de la verificación del funcionamiento de un sitio Web mediante intervención de un experto (Abu, Alkhateeb, Al & Al-Betar, 2013), o automática, realizada a través una aplicación informática que analiza el código de una página Web y devuelve un listado de fallos encontrados.

En la Internet se pueden encontrar numerosas herramientas que permiten hacer una evaluación automática de accesibilidad a un sitio Web (Sosa, Gaetán y Martin, 2015), como por ejemplo, TAW, Wave, Examinator, entre otras; estas herramientas hacen una evaluación rápida y sistemática generando un resultado inicial de accesibilidad, que, de acuerdo con Sosa, et al., (2015), no proporciona un análisis definitivo y fiable, razón por la cual debe ser complementada con una revisión manual, además de la evaluación del código HTML, CSS y XHTML, que evita muchos errores relacionados con la accesibilidad en cuanto a la distinguibilidad, adaptabilidad, legibilidad y navegación; en palabras de Abu et al., (2013) estas herramientas, entre otras tecnologías como HTML Dinámico (DHTML) y XML (Ajax), son usadas para proporcionar una presentación dinámica e interactiva de los contenidos Web.

Planteamiento de modelo metodológico

En opinión de Bar (2010), “La ciencia es la ‘ciencia natural’, o sea aquella sustentada en principios experimentales que implican la manipulación de variables independientes y la medición de variables dependientes” (p. 5), y “Las operaciones que se derivan en un dato numérico pueden ser tres: nominación, ordenamiento y medición, con lo cual queda claro que este último es solo uno de los tres procedimientos posibles en términos de atribución numérica” (p. 7), basándose en ello, los autores definieron un modelo contemplando la nominación, medición y ordenamiento, denominado IPAC (Inspect-Plan-Assess-Categorize), que puede ser usado para valorar y clasificar las herramientas de evaluación de accesibilidad web, cuyas funciones incorporadas son cambiantes en el tiempo de acuerdo con los criterios contemplados en la WCAG 2.0.

Las etapas del modelo constan de varios métodos y técnicas con la finalidad de alcanzar cada uno de los objetivos específicos y el general. Tal y como se muestra en la Figura 1, las etapas son cíclicas, debido a que, a través del tiempo, la categorización puede variar por la aparición de nuevas herramientas, o, la incorporación de nuevas funcionalidades a las existentes, por lo que se las deberá evaluar y recategorizar continuamente.

Fuente: Elaboración propia

Figura 1: Etapas del modelo IPAC 

3.1 etapas del modelo IPAC

Inspeccionar (Inspect) Tiene como objetivo, investigar y conocer las herramientas existentes y sus funcionalidades, identificándolas en función de los 61 criterios establecidos en la WCAG 2.0; para ello, se apoya en el método bibliográfico, en este caso de información digital incluida en la página oficial (descripción de la herramienta), con la cual se valida, en primera instancia, que la herramienta existe y cuál es el alcance funcional, o sea, sus características.

Planificar (Plan) La planificación tiene como objetivo crear un instrumento que evalúa y tabula los resultados que darán el puntaje final a las herramientas. La propuesta de este trabajo implica la construcción de una matriz donde consten los 61 criterios enmarcados dentro de los cuatro: principios, y clasificados respecto a los tres niveles de conformidad (ver Tabla 1). Luego, se debe determinar la cantidad y cuáles serán las páginas Web sujetas a evaluación con cada una de las herramientas seleccionadas en la etapa inicial, utilizando un instrumento de evaluación creado a partir de la matriz anterior y los sujetos de evaluación que, en este caso, se suponen tres (ver Tabla 2).

Tabla 1: Matriz para valorar herramientas de evaluación de accesibilidad web, según criterios, principios y niveles de conformidad 

PRINCIPIOS NIVEL DE CONFORMIDAD A NIVEL DE CONFORMIDAD AA NIVEL DE CONFORMIDAD AAA
Perceptible criterio 1 criterio 1 criterio 1
criterio n criterio n criterio n
Operable criterio 1 criterio 1 criterio 1
criterio n criterio n criterio n
Comprensible criterio 1 criterio 1 criterio 1
criterio n criterio n criterio n
Robusto criterio 1 criterio 1 criterio 1
criterio n criterio n criterio n

Fuente: Elaboración propia

Tabla 2: Instrumento basado en la matriz de valoración de herramientas de evaluación de accesibilidad web, con 3 sujetos de evaluación 

PRINCIPIOS NIVEL DE CONFORMIDAD A NIVEL DE CONFORMIDAD AA NIVEL DE CONFORMIDAD AAA
Crite. P1 P2 P3 V Crite. P1 P2 P3 V Crite. P1 P2 P3 V
Perceptible C1 R1 C10 R1 C15 R1
C2 R2 C11 R2 C16 S2
C3 R3 C12 R3 C17 R3
C4 R4 C13 R4 C18 R4
C5 R5 C14 R5 C19 R5
C6 R6 C20 R6
C7 R7 C21 R7
C8 R8 C22 R8
C9 R9
%1 = ( Σ1 / 9 ) x 100 Σ1 %5 = ( Σ5 / 5 ) x 100 Σ5 %8 = ( Σ8 / 8 ) x 100 Σ8
Operable C1 R1 C10 R1 C13 R1
C2 R2 C11 R2 C14 R2
C3 R3 C12 R3 C15 R3
C4 R4 C16 R4
C5 R5 C17 R5
C6 R6 C18 R6
C7 R7 C19 R7
C8 R8 C20 R8
C9 R9
%2 = ( Σ2 / 9 ) x 100 Σ2 %6 = ( Σ6 / 3 ) x 100 Σ6 %9 = ( Σ9 / 8 ) x 100 Σ9
Comprensible C1 R1 C6 R1 C11 R1
C2 R2 C7 R2 C12 R2
C3 R3 C8 R3 C13 R3
C4 R4 C9 R4 C14 R4
C5 R5 C10 R5 C15 R5
C16 R6
C17 R7
%3 = ( Σ3 / 5 ) x 100 Σ3 %7 = ( Σ7 / 5 ) x 100 Σ7 %10 = ( Σ10 / 7 ) x 100 Σ10
Robusto C1 R1
C2 R2
%4 = ( Σ4 / 2 ) x 100 Σ4
TOTAL %T1 = (Σ1 + Σ2 + Σ3 + Σ4) / 4 %T2 = (Σ5 + Σ6 + Σ7) / 3 %T3 = (Σ8 + Σ9 + Σ10) / 3

Nota: Pn = Páginas web (sujetos de evaluación); V = Valor; Cn = Criterios; Rn = Resultado por criterio

Fuente: Elaboración propia

Para la determinación de los sujetos de evaluación, se sugiere estratificar la selección (seleccionar páginas que incluyan niveles bajos, medios y altos de accesibilidad web) e incluir no menos de tres páginas web en el instrumento de evaluación (ver Tabla 2), para tener diversidad en los resultados de valoración a la herramienta, dado que cada herramienta no incluye el mismo número de criterios de evaluación y, de igual forma, podrían haber páginas o sitios web que incluyan o no estos criterios de accesibilidad, para garantizar una valoración más real de todas las herramientas de evaluación de accesibilidad web a utilizar.

La matriz elaborada como instrumento de evaluación (Tabla 2) está compuesta de cuatro filas respecto a los principios y tres columnas correspondientes a los niveles de conformidad, donde sus cuadrantes incluyen los 61 criterios clasificados, según la WCAG 2.0.

La metodología de calificación comprende el hecho de que cada cuadrante tendrá un valor porcentual correspondiente a la funcionalidad de la herramienta, para obtener un promedio general (%) por cada columna o nivel de conformidad. Para calcular el porcentaje de funcionalidad por cuadrante, se debe contemplar la sumatoria individual por criterio a partir de la disyunción de los valores (0 o 1) de cada página (P) Web (P1, P2, P3), donde basta que uno de ellos tengan un 1 para considerar que ese criterio es evaluado por la herramienta de evaluación de accesibilidad web, cuyo resultado R = (P1 v P2 v P3); estas valoraciones (Rn) serán sumadas Σ = (R1 + … + Rn), y servirán como insumo para el valor porcentual, este se determina dividiendo la sumatoria obtenida (Σn) para el número de criterios en el cuadrante, multiplicarlo por 100, ejemplo: %1 = ( Σ1 / 9 ) x 100.

Evaluar (Assess) Tiene como finalidad aplicar la matriz (Tabla 2) para evaluar cada herramienta de forma independiente, tabulando los resultados obtenidos con cada una de las páginas Web, esta etapa consta de los siguientes lineamientos:

  1. El instrumento de evaluación tiene como finalidad tabular el cumplimiento de evaluación de los 61 criterios clasificados por principios y niveles de conformidad, donde el cumplimiento o no cumplimiento equivaldrá a 1 o 0 correspondiente.

  2. Cada herramienta deberá probarse con los sujetos de evaluación seleccionados (páginas Web), tomando en consideración los resultados de las herramientas que evalúan al problema en su totalidad.

  3. Los resultados obtenidos en cada instancia de prueba deberán ser registrados en el instrumento (Tabla 2), ubicando un 1 en los casilleros correspondientes.

  4. En la misma matriz se registran los resultados de todas las páginas Web seleccionadas, identificadas como P1, P2 y P3.

  5. El procedimiento se debe repetir de manera independiente para cada herramienta.

Categorizar (Categorize) La etapa de categorización tiene como objetivo clasificar las herramientas según los resultados, indistintamente para cada nivel de conformidad (A, AA y AAA), ver Tabla 3.

Tabla 3: Matriz de categorización para las 5 mejores herramientas de evaluación de accesibilidad web, por nivel de conformidad 

NIVEL DE CONFORMIDAD
# Herramienta Puntaje Adicional Total
1
2
3
4
5

Fuente: Elaboración propia

Una vez clasificadas, si se encontraran dos o más herramientas con la misma puntuación, se valoriza un adicional, cuyo objetivo es que no existan puntuaciones iguales para poder categorizarlas de forma adecuada, este adicional es en función de cuál es la más intuitiva respecto a la(s) otra(s); para ello, se debe considerar los siguientes criterios:

  • Presentación información (detalles e información complementaria).

  • Facilidad de uso de la herramienta.

  • Facilidad para interpretar los resultados

Al ponderar estos criterios en un rango del 1 al 5, siendo 1 el más bajo y 5 la más alto, se le podrá asignar un adicional del 1% a la herramienta que alcanzó el mayor puntaje. Si al incrementar este adicional la herramienta llega a igualar en puntuación a otra(s), se deberá repetir el mismo procedimiento.

3.2 Validación/resultados de la metodología

Para probar IPAC se efectuó una validación en julio del 2017, cuyos resultados obtenidos sustentan la funcionalidad de la metodología. Dentro de la etapa de la inspección se realizó un análisis por sondeo o selección, que permitió analizar documentación relacionada con 27 herramientas mencionadas en la página de la W3C, fuente elegida por ser uno de los principales referentes de información de este trabajo, y 19 en la Universidad de Alicante, considerada como una entidad que realiza investigaciones acerca de accesibilidad Web, de las cuales, por el enfoque de la investigación y con el espíritu de utilizar herramientas con licencia libre, se redujeron a 16.

Luego, en la planificación se seleccionaron los sujetos de evaluación considerando los siguientes criterios:

  • De educación superior: la Escuela Superior Politécnica Agropecuaria de Manabí Manuel Félix López, por ser un referente en la educación, www.espam.edu.ec

  • Empresa pública: CONADIS, referente en el Ecuador por promover el uso de las normas de accesibilidad Web, www.consejodiscapacidades.gob.ec

  • Empresa privada: SERVIENTREGA, empresa que brinda servicio de envío de mercadería, seleccionada al azar, www.servientrega.com.ec

Con la determinación de los sujetos de evaluación se adecúa el instrumento de evaluación (Tabla 2) para los tres portales Web, y se procede a la evaluación de cada una de ellas con una herramienta a la vez (de las 16 seleccionadas en la etapa de inspección). Finalmente, se realiza el proceso de categorización , clasificando las herramientas evaluadas, según su puntaje final (promedio porcentual de funcionalidad), obteniendo el listado unificado (ver Cuadro 1).

Cuadro 1: Lista de herramientas de evaluación de accesibilidad web, con sus valoraciones total por niveles de conformidad, julio 2017 

# Herramientas Calificación Nivel de conformidad
A AA AAA
1 TAW 67% 49% 35%
2 Analizador Web Ecuatoriano 62% 40% 23%
3 Functional Accessibily Evaluator 62% 31% 13%
4 aChecker 60% 69% 31%
5 Ainspector 59% 31% 17%
6 Access Monitor 57% 38% 25%
7 eXaminator 57% 31% 25%
8 Vamolá 53% 62% 32%
9 Tingtun Accessibily Checker 51% 22% 0%
10 aXe 49% 13% 0%
11 Total Validator 46% 7% 8%
12 SortSite 42% 47% 13%
13 Tenon 41% 0% 4%
14 Wave 37% 18% 0%
15 Cynthia Says 36% 31% 26%
16 WCAG Contrast Checker 0% 7% 4%
17 Juicio Studio Toldbar 0% 7% 4%

Fuente: Elaboración propia

Con la finalidad de tener una mejor clasificación, se realizó una categorización en listados diferentes (por nivel de conformidad), seleccionando las primeras cinco herramientas mayor puntuadas (ver Cuadros 2, 3 y 4).

Cuadro 2: Clasificación de las mejores 5 herramientas correspondiente al nivel de conformidad A, julio 2017 

Nivel de conformidad A
# Herramienta Puntaje Adicional Total
1 TAW 67% 67%
2 Functional Accessibily Evaluator 62% 1% 63%
3 Analizador Web Ecuatoriano 62% 62%
4 aChecker 60% 60%
5 Ainspector 59% 59%

Fuente: Elaboración propia

Cuadro 3: Clasificación de las mejores 5 herramientas correspondiente al nivel de conformidad AA, julio 2017 

Nivel de conformidad AA
# Herramienta Puntaje Adicional Total
1 aChecker 69% 69%
2 Vamolá 62% 62%
3 TAW 49% 49%
4 SortSite 47% 47%
5 Analizador Web Ecuatoriano 40% 40%

Fuente: Elaboración propia

Nivel de conformidad AAA
# Herramienta Puntaje Adicional Total
1 TAW 35% 35%
2 Vamolá 32% 32%
3 aChecker 31% 31%
4 Cynthia Says 26% 26%
5 Access Monitor 25% 25%

Fuente: Elaboración propia

Análisis de resultados

En el nivel de conformidad A existen criterios correspondientes a todos los principios, por lo que dentro del cuadro de valoración, utilizando la Tabla 2, existen 4 valores parciales (%) correspondientes a cada uno de ellos, mientras que en los niveles de conformidad AA y AAA, tan solo existen criterios de los 3 primeros principios, lo que conlleva a 3 valores parciales (%).

Con base en esta premisa, para realizar un análisis de funcionalidad de cada herramienta dentro del nivel de conformidad correspondiente, se han cuantificado los valores parciales de cada principio, de acuerdo con la frecuencia de repetición de los valores, de acuerdo con la escala cualitativa y concordante con el número de principios evaluados en cada categoría, cuyos valores se reflejan en los Cuadros 5, 6 y 7.

Cuadro 5: Cuantificación de los valores parciales (%) por principios de cada herramienta - nivel de conformidad A, julio 2017 

PRINCIPIO MAYOR MEDIA ALTA MEDIA BAJA MENOR
Perceptible 0% 12% 24% 65%
Operable 0% 6% 35% 59%
Comprensible 18% 53% 12% 18%
Robusto 71% 0% 6% 24%

Fuente: Elaboración propia

Cuadro 6: Cuantificación de los valores parciales (%) por principios de cada herramienta - nivel de conformidad AA, julio 2017 

PRINCIPIO MAYOR MEDIA MENOR
Perceptible 42% 18% 40%
Operable 29% 41% 29%
Comprensible 24% 6% 71%

Fuente: Elaboración propia

Cuadro 7: Cuantificación de los valores parciales (%) por principios de cada herramienta - nivel de conformidad AAA, julio 2017 

PRINCIPIO MAYOR MEDIA MENOR
Perceptible 24% 24% 53%
Operable 18% 35% 47%
Comprensible 29% 0% 71%

Fuente: Elaboración propia

Nivel de conformidad A: dentro de esta categoría, las cinco herramientas con mayor puntaje (de mayor a menor) son: TAW, Functional Accessibility Evaluator, Analizador Web Ecuatoriano, aChecker y Ainspector (ver Cuadro 2). De todas las herramientas valoradas, el mayor valor correspondiente a la frecuencia de herramienta para cada principio de acuerdo a la escala es: 65% (Menor) Perceptible, 59% (Menor) Operable, 53% (Media Alta) Comprensible, y 71% (Mayor) Robusto, demostrando que la mayoría de las herramientas evalúan mejor los criterios dentro de los principios Robusto y Comprensible, que Perceptible y Operable (ver Cuadro 5).

Nivel de conformidad AA: respecto a esta categoría, las cinco herramientas con mayor puntaje son: aChecker, Vamolá, TAW, SortSite y Analizador Web Ecuatoriano (ver Cuadro 3). De todas las herramientas valoradas, el mayor valor correspondiente a la frecuencia de herramienta para cada principio de acuerdo a la escala es: 41% (Mayor) Perceptible, 41% (Media) Operable, y 71% (Menor) Comprensible, demostrando que la mayoría de las herramientas evalúan mejor los criterios dentro de los principios Perceptible y Operable (ver Cuadro 6).

Nivel de conformidad AAA: en esta categoría, las cinco herramientas con mayor puntaje son: TAW, Vamolá, aChecker, Cynthia Says y Access Monitor (ver Cuadro 4). De todas las herramientas valoradas, el mayor valor correspondiente a la frecuencia de herramienta para cada principio de acuerdo a la escala es: 53% (Menor) Perceptible, 47% (Menor) Operable, y 71% (Menor) Comprensible, demostrando que la mayoría de las herramientas evalúan de manera deficiente los criterios dentro de los principios Perceptible, Operable y Comprensible (ver Cuadro 7).

El análisis previo demuestra que, en la actualidad, las herramientas de evaluaciones automáticas no garantizan una evaluación íntegra, estas se deben complementar con evaluaciones manuales, en la medida en que las herramientas vayan evolucionando con incorporaciones de otros criterios referidos en la WCAG 2.0.

La Comisión Europea1, a partir de enero de 2010, adoptó las directrices de accesibilidad para el contenido Web (WCAG) 2.0, en su nivel de cumplimiento AA, por lo que los desarrolladores deberán cumplir con este requerimiento para sus sitios webs; en consecuencia, contar con una herramienta que les proporcione los errores en el cumplimiento de la norma es de mucha importancia; por lo tanto, los resultados obtenidos en la Tabla 2 del modelo IPAC permitirán a todas aquellas personas inmersas en este campo tener una visión más clara de las mejores herramientas y su cobertura respecto a los criterios que evalúan, ayudándolos a identificar de manera rápida las herramientas más adecuadas.

Basados en la revisión bibliográfica exhaustiva realizada, se comprobó que muchos artículos científicos relacionados a investigaciones sobre accesibilidad web están más orientados a determinar los niveles de accesibilidad de contenidos web (Park, Kang, Choi, Hong y Kang, 2008; Laitano, 2015; Casasola, et al., 2017); sin embargo, poco se ha hablado desde el punto de vista de optimizar los tiempos en las evaluaciones con el uso de herramientas automáticas, determinando la más adecuada en cuanto a cobertura de funcionalidad; es ahí donde el modelo IPAC enfoca su ámbito de acción, sirviendo como instrumento en la etapa de selección de herramientas de evaluación automática, lo que permitiría ahorrar tiempo y esfuerzo que podrán ser usados en las evaluaciones manuales.

Una de las limitaciones detectada durante la validación del modelo, específicamente en la tercera etapa Assess y que hay que tener muy en cuenta, es que muchos de los resultados generados de las evaluaciones automáticas no se enmarcan coincidentemente con las definiciones de los criterios, lo que conlleva a realizar la puntuación de manera muy analítica.

Conclusiones

Las metodologías cumplen un rol muy importante, así lo menciona Hersh (2016), puesto que son estructuras que comprenden un conjunto de procesos, actividades y recursos bien definidos con la finalidad de alcanzar los objetivos planteados (Montes-Guerra, Gimena, y Díez-Silva, 2013). Además, pueden ser utilizadas para investigaciones futuras que tengan la misma línea de investigación.

Al momento de elegir herramientas de evaluación de accesibilidad Web, se debe contemplar una evaluación exhaustiva de estas para clasificarlas y seleccionar las que evalúen más criterios de accesibilidad, debido a la existencia de varias herramientas con las mismas características orientadas a realizar evaluaciones de accesibilidad. Al respecto, Hersh (2016) explica que la clasificación de tecnologías con características similares puede ser utilizada para identificar las tecnologías que cumplan con las características más cercanas a un requerimiento en particular.

La metodología propuesta en esta investigación (IPAC) contempla las cuestiones metodológicas a priori establecidas en la investigación de Bar (2010), que hace uso de la clasificación, el conteo y la medición como operaciones fundamentales que permiten la comparación de poblaciones o fragmentos de ellas. IPAC ha sido escrita en un lenguaje común y adaptada al estándar de accesibilidad Web WCAG 2.0, que permite clasificar las herramientas y compararlas para medir su capacidad de evaluación respecto a la norma, ofreciendo como resultado final un listado ordenado y categorizado por niveles de conformidad de las herramientas mejores calificadas. Además, es un modelo metodológico, cuyas etapas cíclicas permitirían valorar y clasificar (categorizar y recategorizar) las herramientas de evaluación de accesibilidad web de manera continua, debido a que, a través del tiempo, pueden aparecer nuevas o incorporar nuevas funcionalidades las existentes, generando cambios en el listado final de clasificación.

Por lo tanto, se concluye que para evaluar la accesibilidad Web es necesario seleccionar cuidadosamente las herramientas para dicha tarea, tomando como referencia el número de criterios que abarca, respecto a las pautas WCAG 2.0 dictadas por la W3C, y utilizar una metodología de categorización facilita su elección, mejorando la efectividad en los resultados. Creemos que la adopción de IPAC ayudará a la comunidad de investigadores y desarrolladores de la accesibilidad Web a resolver diferentes tipos de problemas que afectan la accesibilidad de sus contenidos.

Referencias bibliográficas

Acosta, T. y Luján-Mora, S. (2017). Análisis de la accesibilidad de los sitios Web de las universidades ecuatorianas de excelencia. Efoque UTE, 8(1), 46-61. [ Links ]

Abu, I., Alkhateeb, F., Al, E. & Al-Betar, M. (2013). The design of RIA accessibility evaluation tool. Advances in Engineering Software, 57(1). 1-7. doi: 10.1016/j.advengsoft.2012.11.004 [ Links ]

Alfonzo, P. y Mariño, S. (2013). Propuesta de un índice de evaluación Web para la estimación de la calidad de sitios Web bancarios que operan en la república de Argentina. Gerencia Tecnológica de Informática, 12(32), 15-32. [ Links ]

Bar, A. (2010). La Metodología Cuantitativa y su Uso en América Latina. Cinta de moebio, (37), 1-14. https://dx.doi.org/10.4067/S0717-554X2010000100001Links ]

Carreras, O. (2012). Accesibilidad Web y SEO. Recuperado de: https://www.usableyaccesible.com/archivos/Accesibilidad_web_y_SEO_capitulo_ampliado_olga_carreras.pdfLinks ]

Casasola, L., Guerra, J., Casasola, M. y Pérez, V. (2017). La accesibilidad de los portales Web de las universidades públicas andaluzas. Revista Española de Documentación Científica, 40(2): e169. doi: http://dx.doi.org/10.3989/redc.2017.2.1372 Links ]

Chacón-Medina, A., Chacón-López, H., López-Justicia, M. y Fernández-Jiménez, C. (2013). Dificultades en la Accesibilidad Web de las Universidades Españolas de acuerdo a la Norma WCAG 2.0. Revista Española de Documentación Científica , 36(4). doi:10.3989/redc.2013.v36.i4 [ Links ]

De Oleo, C. y Rodríguez, L. (2013). Pautas, métodos y herramientas de evaluación de accesibilidad Web. Ventana Informática, (28), 99-115. [ Links ]

De Souza, E. y Mont'Alvao, C. (2012). La accesibilidad Web: evaluación de un sitio Web con diferentes herramientas semiautomáticas de evaluación. Jornal Work, 41(1), 1567-1571. [ Links ]

Eccles, K., Thelwall, M. y Meyer, E. (2012). La medición del impacto de la continua digitalización de los recursos científicos. Journal of Documentation, 68(4), 512-526. [ Links ]

Garrido, A., Firmenich, S., Rossi, G., Grigera, J., Medina-Medina, N. y Harari, I. (2013). Accesibilidad Web personalizada mediante Client-Side Refactoring. AR. IEEE Internet Computing, 17(4), 58-66. [ Links ]

Hersh, M. (2016). Classification framework for ICT-based learning technologies for disabled people. British Journal of Educational Technology, 48(3), 768-788. doi:10.1111/bjet.12461 [ Links ]

Hossain, G. (2017). Design Analytics of Complex Communication Systems Involving Two Different Sensory Disabilities. International Journal of Healthcare Information Systems and Informatics, 12(2), 65-80. doi:10.4018/ijhisi.2017040104 [ Links ]

Laitano, M. I.(2015). Accesibilidad web en el espacio universitario público argentino. Revista Española de Documentación Científica , 38(1), e079. doi:10.3989/redc.2015.1.1136 [ Links ]

Li, S., Yen, D., Lu, W. y Lin, T. (2012). La migración de las WCAG 1.0 a las WCAG 2.0-Un estudio comparativo sobre la base de las Directrices de Accesibilidad para el Contenido Web en Taiwán. Computers in Human Behavior, 28(1), 87-96. [ Links ]

Luján-Mora, S. (2013). Web Accessibility Among the Countries of the European Union: a Comparative Study. Actual Problems of Computer Science, 1(3), 18-27. [ Links ]

Marino, S., Alfonzo, P., Escalante, J., Alderete, R. y Godoy, V. (2015). Las pautas WCAG 2.0 para determinar el nivel de accesibilidad en dos plataformas educativas. Revista Internacional de Tecnologías en la Educación, 2(2), 140-148. [ Links ]

Navarrete, R. y Luján, S. (2014). Accesibilidad Web en las Universidades del Ecuador. Análisis preliminar. Revista EPN, 33(2), 1-8. [ Links ]

Montes-Guerra, M., Gimena, F. y Díez-Silva., H. (2013). Estándares y metodologías: Instrumentos esenciales para la aplicación de la dirección de proyectos. Revista de Tecnología, 12(2), 12-23. [ Links ]

Park, S. J., Kang, Y. M., Choi, H. R., Hong, S. G., & Kang, Y. S. (2008). Development of Image and Color Evaluation Algorithm for the Web Accessibility Evaluation Tools. Lecture Notes in Computer Science, 389-395. doi:10.1007/978-3-540-70585-7_44 [ Links ]

Quizhpi, M. (2015). Creación de páginas Web accesibles a usuarios con Discapacidad. Recuperado de: http://dspace.uazuay.edu.ec/handle/datos/4932Links ]

Romen, D. y Svans, D. (2012). Validando las versiones WCAG 1.0 y 2.0 a través de pruebas de usabilidad con usuarios discapacitados. Universal Access in the Information Society, 11(4), 375-385. [ Links ]

Sosa, H., Gaetán, G. y Martin, A. (2015). Rediseño de un Portal Web Universitario aplicando Patrones de Accesibilidad. ICT UNPA Ciencias Sociales y Humanidades, 7(2), 137-166. [ Links ]

W3C. (2008). Web Content Accesibility Guidelines (WCAG) 2.0. Recuperado de: https://www.w3.org/TR/WCAG20/Links ]

W3C. (2016a). Designing for Inclusion. Recuperado de: https://www.w3.org/WAI/users/Links ]

W3C. (2016b). Selecting Web Accessibility Evaluation Tools. Recuperado de: https://www.w3.org/WAI/eval/selectingtools.htmlLinks ]

1http://ec.europa.eu/ipg/standards/accessibility/index_en.htm

Recibido: 30 de Julio de 2017; Revisado: 15 de Noviembre de 2017; Aprobado: 05 de Diciembre de 2017

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons