Introducción

La niebla ha tenido un impacto significativo en actividades de la humanidad desde las edades tempranas y especialmente en las últimas décadas como consecuencia del aumento de la circulación aérea, marina, y el tráfico terrestre (²). Las consecuencias de este fenómeno han generado pérdidas económicas y humanas comparables con los efectos de otros eventos meteorológicos como tornados o huracanes (²).

Un ejemplo de este impacto se refleja en las cifras de accidentes relacionados con la niebla, como lo indica la Administración Federal de Carreteras (FHWA) de EE. UU, la niebla causó el 2% de las muertes en accidentes automovilísticos entre 2007 y 2016. Además, del total de muertes relacionadas con el clima, un 9% se debió a este fenómeno (³). El tener un sistema informático que ayude a reducir los efectos negativos de la niebla en imágenes digitales puede ser beneficioso en el sector transporte con posibles aplicaciones en otras áreas como: sistemas de seguridad, industria fotográfica y cinematográfica.

Para implementar este sistema, se debe realizar un análisis previo de las plataformas candidatas en función de su capacidad para implementar un algoritmo de reducción de niebla en tiempo real. En este documento se proporciona una forma sistemática de evaluar diferentes plataformas y recopilar los datos generados durante tiempo de ejecución con el fin de encontrar la plataforma idónea según el área de aplicación. Adicionalmente, se desarrolla una herramienta compilable para diferentes plataformas dado un mismo código fuente capaz de transmitir datos en tiempo real a una computadora para visualizar los resultados.

Este documento está organizado de la siguiente manera: en el marco teórico se presentan los conceptos fundamentales del algoritmo DCP y otros trabajos similares al desarrollado. En la sección “Materiales y Métodos”, se explica la metodología empleada para desarrollar la herramienta y el diseño utilizado. En la sección de resultados, se muestra la información captada por las distintas plataformas y por último se presentan las conclusiones y recomendaciones.

Marco teórico

Algoritmo DCP

El algoritmo utilizado para realizar el procesamiento de las imágenes es el “Dark Channel Prior” (DCP) (¹) (⁴). Este algoritmo se basa en la premisa que, para imágenes de exteriores sin niebla, al menos un canal de color tiene algunos píxeles cuya intensidad es cercana a cero para cuadros que no contengan cielo (⁴). El modelo de formación de niebla utilizado en ese trabajo es el descrito por la ecuación (¹).

donde 𝐈(𝑥𝑥) es la intensidad de la imagen de entrada, 𝐉(𝑥𝑥) es la luminosidad de la escena, 𝐀 es la luz atmosférica global y 𝑡(𝑥) es la transmisividad del medio, este modelo resulta en un sistema de ecuaciones indeterminado, con 3N variables conocidas y 4N + 3 incógnitas( ⁴). Para lograr resolver el sistema, a partir de una imagen arbitraria Y, se determina su canal oscuro (DCP) o J^dark como se muestra en (⁴).

Donde J^dark es una imagen en escala de grises, se escoge el 0.1% de pixeles con mayor intensidad. Utilizando la posición de los pixeles seleccionados, se selecciona el color que tenga la mayor intensidad en la imagen original, este color corresponde a A. Luego se calcula una aproximación de 𝑡(𝑥) llamada 𝑡̃(𝒙) , de la siguiente manera:

Este cálculo es en realidad el DCP de I normalizado por A, como se menciona en (⁴). Para reconstruir la imagen deseada J, se utiliza la siguiente fórmula:

Múltiples métodos propuestos para reducir niebla en imágenes son en realidad variaciones u optimizaciones del DCP (por ejemplo (¹), (⁴)). Además, existen trabajos para aplicaciones agrícolas en imágenes aéreas, donde el DCP muestra una mejora de calidad en imágenes para fotogrametría utilizando un brillo modificado en los espacios HSB y HSL antes de la aplicación del algoritmo DCP (⁵).

Una revisión extensiva de distintos métodos de procesamiento menciona al DCP como el concepto preferido por los investigadores según (⁶). Como este algoritmo es usado extensivamente en múltiples trabajos de estudio de neblina, se propone el estudio de múltiples plataformas ejecutando el DCP.

Trabajos relacionados

Hay varios trabajos relacionados con la reducción de neblina de imágenes en sistemas empotrados de tiempo real. Por ejemplo, en (⁷) se muestra un dispositivo integrado de bajo costo para reducción de neblina en imágenes (⁷). Otro algoritmo propuesto basado en DCP se discute en (⁸) donde se usa una imagen de entrada reducida para calcular Jdark y , utilizando un tamaño de ventana de un píxel, lo cual permite reducir en gran medida el tiempo de ejecución del algoritmo sin cambios significativos en la calidad en los resultados.

En cuanto a pruebas de desempeño (benchmarks), en (⁹) se evalúan diferentes algoritmos, mencionando al DCP como uno de los métodos que mejores resultados lograron en un ambiente submarino. En (¹⁰) se realizó un benchmark para dos plataformas embebidas diferentes, el cual tiene similitudes con los objetivos de este estudio. Sin embargo, este benchmark se enfocan en arquitecturas especializadas mientras que la intención detrás de este trabajo es tratar con una amplia gama de plataformas, analizando más dispositivos y produciendo una prueba que se puede ejecutar sin cambios significativos en el código fuente, al proveer una funcionalidad para incluir otras arquitecturas no contempladas en este trabajo.

Materiales y métodos (metodología)

En esta sección, se explica la metodología desarrollada en el trabajo propuesto. Primero, se inició con la selección de las plataformas a comparar, se escogieron cuatro plataformas, las cuales son mostradas en el cuadro 1. Además, la herramienta puede ser compilada para cualquier otra plataforma, agregado a la pantalla de visualización siempre y cuando cumpla con el formato definido.

Cuadro 1 Plataformas utilizadas para analizar el desempeño de el algoritmo DCP. 

Diseño y herramientas utilizadas

La figura 1 muestra, en alto nivel, la arquitectura utilizada para la herramienta, donde se tienen múltiples nodos los cuales se comunican mediante el protocolo de control de transmisión (TCP) con la máquina del usuario, la cual es la que almacena la información y muestra los gráficos en pantalla.

Figura 1 Arquitectura de alto nivel de la herramienta propuesta en este trabajo. 

Las principales tecnologías y herramientas utilizadas en este documento para desarrollar el sistema fueron las siguientes:

Resultados

La figura 2 muestra una ventana de la herramienta con los resultados de la ejecución en las cuatro plataformas consideradas procesando una imagen con una resolución QHD (960x540 píxeles). Todas las plataformas lograron procesar a esta resolución a una tasa de al menos 20 FPS, a esta velocidad aún se puede visualizar un video de manera fluida.

Figura 2 Ejecución de la herramienta con cuatro plataformas procesando una imagen en QHD (resolución) con el algoritmo DCP. 

La interfaz gráfica es capaz de agregar dinámicamente las plataformas deseadas para ocupar menos espacio de ventana como se muestra en la figura 3. En esta imagen se observa como para una GPU CUDA se obtiene un rendimiento de 20.3919 FPS procesando una imagen UHD.

Figura 3 GPU ejecutando el algoritmo DCP para una imagen UHD. 

En la figura 4 se muestra el procesamiento del algoritmo DCP para reducir la neblina. Hacia la izquierda de la imagen se observan las entradas, a la derecha, se muestra la misma imagen procesada por las plataformas.

Figura 4 Imágenes procesadas por las plataformas. Imagen libre de derechos de autor tomada de pexels.com. 

Por otra parte, en la figura 5. Muestra de fotogramas de uno de los videos procesados. Video libre de derechos de autor tomado de pexels.com.figura 5, se muestra un extracto de tres fotogramas de uno de los videos procesados por la herramienta.

Figura 5 Muestra de fotogramas de uno de los videos procesados. Video libre de derechos de autor tomado de pexels.com. 

Conclusiones y recomendaciones

En este artículo se presentó una manera sistemática de analizar el comportamiento de distintas plataformas en la ejecución del algoritmo DCP, teniéndose que el tamaño máximo de imagen procesado en el ambiente de pruebas fue 4k (UHD), el cual pudo ser procesado por la GPU a una velocidad promedio de aproximadamente 20 FPS, mientras que la Raspberry Pi 3B+ pudo manejar un video QHD a esa misma velocidad.

Como se observa en la figura 2, las plataformas Snapdragon e Intel tuvieron un desempeño similar en la ejecución del algoritmo. Es importante recalcar que la segunda es la PC del usuario en la cual se ejecuta la GUI junto con otros procesos no relacionados directamente con el algoritmo DCP. Es por esto por lo que se considera que el rendimiento de la plataforma debería aumentar si se ejecuta en un entorno mínimo.

La figura 3. muestra los resultados de CUDA para el video de mayor resolución considerado con un tamaño de con una resolución UHD, a una tasa de aproximadamente 20 FPS, lo cual se puede visualizar continuamente. El uso de una GPU para el paralelismo a nivel de datos demuestra ser el método de mejor rendimiento en comparación con el uso de programación multihilo en la CPU, esto es de esperar debido a que el algoritmo DCP es altamente paralelizable, además, la plataforma CUDA utilizada cuenta con 768 núcleos. Este método es aproximadamente tres veces más rápido que la siguiente mejor solución que usa solo los 12 núcleos de la CPU x86 en la misma máquina.

La prueba de rendimiento permite la evaluación de múltiples plataformas ejecutando el algoritmo de depuración DCP utilizando un único código fuente. Además, se demostró la viabilidad de utilizar un sistema empotrado de pocos recursos como la Raspberry Pi con una resolución media de 960x540 píxeles logrando un rendimiento de hasta 20 FPS. Una GPU en un entorno heterogéneo es capaz de procesar calidades mucho más altas de hasta 4k conservando una buena velocidad de fotogramas.

Esta herramienta permite contar con información en tiempo real acerca de la ejecución del algoritmo DCP en distintas plataformas, con estos datos es posible escoger de una manera objetiva la plataforma adecuada dependiendo la aplicación objetivo, explorando potenciales soluciones a un reto ingenieril.

Se recomienda analizar el comportamiento del procesador x86 utilizando otro equipo distinto al que se usa para ejecutar el benchmark. Preferiblemente en un entorno mínimo mediante el uso de un sistema operativo personalizado como lo es Yocto. Con esto se evita que se impacte negativamente el desempeño del algoritmo DCP.

Agradecimientos

Un especial agradecimiento al PhD. Juan Pablo Soto Quirós, por la retroalimentación brindada.