Otorgan patente al INAOE por desarrollo de cámara para navegación de drones en condiciones adversas

Santa María Tonantzintla, a 24 de septiembre. El Instituto Mexicano de la Propiedad Industrial (IMPI) otorgó una patente a una cámara hiperespectral que trabaja bajo condiciones adversas y que puede ser utilizada en navegación de drones y vehículos autónomos, desarrollada por investigadores del Instituto Nacional de Astrofísica, Óptica y Electrónica (INAOE), centro público de investigación de la Secretaría de Ciencia, Humanidades, Tecnología e Innovación (Secihti).

Dicho desarrollo es el resultado del trabajo multidisciplinario de investigadores de las coordinaciones de Óptica, Electrónica y Ciencias Computacionales de este Instituto. Se trata de los doctores Carlos Osorio Quero, investigador posdoctoral; Daniel Durini Romero y José de Jesús Rangel Magdaleno, de la Coordinación de Electrónica; José Martínez Carranza, de la Coordinación de Ciencias Computacionales, y Rubén Ramos García, de la Coordinación de Óptica.

A la fecha, este proyecto ha dado grandes frutos. Además de la patente otorgada y una segunda solicitud de patente enviada al IMPI, ha generado siete artículos en revistas JCR, 17 participaciones en congresos internacionales, dos tesis de maestría y una de doctorado. Además, nos permite contar en México con una tecnología propia para que los drones puedan sensar en condiciones adversas como lluvia, humo o neblina.

Semejantes logros han sido resultado de unir algo que ya se conocía en Óptica y en Electrónica con una necesidad en el área de drones, de la pasión de todos los involucrados y, especialmente, del empeño y energía de Carlos Osorio, quien comenzó a trabajar en este desarrollo siendo estudiante doctoral.

El proyecto también es producto, hay que decirlo, de felices coincidencias. El doctor José Martínez Carranza, líder del equipo de drones QuetzalC++, relata que el origen de la colaboración con el doctor Durini, líder del proyecto recién patentado, se dio de manera natural: “Tan simple como que un día nos vimos en el comedor. Yo le platiqué uno de los retos que más nos preocupan a los que trabajamos con drones, es que estos puedan sensar su ambiente, y para eso utilizamos cámaras de diferentes tipos, que ven en el visible, térmicas, también hay cámaras multiespectrales para la agricultura. A mí me interesaba en ese momento una cámara de profundidad que operara bajo condiciones agresivas para cualquier sistema autónomo, como el humo o el agua, y Daniel me dijo que debíamos hablar porque estaban empezando a trabajar en algo de eso”.

A su vez, el Dr. Daniel Durini relata la anécdota de cuando se encontró en la fuente ubicada a la entrada del Instituto con el doctor Rubén Ramos: “Yo había dado un seminario sobre sensores y pixeles, y él me platicó de lo que hace en single pixel imaging. De ahí surgió toda la idea”.

El doctorDaniel Durini explica que este proyecto surgió como respuesta a la necesidad de sistemas de visión para drones que puedan operar en medios con muchas partículas como humo, neblina y lluvia, que son normalmente hostiles tanto al ser humano como a los sistemas de visión ordinarios que ven en el rango del visible.

En este rango, donde tenemos desde el azul con una longitud de onda 450 nanómetros hasta la luz roja con una longitud de 650 nanómetros se da el fenómeno de la dispersión de Rayleigh, que consiste en que la onda de luz que se encuentra con partículas de dos a seis micrómetros se dispersa normalmente en luz azul: “Ésta es una de las razones por las cuales vemos el cielo azul”.

Para resolver este problema, los investigadores del INAOE aumentaron la longitud de onda para detectar en el infrarrojo: “Nosotros elegimos mil 1,550 nanómetros, un estándar que se usa mucho en telecomunicaciones de fibra óptica. La luz tiene una frecuencia mucho más pequeña y puede, con la longitud de onda más grande, atravesar el medio plagado de esas partículas sin que se dé la dispersión de Rayleigh. Se ve una dispersión diferente, la dispersión de Mie, pero no es tan nociva y gran parte de la señal que atraviesa el medio puede llegar al otro lado. Esta fue la idea principal”, apunta.

Una vez salvado este escollo, se enfrentaron con otro reto: construir un sensor que pudiera captar esta radiación, y el único material que absorbe en el rango de longitudes de onda entre 900 y mil 600 nanómetros, 1.6 micras o incluso 2.4 micras, es el arseniuro de indio y galio (InGaAs). Existe toda una tecnología de procesamiento de sensores de imagen en este material, pero es muy costosa.

Este problema fue resuelto por el Dr. Rubén Ramos, quien ha trabajado en la técnica computacional de single pixel imaging en la cual, en lugar de utilizar un sensor de imagen que sea un arreglo de muchos pixeles, se usa un solo fotodiodo. Esta técnica se utiliza junto con un arreglo de microespejos de alta resolución espacial de 1024 por 1024 espejos para el sensado comprimido, lo cual permite crear imágenes digitales con un pixel. Esta técnica ha sido empleada por el grupo del doctor Ramos para aplicaciones biomédicas.

Al respecto, el doctor Rubén Ramos comenta: “Nosotros llevamos muchos años haciendo single pixel imaging, pero en condiciones de laboratorio. Lo que hizo Carlos Osorio fue implementar un sistema de este tipo para que operara en condiciones reales, utilizando un arreglo de 8 x 8 LEDs emitiendo en el cercano infrarrojo, y ahí fue donde nos reunimos José Martínez Carranza, Daniel Durini y José Rangel. Prácticamente todo el trabajo lo hizo Carlos, y obtuvo resultados impresionantes con los cuales estamos muy contentos. Carlos sacó varios trabajos y muchas publicaciones”.

Esta técnica, dice a su vez el doctor Daniel Durini, implicó otros retos, ya que la creación de una imagen de alta resolución tomaba, en el desarrollo encabezado por Rubén, dos segundos. Sin embargo, los dos segundos que tarda la creación de cada imagen impedirían que el dron tomara decisiones a tiempo, es decir, si viera un obstáculo frente a él cada dos segundos se estrellaría antes de esquivarlo.

El gran reto, narra el doctor Durini, fue bajar drásticamente el tiempo de procesamiento de la imagen de dos segundos a 30 milisegundos para obtener 33 imágenes por segundo.

“Aquí es donde entró Carlos Osorio como mi estudiante de doctorado. Necesitábamos una aplicación de visión de máquina (machine vision) porque lo que nos interesaba no era que la imagen fuera bonita o de alta resolución, sino detectar contrastes y que el dron detecte que hay algo enfrente de él, reconstruirlo a manera de contornos, reconocer el tipo de obstáculo y, con la información básica del tamaño del obstáculo y su profundidad, tenga la capacidad de tomar una decisión en tiempo continuo, casi real, para la navegación”, refiere el investigador.

Añade que en el caso de la aplicación desarrollada por el equipo de investigación del Dr. Ramos lo importante era la resolución para ver debajo de la piel de un paciente sin tener que intervenirlo.

“Sin embargo, para nosotros lo importante era paralelizar el procesamiento de esta imagen y acelerarlo para bajar el tiempo al mínimo necesario. Y aquí estuvo la gran contribución de Carlos porque se puso a estudiar y en lugar de una arquitectura de FPGAs, que es una plataforma de un arreglo de compuertas reprogramables que se utiliza mucho en Electrónica, utilizó una tecnología mucho más moderna, que son procesadores de unidad gráfica (Graphic Processing Unit) que tienen la gran ventaja de tener paralelizadas las entradas y también la arquitectura es mucho más potente, de manera que se puede realizar un mayor número de operaciones matemáticas por unidad de tiempo de lo que se utiliza en un CPU o en un FPGA”.

El doctor Carlos Osorio llevó el concepto de laboratorio a un concepto comercial y tradujo la parte óptica hasta crear un producto pequeño que se puede montar en un vehículo autónomo o en una aplicación de medicina.

Aprovechando la experiencia del doctor Osorio en el desarrollo de un sistema de radar, el equipo de investigación dotó al sensor con la capacidad de trabajar en longitudes de onda de radar y ver incluso a través de paredes, lo cual es de gran ayuda para la aplicación del dron.

También se agregó como apoyo un pequeño sistema de cuatro módulos usados para la determinación de la profundidad (o distancia al sensor) de los objetos de la imagen capturada, basado en la medición de tiempo de vuelo (Time of Flight o TOF), en donde unos pequeños láseres pulsados emiten pulsos cortos de luz en el cercano infrarrojo. Estos pulsos de luz se reflejan en los objetos que están frente a la cámara y la luz reflejada es detectada por el detector que está al lado del láser. La idea era definir cuatro puntos que sirvan para la calibración de las distancias que de la imagen bidimensional generada por un solo pixel (fotodiodo de InGaAs) se determinan por medio de diferentes técnicas de procesamiento de imágenes.

Sobre esto último, el doctor Durini puntualiza: “Si medimos de manera directa o indirecta el tiempo que transcurre entre la emisión del pulso del láser, su reflexión del objeto que está frente a la cámara y el tiempo que se requiere para llegar al detector y ser detectado por éste, ese tiempo equivale dos veces la distancia del objeto al detector. Con esta información podemos calcular esa distancia y obtenemos una tercera dimensión, de hecho, se llama de dos dimensiones y media porque hay una imagen de dos dimensiones más la información de la profundidad o la distancia de los objetos frente a la cámara. Esto es de utilidad porque el dron sabe que hay un obstáculo frente a él y a qué distancia se encuentra. Todo esto junto acabó siendo parte fundamental de lo que nosotros llamamos una cámara hiperespectral basada en sigle pixel imaging, tiempo de vuelo (y un sistema de radar. Seguimos trabajando en la aplicación para montarla en un dron y miniaturizar la cámara”.

El doctor Durini destaca: “Realmente el crédito es de Carlos porque nos presentaba avances, le dábamos retroalimentación y Carlos continuaba trabajando. Nos marcó el ritmo. El trabajo comenzó junto con otros estudiantes. Fue complicado porque comenzamos durante la pandemia. Un mérito grande de Carlos es que nosotros no hemos tenido financiamiento y él, siendo becario, en pandemia comenzó a comprar componentes. Probaba muchas cosas y todos ayudábamos”.

Finalmente, el doctor Daniel Durini concluye: “Esto no es algo revolucionariamente nuevo, es algo que ya se sabe, pero lo novedoso fue empezar a unir algo que ya se conocía en Óptica y en Electrónica con algo que se necesitaba en el área de drones. Rubén Ramos fue fundamental porque fue el que diseñó los lentes y la óptica. Por eso digo que se trata de un proyecto  transdisciplinario”.