Pablo Javier PiacenteInvestigadores de la Universidad de Illinois en Urbana-Champaign han desarrollado una innovadora técnica para entrenar a los robots en la toma de decisiones independientes, como así también en la adaptación frente a los cambios en las situaciones que afronten. Según una nota de prensa, los especialistas combinaron una estrategia de aprendizaje por refuerzo profundo con el videojuego “Capture the Flag”.
Mientras crecen las actividades en las cuales los robots comienzan a reemplazar a los seres humanos, por ejemplo en situaciones de peligro como las misiones de rescate, también se hace más evidente la necesidad de contar con robots que tomen decisiones por su cuenta y tengan la capacidad de optar entre distintas alternativas para superar un problema. También es imprescindible que logren ser flexibles y adaptarse a los cambios e imprevistos.
En el marco de un trabajo presentado en la Conferencia Internacional IEEE sobre Robótica y Automatización (ICRA) de 2020, los investigadores estadounidenses demostraron los avances obtenidos en esta compleja tarea. Básicamente, utilizaron un modelo basado en el videojuego “Capture the Flag” para desarrollar una nueva versión del aprendizaje por refuerzo profundo, que ayuda a los robots a evaluar su próximo movimiento.
Optimizar un proceso de decisión
El aprendizaje por refuerzo profundo es una nueva generación de las técnicas de aprendizaje automático dentro del campo de la Inteligencia Artificial, orientadas a lograr una evolución en la forma en la cual las máquinas aprenden a realizar una tarea. Con estas técnicas, los robots o agentes inteligentes logran optimizar un proceso de decisión, ganando en autonomía.
Según Huy Tran, uno de los integrantes del grupo de investigadores y científico del Departamento de Ingeniería Aeroespacial de la Universidad de Illinois en Urbana-Champaign, “los robots pueden aprender a reaccionar en un entorno como un juego competitivo mediante un tipo de proceso de prueba y error, llamado aprendizaje por refuerzo profundo. Logran aprender qué acciones deben tomar en una situación determinada ejercitando con el videojuego”.
Sin embargo, el especialista destacó que además del proceso de toma de decisiones, “el desafío es descubrir cómo crear agentes inteligentes o robots que también puedan adaptarse a situaciones inesperadas». ¿Tendremos en un futuro cercano robots con la flexibilidad suficiente para variar sus estrategias y comportamientos en función de los súbitos cambios de la realidad?
Incremento de la adaptación a los cambios
Para avanzar en este camino, los expertos seleccionaron el videojuego “Capture the Flag” porque puede jugarse en dos grupos con varios integrantes, cada uno de los cuales debe tomar decisiones. Aunque la tarea general del juego es capturar una bandera, existen diversas subtareas que los investigadores modelaron en una estructura jerárquica, incluyendo además la posibilidad de sumar nuevas dinámicas de juego para poner a prueba la adaptabilidad.
El objetivo principal era explorar si con este tipo de jerarquía y con los cambios o variaciones se potenciaba la capacidad de adaptación de los robots. Los científicos comprobaron que aunque los robots necesitaban diversas ayudas para tomar decisiones, al dividir la actividad en subtareas fue posible mejorar la adaptación. Incluso capacitaron a un robot como “tomador de decisiones de alto nivel”, para que asigne una subtarea para cada agente.
En función de las conclusiones de los investigadores, el nuevo enfoque tiene el potencial de resolver problemas interesantes y desafiantes, pero al mismo tiempo existen todavía muchos inconvenientes que será imprescindible abordar antes de poder implementar estos sistemas en situaciones del mundo real. Sin embargo, destacaron que con esta clase de marcos y esquemas se puede mejorar la adaptación de los robots en entornos cambiantes e inesperados.
Referencia
Evaluating Adaptation Performance of Hierarchical Deep Reinforcement Learning. Huy Tran, Neale Van Stolen et al. IEEE International Conference on Robotics and Automation (ICRA) (2020).DOI:https://dx.doi.org/10.1109/ICRA40945.2020.9197052
Foto:
Los investigadores testean un dron. Crédito: University of Illinois at Urbana-Champaign.
Video: Tran Research Group.
Hacer un comentario