AI Weekly: el pivote de OpenAI de la robótica reconoce el poder de la simulación

A fines de la semana pasada, OpenAI confirmó que cerró su división de robótica en parte debido a las dificultades para recopilar los datos necesarios para romper las barreras técnicas. Después de años de investigación en máquinas que pueden aprender a realizar tareas como resolver un cubo de Rubik, el cofundador de la compañía Wojciech Zaremba dijo que tiene sentido que OpenAI cambie su enfoque a otros dominios, donde los datos de entrenamiento están más disponibles.

Más allá de las motivaciones comerciales para evitar la robótica en favor de la síntesis de medios y el procesamiento del lenguaje natural, la decisión de OpenAI refleja un creciente debate filosófico en la investigación de la inteligencia artificial y la robótica. Algunos expertos creen que los sistemas de entrenamiento en simulación serán suficientes para construir robots que puedan completar tareas complejas, como ensamblar componentes electrónicos. Otros enfatizan la importancia de recopilar datos del mundo real, que pueden proporcionar una línea de base más sólida.

Un desafío de larga data en las simulaciones que involucran datos reales es que cada escena debe responder a los movimientos de un robot, aunque aquellos que podrían no haber sido registrados por el sensor original. Cualquier ángulo o punto de vista que no sea capturado por una foto o video tiene que ser renderizado o simulado usando modelos predictivos, razón por la cual la simulación se ha basado históricamente en gráficos generados por computadora y renderizado basado en la física que representa el mundo de manera algo burda.

Pero Julian Togelius, investigador de inteligencia artificial y juegos y profesor asociado en la Universidad de Nueva York, señala que los robots plantean desafíos que no existen dentro de los límites de la simulación. Las baterías se agotan, los neumáticos se comportan de manera diferente cuando están calientes y los sensores deben recalibrarse con regularidad. Además, los robots se rompen y tienden a ser lentos, y cuestan bastante dinero. Shadow Dexterous Hand, la máquina que utilizó OpenAI en sus experimentos con el Cubo de Rubik, tiene un precio inicial de miles. Y OpenAI tuvo que mejorar la robustez de la mano reduciendo la tensión del tendón.

«La robótica es un esfuerzo admirable, y respeto mucho a quienes intentan domesticar a las bestias mecánicas», escribió Togelius en un tuit. “Pero no son una forma razonable de hacer aprendizaje por refuerzo, o cualquier otro tipo de aprendizaje con hambre de episodios. En mi humilde opinión, el futuro pertenece a las simulaciones ”.

Entrenando robots en simulación

Gideon Kowadlo, cofundador de Cerenaut, un grupo de investigación independiente que desarrolla IA para mejorar la toma de decisiones, argumenta que no importa cuántos datos estén disponibles en el mundo real, hay más datos en la simulación, datos que, en última instancia, son más fáciles de controlar. Los simuladores pueden sintetizar diferentes entornos y escenarios para probar algoritmos en condiciones excepcionales. Además, pueden aleatorizar variables para crear diversos conjuntos de entrenamiento con diferentes objetos y propiedades del entorno.

De hecho, Ted Xiao, científico de la división de robótica de Google, dice que el alejamiento de OpenAI del trabajo con máquinas físicas no tiene por qué señalar el final de la investigación del laboratorio en esta dirección. Al aplicar técnicas que incluyen el aprendizaje por refuerzo a tareas como la comprensión del lenguaje y el código, OpenAI podría desarrollar sistemas más capaces que luego se puedan aplicar nuevamente a la robótica. Por ejemplo, muchos laboratorios de robótica usan humanos que tienen controladores para generar datos para entrenar robots. Pero un sistema de inteligencia artificial general que comprenda los controladores (es decir, los videojuegos) y las transmisiones de video de la robótica con cámaras podría aprender a teleoperar rápidamente.

Estudios recientes apuntan a cómo podría funcionar un enfoque de la robótica basado en la simulación. En 2020, Nvidia y Stanford desarrollaron una técnica que descompone las tareas de visión y control en modelos de aprendizaje automático que se pueden entrenar por separado. Microsoft ha creado un sistema de navegación de drones con IA que puede razonar las acciones correctas que se deben tomar a partir de las imágenes de la cámara. Un científico de DeepMind entrenó un sistema de apilamiento de cubos para aprender de la observación en un entorno simulado. Y un equipo de Google detalló un marco que toma un clip de captura de movimiento de un animal y usa el aprendizaje por refuerzo para entrenar una política de control, empleando una técnica de adaptación para aleatorizar la dinámica en la simulación, por ejemplo, variando la masa y la fricción.

En una publicación de blog en 2017, los investigadores de OpenAI escribieron que creen que los robots de propósito general se pueden construir entrenando completamente en simulación, seguido de una pequeña cantidad de autocalibración en el mundo real. Este parece ser cada vez más el caso.

Para obtener cobertura de IA, envíe consejos de noticias a Kyle Wiggers, y asegúrese de suscribirse al boletín informativo semanal de AI y marcar nuestro canal de AI, The Machine.

Gracias por leer,

Kyle Wiggers

Redactor de AI