En un artículo publicado el 23 de febrero de 2022 en Naturaleza Máquina Inteligencia, un equipo de científicos del Instituto Max Planck para Sistemas Inteligentes (MPI-IS) presenta un sensor háptico suave robusto llamado «Insight» que usa visión por computadora y una red neuronal profunda para estimar con precisión dónde los objetos entran en contacto con el sensor y cómo grandes son las fuerzas aplicadas. El proyecto de investigación es un paso significativo para que los robots puedan sentir su entorno con tanta precisión como los humanos y los animales. Al igual que su contraparte natural, el sensor de la yema del dedo es muy sensible, robusto y de alta resolución.
El sensor en forma de pulgar está hecho de una cubierta blanda construida alrededor de un esqueleto rígido y liviano. Este esqueleto sostiene la estructura al igual que los huesos estabilizan el tejido blando de los dedos. La carcasa está hecha de un elastómero mezclado con escamas de aluminio oscuras pero reflectantes, lo que da como resultado un color grisáceo opaco que evita que entre la luz externa. Oculta dentro de esta tapa del tamaño de un dedo hay una pequeña cámara de ojo de pez de 160 grados que graba imágenes coloridas iluminadas por un anillo de LEDs.
Cuando cualquier objeto toca la cubierta del sensor, la apariencia del patrón de color dentro del sensor cambia. La cámara graba imágenes muchas veces por segundo y alimenta una red neuronal profunda con estos datos. El algoritmo detecta hasta el más mínimo cambio de luz en cada píxel. En una fracción de segundo, el modelo de aprendizaje automático entrenado puede trazar dónde exactamente el dedo está en contacto con un objeto, determinar qué tan fuertes son las fuerzas e indicar la dirección de la fuerza. El modelo infiere lo que los científicos llaman un mapa de fuerza: proporciona un vector de fuerza para cada punto en la punta del dedo tridimensional.
«Logramos este excelente rendimiento de detección a través del innovador diseño mecánico de la carcasa, el sistema de imágenes personalizado en el interior, la recopilación automática de datos y el aprendizaje profundo de vanguardia», dice Georg Martius, líder del grupo de investigación de Max Planck en MPI-IS, donde dirige el Grupo de Aprendizaje Autónomo. Su doctorado el estudiante Huanbo Sun agrega: «Nuestra estructura híbrida única de una capa blanda que encierra un esqueleto rígido garantiza una alta sensibilidad y robustez. Nuestra cámara puede detectar incluso las más mínimas deformaciones de la superficie a partir de una sola imagen». De hecho, mientras probaban el sensor, los investigadores se dieron cuenta de que era lo suficientemente sensible como para sentir su propia orientación en relación con la gravedad.
El tercer miembro del equipo es Katherine J. Kuchenbecker, directora del Departamento de Inteligencia Háptica de MPI-IS. Ella confirma que el nuevo sensor será útil: «Los sensores hápticos blandos anteriores solo tenían áreas de detección pequeñas, eran delicados y difíciles de fabricar y, a menudo, no podían sentir fuerzas paralelas a la piel, que son esenciales para la manipulación robótica, como sostener un vaso de agua o deslizar una moneda sobre una mesa», dice Kuchenbecker.
Pero, ¿cómo aprende un sensor así? Huanbo Sun diseñó un banco de pruebas para generar los datos de entrenamiento necesarios para que el modelo de aprendizaje automático comprenda la correlación entre el cambio en los píxeles de la imagen sin procesar y las fuerzas aplicadas. El banco de pruebas sondea el sensor en toda su superficie y registra el vector de fuerza de contacto real junto con la imagen de la cámara dentro del sensor. De esta forma, se generaron unas 200.000 mediciones. Se necesitaron casi tres semanas para recopilar los datos y otro día para entrenar el modelo de aprendizaje automático. Sobrevivir a este largo experimento con tantas fuerzas de contacto diferentes ayudó a demostrar la solidez del diseño mecánico de Insight, y las pruebas con una sonda más grande mostraron qué tan bien generaliza el sistema de detección.
Otra característica especial del sensor en forma de pulgar es que posee una zona en forma de uña con una capa de elastómero más delgada. Esta fóvea táctil está diseñada para detectar incluso fuerzas diminutas y formas detalladas de objetos. Para esta zona supersensible, los científicos eligieron un grosor de elastómero de 1,2 mm en lugar de los 4 mm que usaron en el resto del sensor de dedo.
«El diseño de hardware y software que presentamos en nuestro trabajo se puede transferir a una amplia variedad de piezas de robots con diferentes formas y requisitos de precisión. La arquitectura de aprendizaje automático, el entrenamiento y el proceso de inferencia son generales y se pueden aplicar a muchos otros sensores». diseños», concluye Huanbo Sun.
Vídeo: https://youtu.be/lTAJwcZopAA
Fuente de la historia:
Materiales proporcionados por Instituto Max Planck de Sistemas Inteligentes. Nota: el contenido se puede editar por estilo y longitud.