Los ingenieros informáticos de la Universidad de Duke han desarrollado ojos virtuales que simulan cómo los humanos miran el mundo con la precisión suficiente para que las empresas entrenen programas de realidad virtual y realidad aumentada. Llamado EyeSyn para abreviar, el programa ayudará a los desarrolladores a crear aplicaciones para el metaverso en rápida expansión mientras protege los datos del usuario.
Los resultados han sido aceptados y se presentarán en la Conferencia internacional sobre procesamiento de información en redes de sensores (IPSN), del 4 al 6 de mayo de 2022, un foro anual líder en investigación en detección y control en red.
«Si está interesado en detectar si una persona está leyendo un libro de historietas o literatura avanzada solo mirándole a los ojos, puede hacerlo», dijo Maria Gorlatova, profesora asistente de Ingeniería Eléctrica e Informática de Nortel Networks en Duke.
«Pero entrenar ese tipo de algoritmo requiere datos de cientos de personas que usan auriculares durante horas», agregó Gorlatova. «Queríamos desarrollar un software que no solo redujera las preocupaciones de privacidad que surgen con la recopilación de este tipo de datos, sino que también permitiera a las empresas más pequeñas que no tienen esos niveles de recursos entrar en el juego del metaverso».
La visión poética que describe los ojos como las ventanas del alma se ha repetido desde al menos los tiempos bíblicos por una buena razón: los pequeños movimientos de cómo se mueven nuestros ojos y cómo se dilatan las pupilas proporcionan una cantidad sorprendente de información. Los ojos humanos pueden revelar si estamos aburridos o emocionados, dónde se centra la concentración, si somos o no expertos o novatos en una tarea determinada, o incluso si dominamos un idioma específico.
«Donde estás priorizando tu visión también dice mucho sobre ti como persona», dijo Gorlatova. «Inadvertidamente, puede revelar sesgos sexuales y raciales, intereses que no queremos que otros sepan e información que quizás ni siquiera sepamos sobre nosotros mismos».
Los datos de movimiento ocular son invaluables para las empresas que crean plataformas y software en el metaverso. Por ejemplo, leer los ojos de un usuario permite a los desarrolladores adaptar el contenido a las respuestas de participación o reducir la resolución en su visión periférica para ahorrar energía computacional.
Con esta amplia gama de complejidad, crear ojos virtuales que imiten cómo un humano promedio responde a una amplia variedad de estímulos suena como una tarea difícil. Para escalar la montaña, Gorlatova y su equipo, incluido el ex asociado posdoctoral Guohao Lan, quien ahora es profesor asistente en la Universidad Tecnológica de Delft en los Países Bajos, y el actual estudiante de doctorado Tim Scargill, se sumergieron en la literatura de ciencia cognitiva que explora cómo los humanos ven el mundo y procesan la información visual.
Por ejemplo, cuando una persona está mirando a alguien hablar, sus ojos alternan entre los ojos, la nariz y la boca de la persona durante varios períodos de tiempo. Al desarrollar EyeSyn, los investigadores crearon un modelo que extrae dónde están esas características en un altavoz y programaron sus ojos virtuales para emular estadísticamente el tiempo dedicado a concentrarse en cada región.
«Si le da a EyeSyn muchas entradas diferentes y lo ejecuta suficientes veces, creará un conjunto de datos de movimientos oculares sintéticos que es lo suficientemente grande como para entrenar un clasificador (de aprendizaje automático) para un nuevo programa», dijo Gorlatova.
Para probar la precisión de sus ojos sintéticos, los investigadores recurrieron a datos disponibles públicamente. Primero hicieron que los ojos «vieran» videos del Dr. Anthony Fauci dirigiéndose a los medios durante las conferencias de prensa y los compararon con los datos de los movimientos oculares de los espectadores reales. También compararon un conjunto de datos virtual de sus ojos sintéticos mirando el arte con conjuntos de datos reales recopilados de personas que navegan por un museo de arte virtual. Los resultados mostraron que EyeSyn pudo igualar de cerca los distintos patrones de las señales de mirada reales y simular las diferentes formas en que reaccionan los ojos de las personas.
Según Gorlatova, este nivel de rendimiento es lo suficientemente bueno para que las empresas lo utilicen como referencia para entrenar nuevas plataformas y software de metaverso. Con un nivel básico de competencia, el software comercial puede lograr resultados aún mejores al personalizar sus algoritmos después de interactuar con usuarios específicos.
«Los datos sintéticos por sí solos no son perfectos, pero son un buen punto de partida», dijo Gorlatova. «Las empresas más pequeñas pueden usarlo en lugar de gastar tiempo y dinero tratando de construir sus propios conjuntos de datos del mundo real (con sujetos humanos). Y debido a que la personalización de los algoritmos se puede realizar en sistemas locales, las personas no tienen que preocuparse. acerca de que los datos de sus movimientos oculares privados se conviertan en parte de una gran base de datos».
Esta investigación fue financiada por la Fundación Nacional de Ciencias (CSR-1903136, CNS-1908051, IIS-2046072) y un premio de la facultad de IBM.
Fuente de la historia:
Materiales proporcionados por Universidad de Duke. Original escrito por Ken Kingery. Nota: el contenido se puede editar por estilo y longitud.
