Por primera vez, el Instituto de Ciencias de la Computación Teórica de TU Graz y los Laboratorios Intel demostraron experimentalmente que una gran red neuronal puede procesar secuencias como oraciones mientras consume de cuatro a dieciséis veces menos energía mientras se ejecuta en hardware neuromórfico que en hardware no neuromórfico. La nueva investigación se basa en el chip de investigación neuromórfico Loihi de Intel Labs que se basa en conocimientos de la neurociencia para crear chips que funcionan de manera similar a los del cerebro biológico.
La investigación fue financiada por The Human Brain Project (HBP), uno de los proyectos de investigación más grandes del mundo con más de 500 científicos e ingenieros de toda Europa que estudian el cerebro humano. Los resultados de la investigación se publican en el artículo de investigación «Memoria para aplicaciones de IA en hardware neuromórfico basado en picos» (DOI 10.1038/s42256-022-00480-w) que se publicó en Naturaleza Máquina Inteligencia.
El cerebro humano como modelo a seguir
Las máquinas inteligentes y las computadoras inteligentes que pueden reconocer e inferir objetos de forma autónoma y las relaciones entre diferentes objetos son objeto de investigación en inteligencia artificial (IA) en todo el mundo. El consumo de energía es un obstáculo importante en el camino hacia una aplicación más amplia de tales métodos de IA. Se espera que la tecnología neuromórfica proporcione un impulso en la dirección correcta. La tecnología neuromórfica sigue el modelo del cerebro humano, que es muy eficiente en el uso de la energía. Para procesar la información, sus cien mil millones de neuronas consumen solo unos 20 vatios, no mucha más energía que una bombilla de bajo consumo promedio.
En la investigación, el grupo se centró en algoritmos que funcionan con procesos temporales. Por ejemplo, el sistema debía responder preguntas sobre una historia previamente contada y captar las relaciones entre objetos o personas del contexto. El hardware probado constaba de 32 chips Loihi.
Chip de investigación Loihi: hasta dieciséis veces más eficiente energéticamente que el hardware no neuromórfico
«Nuestro sistema es de cuatro a dieciséis veces más eficiente energéticamente que otros modelos de IA en hardware convencional», dice Philipp Plank, estudiante de doctorado en el Instituto de Ciencias Informáticas Teóricas de TU Graz. Plank espera mayores ganancias de eficiencia a medida que estos modelos migran a la próxima generación de hardware Loihi, lo que mejora significativamente el rendimiento de la comunicación de chip a chip.
«Los chips de investigación Loihi de Intel prometen generar ganancias en IA, especialmente al reducir su alto costo de energía», dijo Mike Davies, director del Laboratorio de Computación Neuromórfica de Intel. «Nuestro trabajo con TU Graz proporciona más evidencia de que la tecnología neuromórfica puede mejorar la eficiencia energética de las cargas de trabajo de aprendizaje profundo actuales al repensar su implementación desde la perspectiva de la biología».
Imitando la memoria humana a corto plazo
En su red neuromórfica, el grupo reprodujo un presunto mecanismo de memoria del cerebro, como explica Wolfgang Maass, supervisor de doctorado de Philipp Plank en el Instituto de Ciencias Informáticas Teóricas: «Los estudios experimentales han demostrado que el cerebro humano puede almacenar información durante un período corto de tiempo incluso sin actividad neuronal, es decir, en las llamadas ‘variables internas’ de las neuronas. Las simulaciones sugieren que un mecanismo de fatiga de un subconjunto de neuronas es esencial para esta memoria a corto plazo».
Falta una prueba directa porque estas variables internas aún no se pueden medir, pero sí significa que la red solo necesita probar qué neuronas están actualmente fatigadas para reconstruir qué información ha procesado previamente. En otras palabras, la información previa se almacena en la inactividad de las neuronas, y la inactividad consume la menor cantidad de energía.
Simbiosis de red recurrente y feed-forward
Los investigadores vinculan dos tipos de redes de aprendizaje profundo para este propósito. Las redes neuronales de retroalimentación son responsables de la «memoria a corto plazo». Muchos de estos llamados módulos recurrentes filtran la posible información relevante de la señal de entrada y la almacenan. Luego, una red de avance determina cuáles de las relaciones encontradas son muy importantes para resolver la tarea en cuestión. Las relaciones sin sentido se eliminan, las neuronas solo se activan en aquellos módulos donde se ha encontrado información relevante. Este proceso conduce en última instancia al ahorro de energía.
«Se espera que las estructuras neuronales recurrentes proporcionen las mayores ganancias para las aplicaciones que se ejecutan en hardware neuromórfico en el futuro», dijo Davies. «El hardware neuromórfico como Loihi es especialmente adecuado para facilitar los patrones de actividad de red rápidos, dispersos e impredecibles que observamos en el cerebro y que necesitamos para las aplicaciones de IA más eficientes energéticamente».
Esta investigación fue apoyada financieramente por Intel y la Unión Europea Proyecto Cerebro Humano, que conecta la neurociencia, la medicina y las tecnologías inspiradas en el cerebro en la UE. Para ello, el proyecto está creando una infraestructura de investigación digital permanente, EBRENOS. Este trabajo de investigación está anclado en los campos de especialización.Humano y Biotecnología y Información, Comunicación y Computacióndos de los cinco campos de especialización de TU Graz.
Fuente de la historia:
Materiales proporcionados por Universidad Tecnológica de Graz. Original escrito por Christoph Pelzl. Nota: el contenido se puede editar por estilo y longitud.