Cómo el hardware analógico de IA puede algún día reducir los costos y las emisiones de carbono

¿Podría el hardware de inteligencia artificial (IA) analógico, en lugar de digital, aprovechar el procesamiento rápido y de bajo consumo de energía para resolver los crecientes costos y la huella de carbono del aprendizaje automático?

Los investigadores dicen que sí: Logan Wright y Tatsuhiro Onodera, científicos investigadores de NTT Research y la Universidad de Cornell, visualizan un futuro en el que el aprendizaje automático (ML) se realizará con hardware físico novedoso, como los basados ​​en fotónica o nanomecánica. Estos dispositivos no convencionales, dicen, podrían aplicarse tanto en entornos perimetrales como de servidor.

Las redes neuronales profundas, que están en el corazón de los esfuerzos de IA de hoy, dependen del uso intensivo de procesadores digitales como GPU. Pero durante años ha habido preocupaciones sobre el costo monetario y ambiental del aprendizaje automático, que limita cada vez más la escalabilidad de los modelos de aprendizaje profundo.

Un artículo de 2019 de la Universidad de Massachusetts, Amherst, por ejemplo, realizó una evaluación del ciclo de vida para entrenar varios modelos de IA grandes comunes. Descubrió que el proceso puede emitir más de 626,000 libras de dióxido de carbono equivalente, casi cinco veces las emisiones de por vida del automóvil estadounidense promedio, incluida la fabricación del automóvil mismo.

En una sesión con NTT Research en la cumbre ejecutiva de VentureBeat Transform el 19 de julio, el director ejecutivo Kazu Gomi dijo que el aprendizaje automático no tiene que depender de circuitos digitales, sino que puede ejecutarse en una red neuronal física. Este es un tipo de red neuronal artificial en la que se utiliza hardware analógico físico para emular neuronas en lugar de enfoques basados ​​en software.

“Uno de los beneficios obvios de usar sistemas analógicos en lugar de digitales es el consumo de energía de la IA”, dijo. «El problema del consumo es real, por lo que la pregunta es ¿cuáles son las nuevas formas de hacer que el aprendizaje automático sea más rápido y más eficiente energéticamente?»

IA analógica: ¿más como el cerebro?

Desde los inicios de la historia de la IA, la gente no estaba tratando de pensar en cómo hacer computadoras digitales, señaló Wright.

“Estaban tratando de pensar en cómo podríamos emular el cerebro, que por supuesto no es digital”, explicó. «Lo que tengo en mi cabeza es un sistema analógico y, en realidad, es mucho más eficiente para realizar los tipos de cálculos que se realizan en las redes neuronales profundas que los circuitos lógicos digitales actuales».

El cerebro es un ejemplo de hardware analógico para hacer IA, pero otros incluyen sistemas que usan óptica.

“Mi ejemplo favorito son las ondas, porque muchas cosas como la óptica se basan en ondas”, dijo. “En una bañera, por ejemplo, podrías formular el problema para codificar un conjunto de números. En la parte delantera de la bañera, puedes establecer una ola y la altura de la ola te da este vector X. Dejas que el sistema evolucione durante algún tiempo y la onda se propaga al otro extremo de la bañera. Después de un tiempo, puedes medir la altura de eso, y eso te da otro conjunto de números”.

Esencialmente, la naturaleza misma puede realizar cálculos. “Y no es necesario enchufarlo a nada”, dijo.

Enfoques de hardware de IA analógica

Los investigadores de toda la industria están utilizando una variedad de enfoques para desarrollar hardware analógico. IBM Research, por ejemplo, ha invertido en electrónica analógica, en particular en tecnología memristor, para realizar cálculos de aprendizaje automático.

“Es bastante prometedor”, dijo Onodera. «Estos circuitos de memristor tienen la propiedad de que la información se calcule naturalmente de forma natural a medida que los electrones ‘fluyen’ a través del circuito, lo que les permite tener un consumo de energía potencialmente mucho menor que la electrónica digital».

Sin embargo, NTT Research se centra en un marco más general que no se limita a la tecnología memristor. “Nuestro trabajo se centra en habilitar también otros sistemas físicos, por ejemplo, los basados ​​en la luz y la mecánica (sonido), para realizar el aprendizaje automático”, dijo. “Al hacerlo, podemos hacer sensores inteligentes en el dominio físico nativo donde se genera la información, como en el caso de un micrófono inteligente o una cámara inteligente”.

Las empresas emergentes, incluida Mythic, también se centran en la IA analógica que utiliza la electrónica, lo que, según Wright, es un «gran paso, y probablemente sea la forma de menor riesgo de ingresar a las redes neuronales analógicas». Pero también es incremental y tiene un techo limitado, agregó: «Solo hay una gran mejora en el rendimiento que es posible si el hardware todavía se basa en la electrónica».

Potencial a largo plazo de la IA analógica

Varias empresas emergentes, como LightMatter, Lightelligence y Luminous Computing, utilizan la luz, en lugar de la electrónica, para realizar la computación, lo que se conoce como fotónica. Esta es una tecnología más riesgosa y menos madura, dijo Wright.

“Pero el potencial a largo plazo es mucho más emocionante”, dijo. «Las redes neuronales basadas en la luz podrían ser mucho más eficientes energéticamente».

Sin embargo, la luz y los electrones no son lo único con lo que se puede hacer una computadora, especialmente para la IA, agregó. “Podrías hacerlo con materiales biológicos, electroquímica (como nuestro propio cerebro), o con fluidos, ondas acústicas (sonido) u objetos mecánicos, modernizando las primeras computadoras mecánicas”.

MIT Research, por ejemplo, anunció la semana pasada que tenía nuevas resistencias programables protónicas, una red de neuronas artificiales analógicas y sinapsis que pueden hacer cálculos de manera similar a una red neuronal digital mediante la repetición repetida de conjuntos de resistencias programables en capas intrincadas. Utilizaron un «material inorgánico práctico en el proceso de fabricación», dijeron, que permite que sus dispositivos «corran 1 millón de veces más rápido que las versiones anteriores, que también es aproximadamente 1 millón de veces más rápido que las sinapsis en el cerebro humano».

NTT Research dice que está dando un paso más atrás en todos estos enfoques y planteando preguntas mucho más importantes y a largo plazo: ¿De qué podemos hacer una computadora? Y si queremos lograr los sistemas de IA de mayor velocidad y eficiencia energética, ¿de qué deberíamos fabricarlos físicamente?

“Nuestro artículo proporciona la primera respuesta a estas preguntas al decirnos cómo podemos hacer una computadora de red neuronal utilizando cualquier sustrato físico”, dijo Logan. “Y hasta ahora, nuestros cálculos sugieren que fabricar estas extrañas computadoras pronto tendrá mucho sentido, ya que pueden ser mucho más eficientes que la electrónica digital e incluso la electrónica analógica. Las computadoras de redes neuronales basadas en luz parecen ser el mejor enfoque hasta ahora, pero incluso esa pregunta no está completamente respondida».

La IA analógica no es la única apuesta de hardware no digital

Según Sara Hooker, exinvestigadora de Google Brain que actualmente dirige el laboratorio de investigación sin fines de lucro Cohere para IA, la industria de la IA se encuentra «en esta etapa de hardware realmente interesante».

Hace diez años, explica, el avance masivo de AI fue realmente un avance de hardware. “Las redes neuronales profundas no funcionaron hasta que las GPU, que se usaban para videojuegos [and] simplemente fueron reutilizados para redes neuronales profundas”, dijo.

El cambio, agregó, fue casi instantáneo. “De la noche a la mañana, lo que tomó 13,000 CPU de la noche a la mañana tomó dos GPU”, dijo. “Así de dramático fue”.

Es muy probable que haya otras formas de representar el mundo que podrían ser tan poderosas como lo digital, dijo. “Si incluso una de estas direcciones de datos comienza a mostrar progreso, puede desbloquear una gran cantidad de eficiencia y diferentes formas de aprender representaciones”, explicó. “Eso es lo que hace que valga la pena que los laboratorios los respalden”.

Hooker, cuyo ensayo de 2020 «The Hardware Lottery» exploró las razones por las que varias herramientas de hardware han tenido éxito y han fracasado, dice que el éxito de las GPU para redes neuronales profundas fue «en realidad una coincidencia extraña y afortunada: estaba ganando la lotería».

Las GPU, explicó, nunca se diseñaron para el aprendizaje automático, se desarrollaron para videojuegos. Gran parte de la adopción de GPU para el uso de IA «dependía del momento adecuado de alineación entre el progreso en el lado del hardware y el progreso en el lado del modelado», dijo. “Hacer que haya más opciones de hardware disponibles es el ingrediente más importante porque permite más momentos inesperados en los que se ven esos avances”.

Sin embargo, la IA analógica no es la única opción que los investigadores están considerando cuando se trata de reducir los costos y las emisiones de carbono de la IA. Los investigadores están apostando en otras áreas, como los arreglos de puertas programables en campo (FPGA) como aceleradores específicos de aplicaciones en los centros de datos, que pueden reducir el consumo de energía y aumentar la velocidad operativa. También hay esfuerzos para mejorar el software, explicó.

Analógico, dijo, “es una de las apuestas más arriesgadas”.

Fecha de caducidad en el enfoque actual

Aún así, se deben tomar riesgos, dijo Hooker. Cuando se le preguntó si pensaba que las grandes empresas de tecnología están apoyando el futuro analógico y otros tipos de IA alternativa no digital, dijo: “Cien por ciento. Hay una motivación clara”, y agrega que lo que falta es una inversión gubernamental sostenida en un panorama de hardware a largo plazo.

“Siempre ha sido complicado cuando la inversión se basa únicamente en las empresas, porque es muy arriesgado”, dijo. “A menudo tiene que ser parte de una estrategia nacionalista para que sea una apuesta convincente a largo plazo”.

Hooker dijo que no apostaría por la adopción generalizada de hardware de IA analógico, pero insiste en que los esfuerzos de investigación son buenos para el ecosistema en su conjunto.

“Es algo así como el vuelo inicial de la NASA a la luna”, dijo. “Hay tantos avances científicos que suceden simplemente con tener un objetivo.

Y hay una fecha de vencimiento en el enfoque actual de la industria, advirtió: «Hay un entendimiento entre la gente en el campo de que tiene que haber alguna apuesta en proyectos más riesgosos».

El futuro de la IA analógica

Los investigadores de NTT dejaron en claro que las aplicaciones más tempranas y limitadas de su trabajo de IA analógica tardarán al menos 5 a 10 años en materializarse, e incluso entonces es probable que se utilicen primero para aplicaciones específicas, como en el perímetro.

“Creo que las aplicaciones más a corto plazo ocurrirán en el perímetro, donde hay menos recursos, donde es posible que no tenga tanto poder”, dijo Onodera. “Creo que ahí es donde realmente hay más potencial”.

Una de las cosas en las que está pensando el equipo es qué tipos de sistemas físicos serán los más escalables y ofrecerán la mayor ventaja en términos de eficiencia energética y velocidad. Pero en términos de ingresar a la infraestructura de aprendizaje profundo, es probable que suceda de manera incremental, dijo Wright.

“Creo que entraría lentamente en el mercado, con una red de múltiples capas con tal vez el front-end en el dominio analógico”, dijo. “Creo que es un enfoque mucho más sostenible”.