Entre los aspectos de la inteligencia artificial que deben considerarse en un enfoque de IA verde se encuentran factores como hacer que la tecnología sea más respetuosa con el medio ambiente e inclusiva, dice Roy Schwartz de la Universidad Hebrea de Jerusalén.
Crédito: Shutterstock
A medida que la inteligencia artificial (IA) se vuelve cada vez más omnipresente y los modelos de aprendizaje más complejos, los investigadores están pensando en el impacto de su trabajo, incluidos los costos ambientales. Las discusiones sobre temas ecológicos, desde los costos del carbono hasta las mejoras en la eficiencia, están evolucionando dentro de la comunidad.
Preguntamos a los investigadores en los campos de la informática y el aprendizaje automático por sus conocimientos.
El crecimiento es exponencial, se requiere un nuevo enfoque.
«La IA está en todas partes», dijo Roy Schwartz, profesor de procesamiento del lenguaje natural en la Universidad Hebrea de Jerusalén, Israel. «Estamos creciendo a un ritmo exponencial, algo que no tiene precedentes en ningún campo tecnológico». Para Schwartz, los impactos ambientales y sociales de este crecimiento son insostenibles en la forma actual de la IA.
La velocidad del progreso va de la mano con los saltos en los costos computacionales, energéticos y financieros de la IA. En un blog de 2018, OpenAI analizó la cantidad de procesamiento, medida en petaflop / s-días, donde un petaflop / s-día (pfs-día) consiste en realizar 1015 operaciones de red neuronal por segundo cada segundo durante un día completo; se utiliza en las carreras de entrenamiento de IA más grandes, desde AlexNet, una red neuronal convolucional diseñada en 2012, hasta AlphaGo Zero 2017 de DeepMind.
Los blogueros: Dario Amodei, director ejecutivo de la empresa de investigación y seguridad en inteligencia artificial Anthropic, y el científico investigador de OpenAI, Danny Hernandez, escribieron la publicación original, mientras que Girish Sastry, Greg Brockman e Ilya Sutskever de OpenAI, y el cofundador de Anthropic, Jack Clark, contribuyeron a su apéndice; escribieron que desde 2012, «La cantidad de computación utilizada en las ejecuciones de entrenamiento de IA más grandes ha aumentado exponencialmente con un tiempo de duplicación de 3.4 meses». Señalaron que la Ley de Moore, una observación sobre el crecimiento de la velocidad y la capacidad de computación, tenía un período de duplicación de dos años.
Schwartz argumenta que es hora de que la comunidad de IA analice más detenidamente el impacto de su trabajo. Un artículo contribuido en 2020 en Comunicaciones que fue coautor con el investigador postdoctoral Jesse Dodge de la Universidad Carnegie Mellon, el profesor de aprendizaje automático en Amazon Noah A. Smith y el director ejecutivo del Instituto Allen para IA, Oren Etzioni, que aboga por el llamado verde, en lugar de rojo, AI.
«Cuando hablamos de Red AI, es la práctica de tratar de obtener un mejor resultado aumentando la capacidad del modelo, y la alternativa de Green AI es tratar de tomar otras cosas en consideración», dijo Schwartz.
Según Schwartz, Red AI ha hecho una «tremenda contribución» a la situación actual de la IA; sin embargo, fomenta resultados de vanguardia, independientemente del costo. Bajo un enfoque de IA verde, las «otras cosas» que deben considerarse incluyen hacer que la tecnología sea más respetuosa con el medio ambiente e inclusiva, a pesar de los crecientes costos que, señaló Schwartz, constituyen una barrera para quienes pueden participar en la investigación de IA.
Schwartz y sus coautores sugieren un enfoque doble de la IA verde. Por un lado, están pidiendo a los investigadores que hagan un mejor trabajo al cuantificar y reportar los costos ambientales y computacionales de sus resultados científicos; por otro, les piden que desarrollen modelos más eficientes. «Trate de cuantificar, trate de estimar con mayor precisión cuánta energía, electricidad, computación se está utilizando en estas operaciones y obviamente trate de promover soluciones más eficientes», dijo Schwartz.
El desafío en este momento es cómo calcular estos costos. Los cálculos dependen de muchos factores, como el número, la velocidad y la potencia de los procesadores; la eficiencia de los centros de datos y la cantidad y tipo de energía utilizada.
Las emisiones de carbono son particularmente difíciles de precisar, dijo Schwartz. «Depende mucho de dónde ejecute sus experimentos, si los está ejecutando en una región que usa carbón o energía nuclear o hidroeléctrica, etc.»
Una solución que podría permitir comparaciones de eficiencia entre ubicaciones geográficas es informar el número total de operaciones de punto flotante (FPO), una medida del rendimiento de la computadora, necesarias para generar un resultado, dijo Schwartz. Reconoció que no es una medida perfecta: «Estamos comprometiendo algunos de los aspectos que captan otras medidas porque pensamos que eso es lo más importante en este momento, poder comparar diferentes modelos y en diferentes ubicaciones».
Para Schwartz, la transparencia es clave para los esfuerzos futuros. Como señal de progreso, señala una iniciativa reciente de investigadores de Google y la Universidad de California, Berkeley (UC Berkeley), que cuantificaron la cantidad de carbono liberado por el entrenamiento de algunos de los modelos de procesamiento del lenguaje natural (NLP) más grandes. en años recientes.
El entrenamiento no es la mayor amenaza ambiental de la IA.
David Patterson es informático en UC Berkeley, distinguido ingeniero de software en Google y ganador del premio Turing. Lideró el grupo de investigadores —Quoc Le, Chen Liang, Lluis-Miquel Munguia, David So, Maud Texier y Jeff Dean en Google, y Joseph Gonzalez y Daniel Rothchild en UC Berkeley— que llevaron a cabo la investigación destacada por Schwartz.
Patterson se involucró en el proyecto debido a las crecientes preocupaciones, planteadas dentro de la comunidad de IA y la prensa, sobre la huella de carbono de los modelos de PNL muy grandes. El grupo emprendió el trabajo para tratar de «averiguar cuáles son los hechos al respecto», dijo.
Los investigadores calcularon el uso de energía y la huella de carbono de cinco grandes modelos de PNL: T5, Meena, GShard, Switch Transformer y GPT-3. Los resultados de cada modelo se describen en detalle en el documento resultante. Training Meena, un chatbot de dominio abierto de múltiples turnos, por ejemplo, usó 232 MWh de electricidad, lo que resultó en emisiones a la atmósfera de 96 toneladas (toneladas métricas) de dióxido de carbono equivalente (tCO2mi); formación T5, un modelo de lenguaje pre-entrenado, utilizó 86 MWh y produjo 47 tCO2mi.
Patterson dijo que la investigación permitió poner en perspectiva la huella de carbono de la capacitación. «Google publica la cantidad de energía que usa cada año, por lo que calculamos el costo de la capacitación en términos de consumo de energía para estos modelos grandes, como dice el documento. Es una fracción muy pequeña de lo que hacemos».
Con base en los resultados, argumentó que la capacitación no es tan costosa para el medio ambiente como otras actividades realizadas por la comunidad de IA, ya que «las personas que viajan a conferencias tienen una huella de carbono mucho mayor». Patterson dijo que recientemente rechazó una invitación para dar un discurso principal en persona en Shanghai debido al costo del carbono del viaje, optando por un formato remoto. Alentó a la comunidad de IA a adoptar conferencias virtuales como una buena práctica ecológica.
Aún así, dijo, hay mucho que se puede hacer para mejorar la eficiencia energética del entrenamiento. «Con la nube puede entrenar en cualquier lugar, literalmente en cualquier parte del mundo. Debe elegir los centros de datos que tengan la mejor huella de carbono».
«Sorprendentemente», los investigadores sugieren en su artículo que «la elección de DNN, centro de datos y procesador puede reducir la huella de carbono hasta ~ 100-1,000X». Al igual que Schwartz, piden transparencia, sugiriendo el uso de energía y CO2Deberían ser métricas clave utilizadas para evaluar los requisitos de entrenamiento de los modelos de IA.
Sus recomendaciones incluyen implementar redes neuronales profundas (DNN) grandes pero escasamente activadas que consumen menos energía que las DNN densas, optimizar dónde y cuándo se entrenan los modelos y trabajar en centros de datos con la menor huella de carbono.
La esperanza de Patterson es un «círculo virtuoso» en el que la huella de carbono de los modelos se informe en los artículos, se incentive la eficacia y se recompense las buenas prácticas.
La situación actual es insostenible, el futuro no tiene por qué serlo.
En una publicación de blog de febrero de 2020, Ameet Talwalkar, profesora asistente en el Departamento de Aprendizaje Automático de la Universidad Carnegie Mellon, argumentó que la IA debe volverse más ecológica y describió varias estrategias para hacerlo, incluido el aumento del rendimiento del hardware y el fomento de las asociaciones.
Talwalkar escribió la publicación justo antes de que llegara Covid. Reflexionando ahora, más de 20 meses después, dijo que la pandemia ha exacerbado las tendencias. «La gente se inclina más hacia la tecnología y, en estos días, inclinarse más hacia la tecnología significa inclinarse más hacia la inteligencia artificial y, en todo caso, creo que la pandemia ha acelerado aún más lo que ya era una industria muy rápida y que se aceleraba rápidamente».
Los modelos son cada vez más grandes, dijo Talwakar, y «son realmente ineficientes desde el punto de vista energético. No son muy respetuosos con el medio ambiente». Sin embargo, enfatizó que es vital recordar que la IA aún se encuentra en sus primeras etapas. «Estamos empleando todos los recursos que podamos para ver cómo podemos impulsar las cosas».
Talwalkar establece un paralelo entre el Proyecto Genoma Humano (HGP), que se estima que costó $ 2.7 mil millones durante 13 años, y Red AI. «Fue increíblemente caro, horriblemente ineficiente, claramente no es algo reproducible que podamos secuenciar el genoma de una persona durante tanto tiempo y tanto dinero, pero nos mostró que era posible y allanó el camino».
Talwalkar señala que las tecnologías de vanguardia no suelen basarse en los procesos más eficientes. Él espera que mejore la eficiencia del entrenamiento de modelos de IA. «En los centros de datos, hemos visto que los algoritmos se vuelven mucho más eficientes; creo que sabemos cómo resolver esos problemas».
Sin embargo, dijo que la IA sigue siendo una «caja bastante negra», en el sentido de que aún no la entendemos por completo, y la experimentación se está llevando a cabo en el mundo real, no solo en el laboratorio. Esto plantea otras preocupaciones en torno a cuestiones como la equidad y la privacidad. «Esa experimentación conduce a Red AI, pero también conduce a estos problemas sociales», dijo Talwalkar.
Las perspectivas sobre la IA y la sostenibilidad varían. Sin embargo, a medida que la comunidad piensa más profundamente sobre el impacto de su trabajo en el planeta y la sociedad, una mayor transparencia, responsabilidad y una mayor eficiencia están emergiendo como objetivos compartidos.
Karen Emslie es un periodista y ensayista independiente independiente de la ubicación.
entradas no encontradas