¿Prohibir o no prohibir? Esa es la pregunta

OpenAI lanzó GPT-4 el 14 de marzo y sus capacidades fueron impactantes para las personas dentro de la comunidad de IA y más allá. Una semana después, el Future of Life Institute (FLI) publicó una carta abierta en la que pedía a los principales laboratorios de IA del mundo que detuvieran el desarrollo de modelos GPT (transformadores generativos preentrenados) aún más grandes hasta que se pudiera garantizar su seguridad. Geoff Hinton llegó a renunciar a Google para tener la libertad de hablar sobre los riesgos.

Episodios recientes del London Futurists Podcast han presentado los argumentos a favor y en contra de este llamado a una moratoria. Jaan Tallinn, uno de los cofundadores de FLI, hizo el caso a favor. Pedro Domingos, un eminente investigador de IA, y Kenn Cukier, editor senior de El economista, realizó variantes de la causa en contra. En el episodio más reciente, David Wood y yo, los coanfitriones del podcast, resumimos los puntos clave y damos nuestras propias opiniones. Las siguientes nueve proposiciones y preguntas son un marco para ese resumen.

1. AGI es posible, y pronto

La llegada de GPT-4 no prueba nada sobre lo cerca que estamos de desarrollar inteligencia general artificial (IAG), una IA con todas las capacidades cognitivas de un ser humano adulto. Pero sugiere a muchos expertos y observadores que el desafío puede ser menos difícil de lo que se pensaba anteriormente. GPT-4 fue entrenado en un vasto corpus de datos, aparentemente la mayor parte de Internet, y luego ajustado con la guía de humanos que verifican sus respuestas a las preguntas. El entrenamiento tomó la forma de un juego extendido de «peekaboo» en el que el sistema se escondía las palabras y trataba de adivinarlas a partir de su contexto.

El resultado es una máquina de predicción enormemente capaz, que selecciona la siguiente mejor palabra en una oración. Mucha gente ha comentado que, hasta cierto punto, esto parece ser lo que hacemos cuando hablamos.

La opinión entre los investigadores de IA está dividida sobre lo que se requiere para llevarnos de aquí a AGI. Algunos de ellos piensan que continuar ampliando los sistemas de aprendizaje profundo (incluidos los transformadores) funcionará, mientras que otros piensan que se necesitarán paradigmas completamente nuevos. Pero la mejora de GPT-2 a 3, y luego a 4, sugiere a muchos que estamos más cerca de lo que pensábamos anteriormente, y que es hora de comenzar a pensar en lo que sucederá si llegamos allí. El último pronóstico promedio en el mercado de predicciones de Metaculus para la llegada del AGI completo es 2032.

2. AGI es un riesgo X

Es extremadamente improbable que los humanos posean el mayor nivel posible de inteligencia, por lo que cuando alcancemos AGI, las máquinas superarán nuestro nivel y se convertirán en superinteligencias. Esto podría suceder rápidamente y pronto nos convertiríamos en la segunda especie más inteligente del planeta por un margen significativo. Los ocupantes actuales de esa posición son chimpancés, y su destino está enteramente en nuestras manos.

No sabemos si la conciencia es un subproducto de un procesamiento de información suficientemente complejo, por lo que no sabemos si una superinteligencia será sensible o consciente. Tampoco sabemos qué daría lugar a la agencia o la automotivación. Pero una IA no necesita ser consciente o tener agencia para ser un riesgo existencial (un riesgo X) para nosotros. Solo necesita ser significativamente más inteligente que nosotros y tener objetivos que son problemáticos para nosotros. Esto podría suceder deliberadamente o por accidente.

Personas como Eliezer Yudkowsky, el fundador de la organización X-risk original, ahora llamada Instituto de Investigación de Inteligencia de Máquinas (MIRI), están convencidos de que compartir el planeta con una superinteligencia resultará perjudicial para nosotros. Reconozco que los malos resultados son totalmente posibles, pero no estoy convencido de que sean inevitables. Si no somos una amenaza para una superinteligencia, ni un competidor por ningún recurso importante, bien podría decidir que somos interesantes y que vale la pena tenerlos cerca y ayudar.

3. Cuatro C

Los siguientes cuatro escenarios capturan los posibles resultados.

• Cese: dejamos de desarrollar IA avanzadas, por lo que la amenaza de la superinteligencia nunca se materializa. También nos perdemos las enormes ventajas potenciales.
• Control: descubrimos una forma de configurar IA avanzadas para que sus objetivos estén alineados con los nuestros y nunca decidan alterarlos. O descubrimos cómo controlar entidades mucho más inteligentes que nosotros. Para siempre.
• Consentimiento: la superinteligencia nos quiere, y nos entiende mejor que nosotros mismos. Nos permite continuar viviendo nuestras vidas, e incluso nos ayuda a florecer más que nunca.
• Catástrofe: ya sea deliberada o inadvertidamente, la superinteligencia nos aniquila. No entraré en la pornografía de tortura, pero la extinción no es el peor resultado posible.

4. La pausa es posible

Solía ​​​​pensar que renunciar (pausar o detener el desarrollo de IA avanzadas) era imposible, porque poseer una IA más poderosa otorgará cada vez más éxito en cualquier competencia, y ninguna compañía o ejército se contentará con el fracaso continuo. Pero tengo la sensación de que la mayoría de las personas fuera de la burbuja de la IA impondrían una moratoria si fuera su elección. No está claro si FLI ha tenido suficiente impulso esta vez, pero tal vez el próximo lanzamiento de un gran producto desencadene una oleada de presión. Con suficiente atención de los medios, la opinión pública en los EE. UU. y Europa podría impulsar a los políticos a imponer una moratoria, y la mayor parte de la acción en IA avanzada se está llevando a cabo en los EE. UU.

5. La recuperación de China no es un riesgo

Uno de los argumentos más comunes contra el llamado de moratoria de la FLI es que simplemente permitiría a China cerrar la brecha entre sus IA y las de EE. UU. De hecho, el Partido Comunista Chino tiene horror a que aparezcan en su territorio mentes poderosas que están fuera de su control. Tampoco le gusta que sus ciudadanos tengan herramientas que podrían difundir rápidamente lo que considera ideas inútiles. Por lo tanto, ya ha dado instrucciones a sus gigantes tecnológicos para que retrasen el desarrollo de modelos de lenguaje extenso, especialmente los orientados al consumidor.

6. ¿Pausar o parar?

La carta de FLI exige una pausa de al menos seis meses, y cuando se presiona, algunos defensores admiten que seis meses no serán suficientes para lograr una alineación o control permanente comprobable de la IA. Se podrían lograr cosas que valgan la pena, como un gran aumento en los recursos dedicados a la alineación de la IA y tal vez un consenso sobre cómo regular el desarrollo de la IA avanzada. Pero el resultado más probable de una pausa de seis meses es una pausa indefinida. Una pausa lo suficientemente larga para hacer un progreso real hacia una alineación comprobable permanente. Podría llevar años, o décadas, determinar si esto es posible.

7. ¿Se puede lograr la seguridad de la IA?

Soy reacio a admitirlo, pero soy escéptico sobre la viabilidad del proyecto de alineación de IA. Existe una dificultad fundamental con el intento de una entidad de controlar el comportamiento de otra entidad que es mucho más inteligente. Incluso si una superinteligencia no es consciente y no tiene agencia, tendrá metas y requerirá recursos para cumplir esas metas. Esto podría ponerlo en conflicto con nosotros, y si es, digamos, mil veces más inteligente que nosotros, entonces las posibilidades de que prevalezcamos son escasas.

Probablemente hay unos cientos de personas trabajando en el problema ahora, y la llamada a una pausa puede ayudar a aumentar este número sustancialmente. Eso es de agradecer: el ingenio humano puede lograr resultados sorprendentes.

8. Malos actores

En un mundo donde los gobiernos de EE. UU. y China estaban obligando a sus empresas y académicos a adherirse a una moratoria, aún sería posible que otros actores la burlaran. Es difícil imaginar al presidente Putin observándolo, por ejemplo, oa Kim Jong Un. Hay redes de crimen organizado con enormes recursos, y también hay multimillonarios. Probablemente, ninguna de estas personas u organizaciones podría cerrar la brecha entre la IA actual y la AGI en este momento, pero a medida que continúe la Ley de Moore (o algo similar), su trabajo será más fácil. Los investigadores de seguridad de IA hablan sobre el problema del «exceso», refiriéndose a un tiempo futuro cuando la cantidad de potencia de cómputo disponible en el mundo sea suficiente para crear AGI, y las técnicas estén disponibles, pero nadie se da cuenta por un tiempo. La idea de una superinteligencia haciendo su aparición en el mundo controlado por malos actores es aterradora.

9. Pérdida trágica de ventajas

DeepMind, uno de los principales laboratorios de inteligencia artificial, tiene una declaración de misión de dos pasos: el primer paso es resolver la inteligencia, es decir, crear una superinteligencia. El segundo paso es usar eso para resolver cualquier otro problema que tengamos, incluida la guerra, la pobreza e incluso la muerte. La inteligencia es el superpoder de la humanidad, incluso si la forma en que la desplegamos suele ser perversa. Si pudiéramos multiplicar en gran medida la inteligencia disponible para nosotros, quizás no haya límite para lo que podemos lograr. Renunciar a esto para mitigar un riesgo, por real y grave que sea ese riesgo, sería trágico si la mitigación resultara imposible de todos modos.

Optimismo y pesimismo

Nick Bostrom, otro líder de la comunidad de riesgo X, señala que tanto el optimismo como el pesimismo son formas de sesgo y, por lo tanto, estrictamente hablando, deben evitarse. Pero el optimismo es más divertido y más productivo que el pesimismo, y tanto David como yo somos optimistas. David cree que la seguridad de la IA puede lograrse, al menos hasta cierto punto. Me temo que no lo es, pero tengo la esperanza de que el Consentimiento sea el resultado más probable.