¿Debería OpenAI soltar la correa a GPT-4?

En unos pocos meses, ChatGPT ha convencido a mucha gente, especialmente a los más cercanos, de que estamos en el punto de inflexión del salto tecnológico más importante que la humanidad haya dado jamás. El fuego, la rueda, la ciencia, el dinero, la electricidad, el transistor, Internet: cada uno de estos hizo que la humanidad fuera mucho más poderosa. Pero la IA es diferente; busca crear máquinas que, en cierto sentido, sean nuestros iguales y eventualmente se conviertan en nuestros superiores.

OpenAI me parece una organización increíble de personas increíblemente inteligentes, altamente efectivas y, creo, genuinamente bien intencionadas. Desde la forma semicapitalista en que está estructurado el negocio, hasta la forma notablemente abierta en la que trata sus creaciones, esta empresa parece estar tratando de hacer un gran servicio público al mundo y limitar no solo su propio potencial de destrucción social inimaginable, sino el potencial de las muchas otras IA que están en desarrollo.

Es por eso que ChatGPT existe: es OpenAI diciéndole al mundo «oye, humanidad, esta es una versión rota, chiflada y para niños pequeños de lo que se avecina. Necesitas mirarlo de cerca y trabajar con él. Necesitas entender qué es esto, lo increíble cosas que puede hacer, y los riesgos masivos que conlleva, incluido un riesgo existencial para la humanidad misma. Debe avanzar en esto de inmediato y tener voz sobre a dónde irá a continuación, porque no estará roto, niño pequeño por mucho tiempo. Pronto funcionará muy, muy bien. Pronto será indispensable. Y pronto podría volverse incontrolable.’

Es un enfoque radicalmente diferente, radicalmente abierto y radicalmente cauteloso de lo que cabría esperar del mundo de la tecnología. Si alguien debería estar a la vanguardia de tecnologías como estas, deberían ser personas que realmente entiendan el peso de la responsabilidad que recae sobre sus hombros. Escuchar ayer la entrevista de dos horas y media del CEO de OpenAI, Sam Altman, con el presentador del podcast Lex Fridman, quien está muy involucrado en el campo de la IA, me hizo sentir agradecido de que OpenAI esté en el extremo puntiagudo de esta espada. También me hizo preguntarme si realmente hay algún ser humano que iguale la responsabilidad que ahora lleva Altman.

Ya sea que adopte una visión utópica o distópica de la IA, esta entrevista documenta un punto increíble en la historia, ya que Altman lucha con los beneficios potencialmente transformadores, así como con las consecuencias potencialmente existenciales, del trabajo de su vida. La mayoría de las personas están al menos un poco asustadas por lo que está sucediendo en este momento, y Altman también lo está.

Fundamentalmente, los humanos no pueden construir IA tan avanzadas. Nadie podría sentarse y codificarte un ChatGPT; como el propio cerebro humano, los modelos de lenguaje son demasiado misteriosos y complejos. Lo que OpenAI y otros han hecho en su lugar es crear los sistemas y las circunstancias bajo las cuales GPT se ha construido a sí mismo de manera efectiva.

Esta increíble pieza de alquimia no ha creado una conciencia similar a la humana. Ha creado una inteligencia de un tipo completamente ajeno a nosotros: nadie puede decir realmente cómo es ser GPT, o cómo genera exactamente una respuesta a una entrada determinada. Nadie entiende realmente cómo funciona. Pero ha sido entrenado y alimentado con tanta escritura y expresión humana que ha aprendido a imitar la conciencia y a traducir mensajes entre humanos y máquinas y viceversa de la manera más fluida y hermosa jamás mostrada.

GPT no es como nosotros, pero es de nosotros. Ha leído más escritos de la humanidad que cualquier ser humano, en órdenes de magnitud. Todos sus comportamientos, buenos y malos, sostienen un espejo del alma humana. Somos capaces de hacer un bien inmenso y un mal verdadero, y aunque las definiciones de estos términos varían mucho en las diferentes culturas, un modelo GPT recién entrenado aplicará felizmente todo el peso de su poder a cualquier solicitud sin juzgar, o responderá preguntas sobre su propia sensibilidad de la misma manera que lo haría un humano. Es por eso que OpenAI pasó ocho meses intentando domesticar, enjaular y encadenar a GPT-4 antes de que el público lo dejara ver y pinchar.

Es posible que el Dr. Frankenstein se haya preguntado si encender o no su creación, pero Altman no tiene ese lujo. Sabe que OpenAI es solo una de las muchas empresas que trabajan para lograr una IA avanzada a través de modelos de lenguaje. La mayoría todavía trabaja a puerta cerrada, cada uno está ideando su propio enfoque de ética y seguridad, pero todos saben que hay billones de dólares sobre la mesa y que cada minuto que dedican a la ética y la seguridad es un minuto que no están recoger ese botín.

Si el mundo quiere orientarse hacia la visión utópica, los gobiernos y el sector privado deben adaptarse a esta nueva tecnología más rápido de lo que nunca se han adaptado a nada antes. Incluso si lo hacen, Stanford ya ha demostrado que los malos actores pueden ir y construir una copia rudimentaria de ChatGPT por cien dólares; Pronto habrá miles de estas cosas, cada una cargada con una gran parte del conocimiento de la humanidad y la capacidad de comunicarse a niveles extraordinarios, y cada una imbuida de la ética, la moral y los estándares de seguridad de su propietario.

Además de eso, incluso si el mundo en su conjunto pudiera ponerse de acuerdo sobre los límites para las IA mañana, no hay garantía de que podamos controlarlas una vez que avancen hasta cierto punto. En el mundo de la IA, esto se conoce como «alineación», como asegurarse de alguna manera de que los intereses de la IA estén alineados con los nuestros. No está exactamente claro cómo podemos hacer eso una vez que estas cosas alcanzan un cierto nivel.

De hecho, la opinión del pesimista extremo es que una Inteligencia General Artificial superior, o AGI, nos matará a todos, con casi un 100% de certeza. Como dijo Eliezer Yudkowsky, investigador de teoría de decisiones e inteligencia artificial: «La gran pregunta de la alineación AGI, el desafío básico que digo es demasiado difícil, es obtener mediante cualquier estrategia una posibilidad significativa de que haya sobrevivientes».

«Quiero ser muy claro», le dijo Altman a Fridman en la entrevista de ayer, «no creo que hayamos descubierto aún una forma de alinear un sistema superpotente. Tenemos algo que funciona para nuestra escala actual, llamado RLHF (Reinforcement Learning from retroalimentación humana)».

Entonces, sabiendo lo que está en juego, aquí hay algunas citas selectas de Altman, extraídas de la excelente entrevista de Lex, que deberían darle una idea del momento que estamos viviendo.

Sobre si GPT representa una Inteligencia General Artificial:

Alguien me dijo durante el fin de semana: «Enviaste un AGI y de alguna manera, como si estuviera haciendo mi vida diaria. Y no estoy tan impresionado». Y obviamente no creo que hayamos enviado un AGI. Pero entiendo el punto. Y el mundo continúa.

Si estuviera leyendo un libro de ciencia ficción, y hubiera un personaje que fuera un AGI, y ese personaje fuera GPT-4, diría, bueno, este es un libro de mierda. Eso no es muy bueno. Hubiera esperado que lo hubiéramos hecho mejor.

Creo que GPT-4, aunque bastante impresionante, definitivamente no es un AGI; aún así, ¿no es notable que estemos teniendo este debate? Pero creo que estamos entrando en la fase en la que las definiciones específicas de AGI realmente importan.

Alguien más me dijo esta mañana, y yo estaba como, oh, esto podría ser correcto, este es el objeto de software más complejo que la humanidad ha producido hasta ahora. Y será trivial en un par de décadas, ¿no? Será como si cualquiera pudiera hacerlo, lo que sea.

Sobre la construcción de GPT en público:

Estamos construyendo en público y sacando tecnología porque creemos que es importante que el mundo tenga acceso a esto pronto. Para dar forma a la forma en que se va a desarrollar, para ayudarnos a encontrar las cosas buenas y las cosas malas. Y cada vez que sacamos un nuevo modelo, la inteligencia colectiva y la capacidad del mundo exterior nos ayudan a descubrir cosas que no podemos imaginar, que nunca podríamos haber hecho internamente. Tanto las grandes cosas que el modelo puede hacer como las nuevas capacidades y las debilidades reales que tenemos que corregir.

Entonces, este proceso iterativo de sacar las cosas, encontrar las mejores partes, las partes malas, mejorarlas rápidamente y darles a las personas tiempo para sentir la tecnología y darle forma con nosotros y brindar retroalimentación, creemos que es realmente importante. La compensación de construir en público es que sacamos cosas que van a ser profundamente imperfectas. Queremos cometer nuestros errores mientras haya poco en juego, queremos hacerlo cada vez mejor en cada repetición.

No puedo enfatizar lo suficiente cuánto la inteligencia colectiva y la creatividad del mundo vencerán a OpenAI y a todos los miembros del equipo rojo que podamos contratar. Así que lo apagamos. Pero lo publicamos de manera que podamos hacer cambios.

Sobre si la herramienta se está utilizando actualmente para bien o para mal:

Yo no, ni nadie más en OpenAI, me siento ahí leyendo todos los mensajes de ChatGPT. Pero por lo que escucho, al menos la gente con la que hablo, y por lo que veo en Twitter, definitivamente somos buenos en su mayoría. Pero no todos somos todo el tiempo. Realmente queremos empujar los bordes de estos sistemas. Y, ya sabes, realmente queremos probar algunas teorías más oscuras del mundo.

Habrá daño causado por esta herramienta. Habrá daño, y habrá tremendos beneficios. Las herramientas hacen un bien maravilloso y un mal real. Y minimizaremos lo malo y maximizaremos lo bueno.

Sobre si OpenAI debería lanzar el modelo base de GPT-4 sin restricciones de seguridad y ética:

Ya sabes, hemos hablado de sacar el modelo base al menos para los investigadores o algo así, pero no es muy fácil de usar. Todo el mundo dice, dame el modelo base. Y de nuevo, podríamos hacer eso. Creo que lo que la mayoría de la gente quiere es un modelo que se haya adaptado a la cosmovisión a la que se suscribe. Realmente se trata de regular el habla de otras personas. Como en los debates sobre lo que apareció en el feed de Facebook, no he escuchado a mucha gente hablar de eso. Todos dicen, bueno, no importa lo que haya en mi feed, porque no me radicalizaré, puedo manejar cualquier cosa. Pero realmente me preocupa lo que te muestra Facebook .

Sobre cómo diablos la humanidad en su conjunto debería lidiar con este desafío:

Digamos que el ideal platónico, y podemos ver lo cerca que nos acercamos, es que cada persona en la Tierra se reúna, tenga una conversación deliberada y realmente reflexiva sobre dónde queremos trazar los límites de este sistema. Y tendríamos algo como la convención constitucional de EE. UU., donde debatimos los temas, miramos las cosas desde diferentes perspectivas y decimos, bueno, esto sería bueno en el vacío, pero necesita un control aquí… Y luego nosotros estar de acuerdo, como, aquí están las reglas generales del sistema.

Y fue un proceso democrático, ninguno de nosotros obtuvo exactamente lo que quería, pero obtuvimos algo con lo que nos sentimos lo suficientemente bien. Y luego nosotros y otros constructores construimos un sistema que tiene eso incorporado. Dentro de eso, diferentes países, diferentes instituciones, pueden tener diferentes versiones. Entonces, hay diferentes reglas sobre, digamos, la libertad de expresión en diferentes países. Y luego diferentes usuarios quieren cosas muy diferentes. Y eso se puede hacer dentro de los límites de lo que es posible en su país. Así que estamos tratando de averiguar cómo facilitar eso. Obviamente, ese proceso no es práctico, como se dijo, pero ¿qué es algo parecido a eso, a lo que podamos llegar?

Tenemos la responsabilidad si somos nosotros los que apagamos el sistema. Y si se rompe, somos nosotros los que tenemos que arreglarlo, o ser responsables de ello. Pero sabemos más sobre lo que viene. Y sobre dónde las cosas son más difíciles o más fáciles de hacer que otras personas. Así que tenemos que estar muy involucrados, tenemos que ser responsables, en algún sentido, pero no puede ser solo nuestra aportación.

Creo que una de las muchas lecciones que se pueden sacar del colapso del Silicon Valley Bank es cuán rápido y cuánto cambia el mundo, y cuán poco lo entienden nuestros expertos, líderes, líderes empresariales, reguladores, lo que sea. La velocidad con la que ocurrió la quiebra de SVP, debido a Twitter, debido a las aplicaciones de banca móvil, lo que sea, fue muy diferente al colapso de 2008, donde realmente no teníamos esas cosas. Y no creo que las personas en el poder se den cuenta de cuánto ha cambiado el campo. Y creo que es un adelanto muy pequeño de los cambios que traerá AGI.

Estoy nervioso por la velocidad con la que esto cambia y la velocidad con la que nuestras instituciones pueden adaptarse. Lo cual es parte de por qué queremos comenzar a implementar estos sistemas muy temprano, mientras son realmente débiles, para que las personas tengan el mayor tiempo posible para hacer esto.

Creo que es realmente aterrador querer, no tener nada, nada, nada y luego dejar caer un AGI súper poderoso de una sola vez en el mundo. No creo que la gente deba querer que eso suceda. Pero lo que me da esperanza es que creo que cuanto menos suma cero y más suma positiva obtenga el mundo, mejor. Y el lado positivo de la visión aquí, ¿cuánto mejor puede ser la vida? Creo que eso nos unirá a muchos de nosotros. E incluso si no es así, solo hará que todo se sienta más positivo.

Sobre la posibilidad de que las IA superpoderosas decidan matarnos a todos:

Entonces, antes que nada, diré que creo que hay alguna posibilidad de eso. Y es muy importante reconocerlo. Porque si no hablamos de ello, si no lo tratamos como potencialmente real, no pondremos suficiente esfuerzo en resolverlo. Y creo que tenemos que descubrir nuevas técnicas para poder resolverlo.

Creo que muchas de las predicciones, esto es cierto para cualquier campo nuevo. Pero muchas de las predicciones sobre la IA en términos de capacidades, en términos de cuáles serán los desafíos de seguridad y las partes fáciles, resultaron ser incorrectas. La única forma en que sé cómo resolver un problema como este es iterando, aprendiendo temprano y limitando la cantidad de «escenarios de una sola oportunidad para hacerlo bien» que tenemos.

Creo que tiene que ser este circuito de retroalimentación muy estrecho. Creo que la teoría juega un papel real, por supuesto, pero continuamos aprendiendo lo que aprendemos de cómo va la trayectoria de la tecnología. Es bastante importante, creo que ahora es un muy buen momento. Y estamos tratando de descubrir cómo hacer esto para aumentar significativamente el trabajo de alineación técnica. Creo que tenemos nuevas herramientas, no tenemos entendimiento. Y hay mucho trabajo que es importante hacer. que podemos hacer ahora.

Sobre si tiene miedo:

Creo que es extraño cuando la gente piensa que es como una gran volcada que digo que tengo un poco de miedo. Y creo que sería una locura no tener un poco de miedo. Y empatizo con la gente que tiene mucho miedo.

Las preocupaciones actuales que tengo son que van a ser problemas de desinformación o crisis económicas, o algo más, pero a un nivel mucho más allá de lo que estamos preparados. Y eso no requiere una súper inteligencia, eso no requiere un problema de alineación súper profundo en la máquina que se despierta y trata de engañarnos. Y no creo que reciba suficiente atención. Está empezando a ser más, supongo.

Por ejemplo, ¿cómo sabríamos si en Twitter tuviéramos principalmente modelos de lenguaje que dirigen lo que sea que fluya a través de esa mente colmena? Y como en Twitter, así en cualquier otro lugar, eventualmente. Mi declaración es que no lo haríamos, y eso es un peligro real.

Sobre cuáles podrían ser las soluciones:

Creo que hay muchas cosas que puedes probar. Pero en este punto, es una certeza: pronto habrá muchos LLM de código abierto capaces con muy pocos o ninguno, sin controles de seguridad. Y para que pueda probar con enfoques regulatorios, puede intentar usar IA más potentes para detectar que suceden estas cosas. Me gustaría que empezáramos a probar muchas cosas muy pronto.

No podemos controlar lo que otras personas van a hacer. Podemos tratar de construir algo y hablar sobre ello e influir en otros, y proporcionar valor y, ya sabes, buenos sistemas para el mundo. Pero van a hacer lo que van a hacer. Creo que en este momento, hay un movimiento extremadamente rápido y no muy deliberado dentro de algunas de estas empresas. Pero ya, creo, a medida que ven la tasa de progreso, la gente ya está lidiando con lo que está en juego aquí. Y creo que los mejores ángeles van a ganar.

Los incentivos del capitalismo para crear y capturar valor ilimitado, me asustan un poco. Pero de nuevo, no, creo que nadie quiere destruir el mundo. Nadie se despierta diciendo: «Hoy quiero destruir el mundo». Así que tenemos el problema de Moloch. Por otro lado, tenemos personas que son muy conscientes de eso. Y creo que hay muchas conversaciones saludables sobre cómo podemos colaborar para minimizar algunos de estos inconvenientes tan aterradores.

Creo que desea que las decisiones sobre esta tecnología y, ciertamente, las decisiones sobre quién ejecuta esta tecnología se vuelvan cada vez más democráticas con el tiempo. No hemos descubierto muy bien cómo hacer esto. Pero parte de la razón para desplegarse de esta manera es lograr que el mundo tenga tiempo para adaptarse, reflexionar y pensar sobre esto, aprobar regulaciones, para que las instituciones propongan nuevas normas para eso, personas trabajando juntas. Esa es una gran parte de por qué implementamos. Aunque muchas de las personas de seguridad de la IA piensan que es realmente malo, incluso ellos reconocen que esto es de algún beneficio.

Sobre si OpenAI está siendo lo suficientemente abierto sobre GPT:

Está cerrado en cierto sentido, pero le damos más acceso que, como… Si este hubiera sido solo el juego de Google, creo que es muy poco probable que alguien hubiera sacado esta API. Hay riesgo de relaciones públicas con eso. Recibo amenazas personales por eso todo el tiempo. Creo que la mayoría de las empresas no habrían hecho esto. Así que tal vez no fuimos tan abiertos como la gente quería. Pero como, lo hemos distribuido bastante ampliamente.

Creo que habrá muchos AGI en el mundo. Así que no nos tiene que gustar competir con todos. Vamos a contribuir con uno, y otras personas van a contribuir con algunos, creo que múltiples AGI en el mundo con algunas diferencias en cómo se construyen, qué hacen y en qué se enfocan, creo que eso es bueno. Tenemos una estructura muy inusual. Así que no tenemos este incentivo para capturar valor ilimitado. Me preocupa la gente que lo hace, pero ya sabes, con suerte, todo saldrá bien.

Creo que la gente de OpenAI siente el peso de la responsabilidad de lo que estamos haciendo. Sería bueno si, ya sabes, los periodistas fueran más amables con nosotros y los trolls de Twitter nos dieran más beneficio de la duda. Pero creo que tenemos mucha determinación en lo que estamos haciendo y por qué, y la importancia de ello. Pero realmente me encantaría, y le pregunto esto a mucha gente, no solo si las cámaras están grabando, cualquier comentario que tenga sobre cómo podemos hacerlo mejor. Estamos en aguas desconocidas aquí. Hablando con personas inteligentes es cómo averiguamos qué hacer mejor.

¿Cómo crees que lo estamos haciendo? Sinceramente, ¿cómo crees que lo estamos haciendo hasta ahora? ¿Crees que estamos mejorando o empeorando las cosas? Qué podemos hacer mejor? ¿Crees que deberíamos abrir GPT-4 de código abierto?

En conclusión

Si bien ninguna cita única lo deja muy claro, esto es lo que creo que sugiere Altman: GPT-4 es lo suficientemente capaz e impresionante como para que, si se libera sin protocolos de seguridad y se le da rienda suelta para hacer lo que se le diga, es probable que resulte en algo realmente impactante. consecuencias. Suficiente para detener el mundo en seco y estimular una acción rápida y generalizada, pero dado que esta tecnología aún es embrionaria y cruda en comparación con lo que viene, probablemente aún no sea lo suficientemente poderosa como para acabar con la civilización.

Creo, y puedo estar equivocado, que Altman está preguntando si su compañía tiene la responsabilidad de dejar que GPT-4 salga de la cadena en este momento como una demostración de su poder conmocionado y asombrado, un momento de Hiroshima/Nagasaki que el mundo simplemente no puede ignorar y seguir con su negocio. OpenAI no puede controlar cómo alguien más está construyendo sus IA, pero tal vez al permitir, o incluso alentar, un poco de caos y destrucción, la compañía podría obligar al mundo a tomar medidas antes de que se lancen GPT posteriores y otras IA que realmente tienen el poder de acabar con nosotros.

Si eso es lo que está pidiendo, primero que nada: buen dolor. Tal decisión podría ponerlo a la altura de algunos de los supervillanos mejor intencionados de toda la ficción, o realmente podría darle al mundo una sacudida temprana muy necesaria, o podría resultar un gesto lamentablemente inadecuado hecho demasiado tarde. O diablos, podría ser contraproducente como un gesto al no hacer nada tan malo y, al hacerlo, podría adormecer a las personas con una falsa sensación de seguridad.

Dos horas y media es un tiempo decente fuera del horario de cualquier persona, pero dada la naturaleza de lo que se está discutiendo aquí, le recomiendo de todo corazón que se tome el tiempo de ver la entrevista de Lex para tener una idea de quién es Altman y qué es. luchando con Es complicado.

Y tanto a Altman como a mí nos encantaría saber cuáles son sus pensamientos en la sección de comentarios.