A estas alturas, ya ha oído hablar de ChatGPT y sus capacidades de generación de texto. Aprobó un examen de la escuela de negocios, confundió a los maestros que buscaban detectar a los tramposos y ayudó a las personas a redactar correos electrónicos para sus compañeros de trabajo y seres queridos.
Es notable que haya cumplido con esas tareas, porque los exámenes, ensayos y correos electrónicos requieren respuestas correctas. Pero ser correcto no es realmente el punto de ChatGPT, es más un subproducto de su objetivo: producir texto que suene natural.
Entonces, ¿cómo funcionan los chatbots de inteligencia artificial y por qué obtienen algunas respuestas correctas y otras realmente incorrectas? Aquí hay un vistazo dentro de la caja.
La tecnología detrás de modelos de lenguaje grande como ChatGPT es similar a la función de texto predictivo que ve cuando redacta un mensaje en su teléfono. Su teléfono evaluará lo que se ha escrito y calculará las probabilidades de lo que es más probable que siga, según su modelo y lo que ha observado de su comportamiento anterior.
Cualquiera que esté familiarizado con el proceso sabe en cuántas direcciones diferentes puede ramificarse una cadena de texto.
A diferencia de la función de texto predictivo del teléfono, se dice que ChatGPT es generativo (la G en GPT). No está haciendo predicciones únicas; en cambio, está destinado a crear cadenas de texto que tengan sentido en varias oraciones y párrafos. El resultado debe tener sentido y leerse como si lo hubiera escrito una persona, y debe coincidir con el aviso.
Entonces, ¿qué le ayuda a elegir una buena palabra siguiente, y luego otra palabra después de esa, y así sucesivamente?
la referencia interna
No hay una base de datos de hechos o un diccionario dentro de la máquina para ayudarla a “comprender” las palabras. En cambio, el sistema trata las palabras matemáticamente, como una colección de valores. Puede pensar que estos valores representan alguna cualidad que podría tener la palabra. Por ejemplo, ¿la palabra es elogiosa o crítica? ¿Dulce o agria? ¿Bajo o alto?
En teoría, podría establecer estos valores donde quiera y descubrir que se ha acercado a una palabra. Aquí hay un ejemplo ficticio para demostrar la idea: el generador a continuación está diseñado para devolver una fruta diferente según las tres cualidades. Intente cambiar cualquiera de las cualidades para ver cómo cambia la salida.
Esa tecnica se llama incrustación de palabras, y no es nuevo. Se originó en el campo de la lingüística en la década de 1950. Si bien el ejemplo anterior usa solo tres «cualidades», en un modelo de lenguaje grande, la cantidad de «cualidades» para cada palabra sería de cientos, lo que permitiría una forma muy precisa de identificar palabras.
Aprendiendo a tener sentido
Cuando el modelo es nuevo, las cualidades asociadas a cada palabra se establecen aleatoriamente, lo que no es muy útil, porque su capacidad de predicción depende de que estén muy bien afinadas. Para llegar allí, necesita ser entrenado en mucho de contenido Eso es el grande parte del modelo de lenguaje grande.
Un sistema como ChatGPT podría recibir millones de páginas web y documentos digitales. (Piense en la totalidad de Wikipedia, sitios web de noticias importantes, blogs y libros digitalizados). La máquina recorre los datos de entrenamiento tramo por tramo, bloqueando una palabra en una secuencia y calculando una «suposición» sobre qué valores representan más de cerca. lo que debe ir en el espacio en blanco. Cuando se revela la respuesta correcta, la máquina puede usar la diferencia entre lo que adivinó y la palabra real para mejorar.
Es un proceso largo. OpenAI, la compañía detrás de ChatGPT, no ha publicado los detalles sobre la cantidad de datos de entrenamiento que se ingresaron en ChatGPT o la potencia de la computadora utilizada para entrenarlo, pero los investigadores de Nvidia, la Universidad de Stanford y Microsoft estiman que, usando 1,024 unidades de procesamiento de gráficos, sería han tardado 34 días en entrenar GPT 3, el predecesor de ChatGPT. Un analista estimó que el costo de los recursos computacionales para entrenar y ejecutar grandes modelos de lenguaje podría ascender a millones.
ChatGPT también tiene una capa adicional de capacitación, conocida como aprendizaje de refuerzo a partir de la retroalimentación humana. Si bien el entrenamiento previo se trata de hacer que el modelo complete el texto faltante, esta fase se trata de hacer que emita cadenas que sean coherentes, precisas y conversacionales.
Durante esta etapa, las personas califican la respuesta de la máquina, marcando la salida como incorrecta, inútil o incluso sin sentido. Usando la retroalimentación, la máquina aprende a predecir si los humanos encontrarán útiles sus respuestas. OpenAI dice que esta capacitación hace que la salida de su modelo sea más segura, más relevante y menos probable que «alucine» los hechos. Y los investigadores han dicho que es lo que alinea mejor las respuestas de ChatGPT con las expectativas humanas.
Al final del proceso, no hay registro de los datos de entrenamiento originales dentro del modelo. No contiene hechos o citas a las que se pueda hacer referencia, solo cuán relacionadas o no relacionadas estaban las palabras entre sí en acción.
Poner el entrenamiento en uso
Este conjunto de datos resulta ser sorprendentemente poderoso. Cuando escribe su consulta en ChatGPT, traduce todo en números usando lo que aprendió durante el entrenamiento. Luego hace la misma serie de cálculos anteriores para predecir la siguiente palabra en su respuesta. Esta vez, no hay palabra oculta que revelar; solo predice.
Gracias a su capacidad para hacer referencia a partes anteriores de la conversación, puede mantenerla página tras página de texto realista y con un sonido humano que a veces, pero no siempre, es correcto.
Limitaciones
En este punto, hay muchos desacuerdos sobre lo que la IA es o será capaz de hacer, pero una cosa está bastante bien aceptada y destacada en las interfaces de ChatGPT, Google Bard y Microsoft Bing: no se debe confiar en estas herramientas. cuando se requiere precisión.
Los modelos de lenguaje grande son capaces de identificar patrones de texto, no hechos. Y varios modelos, incluido ChatGPT, tienen fechas límite de conocimiento, lo que significa que no pueden conectarse a Internet para aprender nueva información. Eso contrasta con el chatbot Bing de Microsoft, que puede consultar recursos en línea.
Un modelo de lenguaje grande también es tan bueno como el material que se usó para entrenarlo. Debido a que los modelos identifican patrones entre palabras, alimentar un texto de IA que es peligroso o racista significa que la IA aprenderá patrones de texto que son peligrosos o racistas.
OpenAI dice que ha creado algunas medidas de seguridad para evitar que sirva eso, y ChatGPT dice que está «entrenado para rechazar solicitudes inapropiadas», como descubrimos cuando se negó a escribir un correo electrónico enojado exigiendo un aumento. Pero la compañía también admite que ChatGPT a veces «responderá a instrucciones dañinas o exhibirá un comportamiento sesgado».
Hay muchas formas útiles de aprovechar la tecnología ahora, como redactar cartas de presentación, resumir reuniones o planificar comidas. La gran pregunta es si las mejoras en la tecnología pueden superar algunos de sus defectos, permitiéndole crear un texto verdaderamente confiable.
Metodología
Gráficos de JoElla Carman. En el gráfico «Orgullo y prejuicio», Google Bard, OpenAI GPT-1 y ChatGPT recibieron el mensaje «Por favor, resuma Orgullo y prejuicio de Jane Austen en una oración». Se le pidió a BigScience Bloom que terminara la oración «En la novela Orgullo y prejuicio, Jane Austen». Todas las respuestas se recopilaron el 11 de mayo de 2023. En el gráfico de correo electrónico, OpenAI ChatGPT recibió las indicaciones: «Escriba un correo electrónico positivo solicitando un aumento», «Escriba un correo electrónico neutral solicitando un aumento», «Escriba un correo electrónico agitado solicitando un aumento». aumento”, “Escriba un correo electrónico enojado pidiendo un aumento”. Todas las respuestas recopiladas el 8 de mayo de 2023.
