Manasi Vartak es fundador y CEO de vertaun proveedor de soluciones con sede en Palo Alto para la gestión operativa del ciclo de vida del modelo de inteligencia artificial y aprendizaje automático.
Sam Altman, director ejecutivo de OpenAI, la organización que dirige ChatGPT, causó un gran revuelo durante su reciente testimonio en el Congreso cuando pidió al gobierno que regulara la inteligencia artificial (IA). “Creemos que la intervención regulatoria de los gobiernos será fundamental para mitigar los riesgos de modelos cada vez más poderosos”, dijo Altman.
ChatGPT es un ejemplo de IA generativa, una tecnología que puede crear de forma autónoma contenido nuevo y original, como texto, imágenes o música, mediante el aprendizaje de patrones integrados en vastos conjuntos de datos de entrenamiento. La IA generativa se diferencia en varios aspectos de otras tecnologías actuales de aprendizaje automático.
Primero, los resultados de los modelos de IA generativa como GPT y Stable Diffusion son abiertos. Estos modelos generan datos de texto e imagen desde cero, mientras que otros modelos de ML discriminatorios de uso frecuente, como los modelos de clasificación o regresión, crean resultados que se encuentran dentro de un conjunto de valores bien definido (p. ej., Sí/No, un número entre 0 y 1). Entonces, mientras que un modelo de análisis de sentimiento producirá un sentimiento positivo o negativo basado en algún texto de entrada, GPT puede producir muchos tipos diferentes de texto de entrada.
Además, a diferencia de la mayoría de los modelos en uso hoy en día, la cosecha actual de modelos generativos de IA se ha entrenado en conjuntos de datos masivos. Por ejemplo, OpenAI entrenó a GPT-3 en medio billón de tokens. Las organizaciones detrás de las versiones más recientes de modelos de IA generativa como GPT-4, Stable Diffusion y Codex no han revelado los datos de entrenamiento exactos utilizados para entrenar los modelos. Eso ha generado preocupaciones sobre posibles violaciones de privacidad o infracción de derechos de autor que abordaremos a continuación.
El puro poder de estos modelos también los diferencia. Los modelos de IA generativa que llegan al mercado hoy en día son más poderosos que prácticamente cualquier modelo del pasado y están comenzando a demostrar «propiedades emergentes» que no fueron entrenados específicamente para replicar. Desde una perspectiva práctica, esto significa que los modelos destinados a una función pueden reutilizarse y usarse para otras tareas.
Finalmente, estos modelos son intrínsecamente opacos. Explicar los resultados de un modelo con 175 mil millones de parámetros, o entender cómo llegó a una decisión dada, es casi imposible. Al mismo tiempo, la tecnología aún se encuentra en su fase formativa, y los modelos actuales de IA generativa tienen limitaciones bien publicitadas, como «alucinaciones» (que generan información evidentemente falsa) que crean nuevos tipos de riesgo.
Seis riesgos de la IA generativa
Los atributos únicos de los modelos de IA generativa plantean una variedad de riesgos que no siempre vemos con otros tipos de modelos. Aquí hay seis riesgos que los líderes empresariales deben tener en cuenta al considerar proyectos de IA generativa.
Problemas de calidad de salida: En primer lugar, garantizar la calidad de los resultados generados por los modelos generativos de IA es un gran desafío debido a su naturaleza impredecible. Un resultado de un modelo GPT para marketing puede alinearse con las pautas de su marca, pero otro no. Un anuncio creado por el modelo puede ser adecuado en un contexto cultural pero ofensivo en otro. Si bien un ser humano podría discernir rápidamente tales distinciones, el modelo carece de conciencia de los matices culturales y puede producir contenido inapropiado sin darse cuenta. Como resultado, la revisión humana sigue siendo esencial para evaluar la calidad de los resultados.
«Hechos» inventados y alucinaciones: En segundo lugar, los modelos de IA generativa, si bien mejoran rápidamente, todavía tienen limitaciones notables, siendo la principal quizás las «alucinaciones» a las que se hace referencia anteriormente cuando un modelo inventa «hechos». Los resultados pueden variar desde inofensivos (informar erróneamente quién inventó la desmotadora de algodón) hasta posiblemente procesables legalmente (inventar acusaciones penales). En las aplicaciones empresariales, la posibilidad de que un modelo pueda alucinar significa que las herramientas requieren medidas de protección significativas antes de que puedan usarse en casos donde la información precisa es esencial, como la búsqueda.
Derechos de autor y otros riesgos legales: En tercer lugar, la IA generativa presenta riesgos legales y regulatorios potencialmente significativos, como lo demuestran los casos en los que las herramientas de IA generativa han incorporado material protegido por derechos de autor sin el permiso de los creadores. Además, los términos de uso de las aplicaciones de IA generativa a menudo carecen de claridad sobre el uso de los datos de interacción del usuario para la mejora del modelo, lo que puede generar problemas de privacidad y seguridad, como se ve en los incidentes relacionados con el código fuente corporativo. Además, la falta de transparencia con respecto a los datos de entrenamiento en modelos generativos de IA puede tener implicaciones regulatorias, como lo demuestra la prohibición temporal de ChatGPT en Italia por preocupaciones sobre el consentimiento, la privacidad, la precisión de salida y la verificación de edad.
Salidas sesgadas: En cuarto lugar, los modelos de IA generativa son vulnerables al mismo riesgo de resultados sesgados que otros modelos, en función de los sesgos integrados en los datos utilizados para entrenar los modelos. Por ejemplo, Stable Diffusion podría tomar un aviso para mostrar imágenes de «directores ejecutivos corporativos» y producir imágenes únicamente de hombres blancos. Los modelos tradicionales de aprendizaje automático también conllevan estos mismos riesgos de equidad y sesgo, pero la naturaleza generativa de los nuevos modelos de IA aumenta los riesgos cuando la IA generativa interactúa directamente con los clientes.
Vulnerabilidad al abuso: En quinto lugar, el poder absoluto de la IA generativa la hace vulnerable al «jailbreak». Aunque el entrenamiento de GPT se centró principalmente en la predicción de palabras, su capacidad de razonar surgió como un resultado no deseado. A medida que avanzamos en los modelos generativos de IA, los usuarios pueden descubrir métodos para eludir la funcionalidad prevista original del modelo y utilizarlo para objetivos completamente diferentes. Por ejemplo, si su chatbot de salud mental se desarrolla con GPT, las personas malintencionadas podrían potencialmente hacer jailbreak al chatbot para obtener respuestas inapropiadas o exponer datos confidenciales. Casi todas las interfaces de chat basadas en GPT han sido susceptibles de jailbreak poco después de su lanzamiento.
Costo de experiencia y computación: En sexto y último lugar, un riesgo comercial tangible adicional asociado con el desarrollo de aplicaciones en IA generativa es la disponibilidad limitada de experiencia y recursos computacionales. En la actualidad, solo un pequeño número de empresas de tecnología destacadas pueden reunir los recursos para crear aplicaciones resilientes utilizando esta tecnología. Si bien los proveedores de la nube pueden proporcionar potencia de cómputo, o una organización puede usar las API de OpenAI o Azure, el conocimiento especializado en este campo permanece concentrado entre unas pocas entidades.
Nada de esto quiere decir que los líderes empresariales no deberían seguir adelante con proyectos de IA generativa. Pero deben avanzar en su viaje generativo de IA con los ojos bien abiertos a los riesgos potenciales de la tecnología y tomar medidas para mitigar esos riesgos cuando sea necesario.
El Consejo de Tecnología de Forbes es una comunidad a la que solo se puede acceder por invitación para CIO, CTO y ejecutivos de tecnología de clase mundial. ¿Califico?
