El jueves, Mozilla intentó explicar su decisión de deshabilitar, al menos temporalmente, el botón AI Explain, propenso a errores, implementado la semana pasada en el sitio web de documentación de MDN.
Steve Teixeira, director de producto de Mozilla, emitió un comunicado en el que resumía el entusiasmo del fabricante de Firefox por la posibilidad de utilizar la IA generativa para «crear nuevo valor para las personas» mientras se implementa la tecnología de manera responsable.
Teixeira dijo que MDN agregó la semana pasada dos servicios de IA a su documentación para desarrolladores web, AI Help y AI Explain.
AI Help, en versión beta, permite a los usuarios de MDN registrados plantear preguntas en una interfaz de conversación y recibir respuestas de un chatbot OpenAI GPT-3.5. Esencialmente le permite consultar la documentación en lenguaje natural.
AI Explain, descrito como experimental, permite que los mismos usuarios de MDN consulten al bot sobre ejemplos de código en la página de documentación. Si tiene alguna pregunta sobre el código de muestra en los documentos, puede tocar el botón Explicación de AI y el bot lo amplía con más detalles, como lo hace incorrectamente a continuación.
Vaya… AI Explique erróneamente que el código resaltado definirá una cuadrícula de dos filas y dos columnas, mientras que el CSS en realidad solo define dos filas. Fuente: Mozilla
Según Teixeira, ambos servicios produjeron «una amplia gama de comentarios de los lectores, desde el deleite hasta las críticas constructivas y las preocupaciones sobre la precisión técnica de las respuestas».
Para AI Help, hubo 129 «me gusta» y 41 «no me gusta», lo que representa un 75,88 por ciento de comentarios positivos y un 24,12 por ciento de comentarios negativos.
Para AI Explain, hubo 1017 «me gusta» y 459 «no me gusta», lo que representa un 68,90 % de comentarios positivos y un 31,10 % de comentarios negativos.
Sin embargo, como han señalado los desarrolladores, estas estadísticas no son muy útiles: ¿cuántos «me gusta» significan que está bien que «uno de los recursos más confiables para obtener información sobre estándares web» proporcione respuestas incorrectas?
A juzgar por el informe de errores de problemas de GitHub sobre la explicación de AI respondiendo preguntas técnicas incorrectamente, pocos de los 114 comentarios publicados antes de que el hilo se bloqueara como la idea de un chatbot errante.
Teixeira dijo que para AI Help, la mayoría de los que respondieron consideraron útiles las respuestas de AI. «En el caso de AI Explain, el patrón de comentarios que recibimos fue similar, pero los lectores también señalaron un puñado de casos concretos en los que se brindó una respuesta incorrecta», dijo.
«Esta retroalimentación es de gran ayuda, y el equipo de MDN ahora está investigando estos informes de errores. Elegimos ser cautelosos en nuestro enfoque y eliminamos temporalmente la herramienta Explicación de IA de MDN hasta que hayamos completado nuestra investigación y tengamos informes de alta calidad. remediaciones en el lugar para los problemas que se han observado».
Mozilla, sin embargo, planea continuar trabajando en formas de implementar IA generativa. Teixeira dijo que el equipo de MDN tiene como objetivo identificar cuándo sus servicios de ayuda algorítmica brindan información incorrecta y mejorar las respuestas. El esfuerzo de remediación también incluirá mejores opciones para marcar y reportar respuestas incorrectas.
Teixeira prometió un informe post mórtem en los próximos días que cubra el lanzamiento de AI Help y AI Explain y la decisión de suspender parte del servicio.
También reconoció las diferencias de opinión sobre cómo encaja la IA generativa en una fuente de documentación creada por humanos e indicó que los comentarios de la comunidad seguirán adaptando la forma en que MDN incorpora herramientas algorítmicas.
«Vemos un camino a seguir que preserva la bondad creada por humanos y al mismo tiempo proporciona herramientas que ofrecen un valor adicional sobre ese increíble cuerpo de contenido», dijo.
Vemos un camino a seguir que preserva la bondad creada por humanos al mismo tiempo que proporciona herramientas que ofrecen valor adicional.
«Necesitamos sus comentarios, críticas, felicitaciones y experiencia para asegurarnos de que estamos empleando la IA de la manera más útil y responsable. Sus comentarios son fundamentales para este proceso, y continuaremos tomando los comentarios y ajustando nuestros planes en respuesta a La tecnología LLM sigue siendo relativamente inmadura, por lo que seguramente habrá obstáculos en el camino».
Esas diferencias de opinión surgieron en otra publicación de GitHub Issues y sugieren que algunas personas en la comunidad no quieren formar parte del término medio propuesto.
«Un problema es esta implementación: esta integración particular de un LLM en MDN que felizmente mentirá a los usuarios», escribió la ingeniera de software Leonora Tindall en un comentario el jueves.
“Pero la solución no es ‘mejorar el LLM’. No resuelve problemas reales que la contratación de escritores técnicos no resolvería. Es, en esencia, una máquina de lavado de derechos de autor que ahorra dinero (al no contratar escritores) a expensas de la calidad. Es un intento de reemplazar la mano de obra capacitada, escritores bien informados con la máquina de explotación de OpenAI: explotación, no solo de resmas de material protegido por derechos de autor extraído de toda la Web, sino también de trabajadores mal pagados en el sur global.
«Esa es una práctica que, personalmente, creo que es inaceptable y abominable».
Otro desarrollador que se hace llamar «Be» ofreció una versión similar:
«Todo acerca de esta publicación de blog es repugnante. Está muy claro en este punto que Mozilla es un administrador irresponsable de la documentación web y no debería involucrarse más en ella. Me parece repugnante que Mozilla esté tratando de sacar provecho del contenido que apenas incluso escribiendo más El hecho de que estén tratando de beneficiarse del contenido que no están escribiendo usando un LLM que tampoco hicieron hace que esta situación sea aún más extraña.
«Horquilla». ®
