Investigadores de Stanford y MIT completaron una evaluación del mundo real de la IA generativa en el lugar de trabajo y descubrieron que un asistente de chat ayudó a los trabajadores de una empresa Fortune 500 a resolver un 13,8 % más de problemas por hora.
El trabajo muestra el impacto potencial de los grandes modelos de lenguaje, como GPT-4, fuera de las evaluaciones en el aula, como aprobar los SAT o el examen de la barra, y en su lugar en un lugar mucho más probable que refleje su potencial del mundo real.
“Hacer que la gente lo use durante más de un año en esta empresa, da una idea mucho mejor de cómo eso se traduce en productividad en el mundo real”, dijo a Bloomberg Erik Brynjolfsson de Stanford, coautor del estudio. «Hasta donde yo sé, esta es la primera vez que se hace en un entorno del mundo real».
Investigadores de Stanford y MIT completaron una evaluación del mundo real de la IA generativa en el lugar de trabajo.
El ascenso (y ascenso) de la IA: Entrenados por el canon masivo de texto llamado Internet y capaces de escupir resultados sorprendentemente humanos, las IA de gran modelo de lenguaje como GPT-4, Bard de Google y Claude de Anthropic se han convertido en pandilleros desde su debut.
Tech Twitter está repleto de ejemplos de las impresionantes capacidades de GPT-4, desde generar código de videojuegos hasta analizar y resumir información compleja. Y aunque las IA tienen sus defectos, por ejemplo, en realidad no saber hechos, luchan mucho con las matemáticas y, a veces, con la lógica, y son vulnerables a las fugas: ya se han abierto camino en el mundo laboral.
La empresa de servicios financieros Stripe es socia de OpenAI y ha incorporado GPT-4 en la lucha contra el fraude y la ayuda a los agentes; General Motors está planeando poner ChatGPT en sus autos; y las nuevas empresas buscan crear LLM a medida para campos como el derecho. Bing, también recurrente en Google, ha vuelto a centrar su motor de búsqueda en torno a un LLM (lo que cuenta como una victoria por el simple hecho de que estás leyendo sobre Bing en este momentosolo).
De manera más práctica, las IA de codificación, como Copilot de Github y Ghostwriter de Replit, ya están sobrecargando a los programadores todos los días, ayudando a escribir, anotar y depurar código. Un experimento realizado por Github en 2022 descubrió que los codificadores que usaban Copilot para completar una tarea eran más rápidos, más productivos, más exitosos y reportaron una mayor satisfacción con su trabajo.
Pero a pesar de estos resultados alentadores y el rápido impulso de la IA en el lugar de trabajo, hasta ahora ha habido poca investigación académica para observar su efecto en empresas reales, en el mundo real, en particular las IA basadas en chatbots.
“La aparición de la inteligencia artificial generativa (IA) ha atraído una atención significativa, pero ha habido pocos estudios sobre su impacto económico”, escribieron los autores en su artículo para la Oficina Nacional de Investigación Económica.
Un asistente de chat de IA ayudó a los trabajadores de atención al cliente de una empresa Fortune 500 a resolver un 13,8 % más de problemas por hora.
analizando IA en el lugar de trabajo: Investigadores del Laboratorio de Economía Digital de Stanford y la Escuela de Administración Sloan del MIT analizaron el impacto de un asistente de inteligencia artificial generativa en la productividad de los empleados en el centro de llamadas de una empresa de software Fortune 500 durante un año.
El equipo usó la cantidad de problemas resueltos por hora por los empleados del centro de atención telefónica, que, según los informes de Bloomberg, se encontraban predominantemente en Filipinas, como su medida de productividad.
El asistente de chatbot se capacitó con datos de más de 5000 agentes de la compañía, y el asistente monitorea los chats para brindar sugerencias en tiempo real sobre cosas que decir. Los agentes eran libres de usar esas sugerencias o ignorarlas.
En su evaluación, los agentes pudieron manejar un 13,8 % más de problemas por hora usando la IA, manejando las llamadas de manera más rápida y efectiva, además de atender a varios clientes a la vez. También pudieron trabajar un 35% más rápido. Si bien estas ganancias fueron menos dramáticas que algunas observadas en los laboratorios, el estudio del mundo real “sugiere que esos estudios de laboratorio apuntaban en la dirección correcta y que no eran solo espejismos”, dijo Brynjolfsson a Bloomberg.
Una pierna arriba: Curiosamente, no fueron los mejores y más experimentados agentes los que obtuvieron la mayor parte de las recompensas.
“Descubrimos que los trabajadores con acceso a la IA ven ganancias de productividad bastante significativas, pero la mayoría de esas ganancias se acumulan para los trabajadores novatos o menos capaces”, dijo Lindsey Raymond, candidata a doctorado del MIT y coautora del estudio.
Brynjolfsson, Raymond y su colega del MIT, Danielle Li, creen que la diferencia puede deberse a la cantidad de asistencia que puede brindar el chatbot y la urgencia con la que se necesita.
Chatbot AI entrenado en los mejores trabajadores de la empresa puede proporcionar rápidamente conocimientos importantes y mejores prácticas a los empleados que aún no los conocen, ayudando a «los nuevos trabajadores a avanzar en la curva de experiencia», dijo Raymond.
Con la IA, los empleados que trabajan solo dos meses alcanzan métricas de rendimiento similares a las de los que tienen medio año a sus espaldas.
Los trabajadores con menos experiencia se beneficiarían más de la incorporación de la IA, un acelerador para ponerse al día, dijo Raymond a CNBC. Con la IA, los agentes de servicio al cliente que trabajaban solo dos meses estaban alcanzando métricas de rendimiento similares a las de medio año a sus espaldas.
Por el contrario, la IA en el lugar de trabajo parece ser menos útil para los empleados con experiencia; el equipo no encontró grandes beneficios del chatbot para los veterinarios altamente calificados.
“Los trabajadores altamente calificados pueden tener menos que ganar con la asistencia de IA precisamente porque las recomendaciones de IA capturan el conocimiento incorporado en sus propios comportamientos”, dijo Brynjolfsson en un comunicado.
En un efecto colateral, el equipo también descubrió que la IA mejoró la satisfacción del cliente, lo que a su vez condujo a mejores interacciones y una mayor retención de clientes. A pesar de no ver aumentos en la productividad, los empleados experimentados en realidad tren las IA y deben ser reconocidas y compensadas por eso, dijo Raymond a CNBC.
Un cambio desconocido: Si bien se encuentra entre los primeros de su tipo, el estudio no prueba definitivamente los beneficios potenciales, y los inconvenientes, de toda la IA en el lugar de trabajo.
“Necesitamos mucha más investigación aquí”, dijo Brynjolfsson.
“No sabemos si el impacto de la IA en la productividad puede variar con el tiempo, y agregar estas herramientas a la oficina podría requerir inversiones organizacionales complementarias, desarrollo de habilidades y rediseño de procesos comerciales”, y la IA puede afectar la satisfacción de los clientes y empleados, la moral. , y comportamientos en formas que el estudio no encontró, dijo Brynjolfsson.
“Hay tanto que no sabemos”.
¡Nos encantaría saber de usted! Si tiene un comentario sobre este artículo o si tiene un consejo para una futura historia de Freethink, envíenos un correo electrónico a [email protected]
