GPT-3 encendió la llama y luego GPT-4 incendió el mundo del software. Para los desarrolladores de SaaS, las capacidades habilitadas por los avances recientes en modelos de lenguaje grande significan que en cualquier lugar donde haya procesamiento de lenguaje natural (NLP), dentro de la aplicación, dentro del flujo de trabajo del producto y dentro del ecosistema, existe la oportunidad de aprovechar estas calculadoras predictivas masivas. para reinventar las soluciones SaaS.
“Lo primero y más importante que deben entender los líderes de SaaS es lo que ahora es posible que antes no era posible”, dijo Des Traynor, cofundador y director de estrategia de Intercom. “Con GPT-4, por ejemplo, ahora es posible generar texto, generar imágenes, inferir significado, expandir, contraer y realizar acciones. Entonces, ¿cómo pueden los desarrolladores hacer que los productos de software sean más fáciles, rápidos y productivos en diferentes casos de uso?
Mucho antes de que ChatGPT se convirtiera en un nombre familiar, Intercom, una plataforma líder de servicio al cliente, había estado incorporando inteligencia artificial (IA) en su producto desde 2018 y experimentando cómo podría transformar la atención al cliente. A partir de hoy, el equipo de Intercom ha lanzado dos productos que utilizan la tecnología de OpenAI, las características de Inbox AI, que, entre otras cosas, permiten a los representantes de soporte redactar, resumir y ampliar conversaciones completas con los clientes con solo hacer clic en un botón, y Fin, su GPT- 4 bot de atención al cliente con tecnología.
En medio de esta era informática avanzada, el ecosistema tecnológico está explorando aplicaciones y haciendo preguntas tácticas sobre cómo reinventar exactamente los productos e impulsar el valor con los LLM.
En Atlas, Des Traynor, cofundador y director de estrategia de Intercom, y Fergal Reid, director sénior de aprendizaje automático, comparten sus notas de campo para otros equipos de productos y aprendizaje automático (ML). Juntos, destilan cinco lecciones que aprendieron mientras creaban productos de IA que otros líderes de SaaS pueden aplicar a sus futuras hojas de ruta de productos.
“La selección es el desafío más difícil”, dijo Des Traynor, cofundador y director de estrategia de Intercom. “Encontrar un área que sea relativamente explotable por la IA generativa, pero que también proporcione espacio para la imperfección, es el desafío. Es por eso que nuestra primera incursión en la IA generativa fue en el lado de la asistencia del agente (Respuestas inteligentes)”.
En este caso, Intercom simplemente estaba aumentando un flujo de trabajo al sugerir respuestas a los agentes de soporte, ya fuera para condensar, resumir, ampliar o incluso cambiar el tono de las respuestas que ya estaban escribiendo. “Si no funcionaba, no había ningún inconveniente. Si funcionó, hubo una ventaja significativa”, compartió Des.
“No importa el caso de uso, los constructores deberían centrarse inicialmente en una oportunidad asimétrica. Y lo que sea que seleccione, recuerde que debe haber un caso de uso algo regular y activo. Con baja frecuencia, nunca sabrás si está funcionando o no”.
Sin embargo, con este consejo, Des advierte que los constructores deben evaluar y pronosticar los costos posteriores antes de construir. El peor de los casos sería agregar una IA generativa costosa a una característica de frecuencia extremadamente alta y valor razonablemente bajo. Con millones de usuarios, este experimento podría arruinar una empresa sin generar un valor real para el cliente.
Aunque Intercom creía desde hace mucho tiempo que el futuro de la atención al cliente algún día sería la automatización trabajando junto con los humanos, todavía había mucho que evaluar antes de construir. El equipo tuvo que definir objetivos claros, identificar casos de uso y priorizar funciones.
Inicialmente, Intercom mantuvo pequeño a este primer equipo para que pudieran mantenerse lo más ágiles posible; en otras palabras, reunieron un equipo de Skunk Works, un grupo de personas dedicadas interdisciplinarias en su pensamiento y colaboración.
“Impulsados principalmente por el equipo de ML, realizamos deliberadamente una operación muy pequeña con algunos productos y soporte beta desde el exterior”, dijo Fergal Reid, líder en aprendizaje automático que ha estado en Intercom durante más de siete años. “Esto redujo los gastos generales de las comunicaciones internas en plazos tan ajustados. “Dado que la tecnología era tan nueva, no queríamos perder un tiempo precioso con un grupo grande aumentando e intentando estar en la misma página”.
A decir verdad, todavía había muchos obstáculos internos al tratar de ejecutar un proyecto de tan alta velocidad. “Sin embargo, con Des, tuvimos un gran apoyo de las partes interesadas ejecutivas para ayudar a reducir la fricción cuando se trataba de establecer términos y condiciones legales, beta, etc.”, dijo Fergal. Ahora en plena producción, y dos lanzamientos más tarde, hay muchos más equipos en torno a los lanzamientos de IA, pero el éxito inicial comenzó con un equipo muy unido.
“Por contexto, hemos estado construyendo productos de IA (no generativos) durante años”, dijo Fergal. “Nuestro bot orientado al usuario final, Resolution Bot, ha estado resolviendo consultas de soporte automáticamente desde 2020. Nuestro equipo usó redes neuronales para detectar temas, por lo que ya estábamos utilizando funciones de inteligencia artificial en la bandeja de entrada para hacer que los representantes de soporte sean más eficientes”.
Este fue solo uno de los primeros ejemplos, y a medida que continuaron los esfuerzos de su equipo de Skunk Works, tuvieron que crear un marco para la priorización.
“Intercom tiene una cultura en torno al envío rápido y el aprendizaje, lo cual es un activo importante en tiempos de disrupción tecnológica. Inicialmente, nos propusimos crear una serie de características que requerían integraciones de profundidad fina o media, para poder implementarlas rápidamente, pero que aún así brindarían un valor real”, explicó Fergal.
El equipo pensó que los modelos de lenguaje solo se extenderían a características que mantuvieran informado al representante de soporte humano. Entonces, comenzaron a trabajar en las funciones de «Bandeja de entrada», creando varias funciones generativas para ayudar a los representantes de soporte a escribir texto en la Bandeja de entrada, así como a resumir conversaciones antes de la entrega.
«En todo caso, subestimamos el valor de estas funciones de IA».
“En todo caso, subestimamos el valor que nuestros clientes obtendrían de estas primeras funciones”.
“Como se mencionó, nuestra primera función de este tipo, Smart Replies, se envió en junio de 2022. La función Smart Reply hace que sea más rápido y fácil para un representante de soporte comunicarse con los clientes al ofrecer texto predictivo, basado en saludos comunes utilizados en el pasado. —que el cliente puede aceptar, rechazar o modificar para un compromiso personalizado a gran velocidad”, dijo Des.
El equipo estaba en medio de la construcción de una versión de próxima generación del modelo Smart Replies, con la intención de que se ejecutara en modelos generativos internos, cuando se lanzó ChatGPT.
«ChatGPT y text-davinci-003 nos sorprendieron por completo en términos de calidad, por lo que instantáneamente comenzamos a centrarnos en estos modelos, en lugar de nuestros modelos internos», compartió Fergal.
El equipo sabía que este era un momento para pivotar. Rápidamente trasladaron la producción de sus modelos patentados al uso de la tecnología de OpenAI, aprovechando GPT-3.5, GPT-4 y complementos para obtener resultados mejores y más rápidos.
Ahora que el equipo pudo subcontratar su modelo a GPT-4, su desarrollo podría acelerarse. “Ahora podríamos usar este modelo fundamental para construir un bot que hable con los usuarios finales”. Este fue el comienzo de su último producto Fin, uno de los primeros bots de atención al cliente con tecnología GPT en el mercado.
“Llevamos cuatro o cinco meses en un huracán de oportunidades, y es muy pronto”, dijo Des, “pero creo que todas las empresas de software necesitarán una experiencia significativa en IA y ML para identificar las mejores oportunidades específicas para cada negocio y saber explorar y explotar.”
Traducción: si aún tiene que diseñar un equipo de ML, se acerca el momento.
“No creo que sea realista que todos los ingenieros de una empresa de tecnología se conviertan de la noche a la mañana en expertos en inteligencia artificial y aprendizaje automático. Probablemente todos se familiaricen con las diversas API que existen, pero creo que la investigación y la exploración de oportunidades es donde existe la oportunidad más estratégica”.
Intercom convirtió en una prioridad garantizar que las mejores prácticas de implementación de IA se extiendan a través de productos, tecnología y equipos estratégicos y líderes ejecutivos por igual.
Así es como Intercom divide los equipos de ML vs. Producto e Ingeniería:
El marco describe ligeramente el desglose entre los diferentes equipos, pero eso no significa que no vaya a cambiar en el futuro.
Aún así, hay cualidades imprescindibles que todos los equipos de ML emergentes deben poseer: curiosidad, la capacidad de aplicar la investigación a diferentes contextos y pensar como un cliente. “Un equipo de ML debe estar muy arraigado en la cultura de I+D, lo que significa que están acostumbrados a trabajar con nueva tecnología ambigua, pero también se preocupan mucho por resolver los problemas de los clientes y por moverse y enviar con extrema rapidez. Esa combinación es poderosa”, dijo Des. «En 2022, ya estábamos trabajando profundamente en los problemas relevantes de los clientes, tratando de usar otras tecnologías, y cuando apareció GPT-3.5, estábamos realmente bien posicionados para avanzar rápidamente».
Y según Fergal, incluso los equipos de ML más inteligentes solo tendrán el éxito que tenga la visión a largo plazo de una empresa: “En Intercom, vemos un futuro en el que la IA impulsará el arco de nuestro progreso tecnológico, y este es el acelerador de nuestro productividad. Debido a que todos los equipos estaban alineados con esta visión de la empresa, creó una gran cantidad de entusiasmo e impulso internos”.
Transformar su conjunto de productos con IA requiere pensar en los primeros principios y evaluar las tareas y los flujos de trabajo repetitivos, predecibles y ampliables que facilita su empresa. “Una vez que comprende el alcance de su producto, puede ver hasta qué punto la IA puede cambiar su producto”, explica Des.
“El software empresarial tiene un historial de interfaces de usuario torpes; Una gran pregunta que estaremos respondiendo en la industria durante los próximos dos años es: ¿Es el texto la nueva interfaz de usuario? ¿Y es la voz la nueva interfaz de usuario?
“Durante el pequeño renacimiento de los chatbots que vimos en ~2015, la gente se habría reído de la idea de que el chat podría ser la próxima interfaz, pero OpenAI, GPT-3.5+ y el susurro han permitido que el lenguaje natural evolucione en la interacción humano-computadora. ”
Como ejemplo simple, Des plantea el poder de la interfaz de usuario basada en texto para una herramienta como Google Analytics. “Sería más simple y fácil para los nuevos usuarios volverse productivos en Google Analytics inmediatamente porque no necesitan aprender todos los menús desplegables, configuraciones, filtros y segmentos, etc. Y eso sería extremadamente disruptivo para el análisis web empresarial porque ahora todos pueden usar el producto. Con el lenguaje, todo lo que necesitas hacer es hacer las preguntas correctas. Muy pronto, y dentro del año (2023), veremos muchas herramientas complejas que ofrecen una interfaz de usuario en inglés simple (o en cualquier idioma) no solo en texto escrito, sino también en voz sintética, traducción de audio en tiempo real y transcripción”.
«La interfaz de usuario de la unidad de voz es la siguiente».
“La interfaz de usuario impulsada por voz es la siguiente y tendrá una transformación duradera sobre cómo y dónde se considera el software”. Como explica Des, la voz funciona en lugares donde el acceso a las pantallas es limitado.
“Veremos el resurgimiento del ‘place-ona’ frente a la persona, lo que significa que la interfaz de usuario será verdaderamente multimodal y cualquiera puede interactuar o dirigir el software a través de texto, voz y otros medios”.
Lo que Des está describiendo para los desarrolladores de SaaS es un futuro en el que el software puede separarse de los dispositivos y volverse más relacional y conversacional.
“Vamos a seguir usando un panel de ventas complejo o un CRM o análisis de productos, pero ahora, en cambio, puede hacer este trabajo en voz alta mientras lava los platos, sale de su automóvil sin conductor y en una forma completamente nueva. conjunto de contextos a lo largo de nuestras vidas”.
¿Eres constructor o emprendedor en IA? Obtenga más información de Bessemer:
Si eres un emprendedor que crea empresas nativas de IA y habilitadas para IA, queremos hablar contigo. Envíe un correo electrónico a ai@bvp.com.
