Honeycomb.io, fundada por uno de los primeros pioneros de la observabilidad, antes evitaba agregar funciones de IA para sus productos, pero se ha incorporado con consultas de lenguaje natural impulsadas por IA generativa.
Charity Majors, CTO y fundadora de Honeycomb, es ampliamente reconocida por haber acuñado el término observabilidad para denotar la comprensión holística de los sistemas distribuidos complejos a través de consultas personalizadas. Ella se describe a sí misma como «salada» en general sobre AIOps y funciones de aprendizaje automático en herramientas de operaciones de TI. Pero esta semana, Honeycomb reveló que inyectará IA en sus productos por primera vez a través de OpenAI. API de GPT.
Esta nueva asociación es la base de una característica experimental de Honeycomb llamada Query Assistant, que admite consultas en lenguaje natural en los datos de observabilidad y ahora está disponible de forma gratuita para todos los clientes. La función puede ser desactivada por equipos que desconfían privacidad de datosy no se envía pasivamente ningún dato de usuario a OpenAI, según el comunicado de prensa de la empresa.
TechTarget Editorial se reunió con Majors esta semana para averiguar por qué el valor de la IA en el caso de la IA generativa de GPT difiere, en su opinión, del de AIOps.
¿Honeycomb tiene su propio lenguaje de consulta? ¿Cómo hacía la gente consultas antes de esto?
Charity Majors: Era un generador de consultas gráficas y, sinceramente, es una forma lenta y manual de hacer las cosas. También tenemos algo llamado BubbleUp, que no es IA ni ML, pero es más efectivo para encontrar problemas. Si está enviando datos con alguna intención, entonces usted, el ser humano, puede dibujar una burbuja alrededor de algo en el gráfico que le preocupa: «Me importa esto». En el fondo, comparamos el interior de la burbuja con lo que está fuera de la burbuja, y luego los clasificamos y diferenciamos, de modo que todas las cosas que son diferentes sobre lo que te importa están ahí arriba. Ese pequeño bucle es a lo que se reduce el 99,9 % de todas las depuraciones del sistema: «Esto es lo que me importa, tiene significado». ¿Qué tiene de diferente? Luego, la máquina le dice de inmediato: «Oh, es diferente porque todos estos errores son para dispositivos que vienen de Android, que estaban en esta versión, esta ID de compilación para la que está usando este paquete de idioma de la aplicación en esta región», y luego usted Por lo general, inmediatamente saben cuál es el error. Si no puede encontrar esas cosas, es posible que le tome días o semanas averiguar qué está pasando.
¿Qué agregan las consultas en lenguaje natural a Honeycomb para los clientes?
Majors: Es una especie de gran ecualizador. Query Builder es excelente si ya comprende bien SQL y ya conoce sus datos bastante bien. Pero [Query Assistant] permite a los desarrolladores menos sofisticados y a las personas que ni siquiera son ingenieros decir: ‘Acabamos de implementar algo. ¿Qué tiene de lento o qué cambió? O ‘Muéstrame los extremos más lentos’. O ‘¿Qué usuarios están experimentando la mayoría de los errores o la mayoría de los errores?’ O ‘Acabo de cambiar algo sobre el punto final de pagos. ¿Alguien está experimentando consultas durante cinco segundos?’ La herramienta se quita completamente del camino. Esto no es excelente para cosas de nivel experto, pero es increíble para comenzar. Y, sinceramente, empezar es lo que haces una y otra vez en un sistema complejo.
Tengo constancia de que estoy increíblemente malhumorado con la mayoría de las ofertas de IA en el mercado. Pero estoy muy entusiasmado con esto.
Mayores de caridadCTO y fundador, Honeycomb.io
Honeycomb siempre ha sido, inevitablemente, una especie de herramienta compleja. Puede hacer cualquier pregunta para comprender su sistema, y no está bloqueado en las métricas personalizadas ni nada. Pero nuestra filosofía de las herramientas para desarrolladores es que deben intentar quitarse de en medio. Solo debe tratar de concentrarse en la pregunta que está tratando de hacer, el problema que está tratando de resolver, no también debe tratar de descubrir la herramienta con la que está tratando de resolverlo como un intermediario. Este es un hermoso paso adelante. Cualquiera puede modificar una consulta. También encaja con toda nuestra filosofía de que no se trata de echar IA a la ensalada y simplemente decir ‘¡Woo hoo!’ Tengo constancia de que estoy increíblemente malhumorado con la mayoría de las ofertas de IA en el mercado. Pero estoy muy entusiasmado con esto. Va a ayudar a los ingenieros a ser mejores en sus trabajos de una manera significativa.
¿Qué hace que Query Assistant sea diferente de ‘arrojar IA en la ensalada?’
Majors: Mi gran queja con AIOps es que, por lo general, es una solución que no debería necesitar para problemas que no deberían existir. Una de las cosas que [AIOps vendors] a menudo se dice: ‘Si recibe una inundación de correos electrónicos de alertas, entonces podemos decirle cuáles son importantes’. Pero no debería tener que enviar millones de alertas. No son útiles. Lo que básicamente están diciendo es: ‘Está bien, los humanos ya no pueden entender todo este ruido’. Así que deja que la máquina lo haga por ti. Pero eso es peor, porque entonces, si la máquina te alerta en medio de la noche y no puedes entender por qué, ahora estás doblemente frustrado.
Aquí es donde entra la matemática bayesiana: incluso si la cosa sucede una en un millón de veces y si sucede, tiene una tasa de éxito del 90 %, algo así como el 80 % de todas las alertas seguirán siendo falsos positivos. Lo más costoso que puede hacer en ingeniería de confiabilidad son los falsos positivos. Solo estás entrenando a las personas para que no presten atención a las alertas, eso las desgasta. Y luego, cuando algo sale mal, el punto central de todo este [tech] la industria está entendiendo sus sistemas. No es externalizar la comprensión. Las máquinas pueden encontrar señales, las máquinas pueden procesar números y decirte si hay un pico o un parpadeo, pero nunca pueden decirte si eso fue bueno o no. No pueden decirte si eso fue intencional o no. Solo los humanos pueden otorgar significado a las cosas, y lo que la mayoría de AIOps está haciendo es tratar de quitarle el significado a los humanos y dárselo a las máquinas. Y eso simplemente se rompe, porque eventualmente un humano tendrá que venir y entenderlo al final del día, y los estás cojeando y paralizando.
¿Qué más podría hacer Honeycomb con las consultas en lenguaje natural en el futuro?
Majors: No tenemos una manera de preservar el estado [in queries]. Este es el único inconveniente: no puede iterar en sus consultas. Es una pizarra nueva cada vez. Sería genial si pudiéramos permitir que las personas iteraran y refinaran sus consultas e incluso aprendieran entre cuentas para que podamos sugerirles a las personas que recién comienzan con un conjunto de datos de MySQL, ‘Aquí hay algunas cosas realmente interesantes que las personas que usan sistemas como el suyo lo hacen.
También hay algunas cosas muy interesantes. [around shared knowledge] que no puedo esperar para entrar. Si estoy trabajando en mi rincón del sistema, lo sé íntimamente, pero cuando estás depurando, tienes que depurar todo el sistema. Y la mayor parte del conocimiento de ese sistema no está en mi cerebro, pero pequeñas partes están en tu cerebro, mi cerebro, el cerebro de Caroline, el cerebro de Ben. Ser capaz de acceder a eso, si la IA fuera un angelito o un demonio sentado en su hombro sugiriendo cosas, diciéndole, ‘Esto es lo que las otras personas en su sistema están haciendo para interactuar con él’ — así es como aprendemos a convertirnos expertos, observando a otros expertos. Si esa información se le puede servir en bandeja, puede hacerlo mucho más inteligente y efectivo en su trabajo porque está aprovechando la sabiduría de la multitud.
Beth Pariseau, redactora sénior de noticias en TechTarget, es una veterana galardonada del periodismo de TI. Ella puede ser contactada en [email protected] o en Twitter @PariseauTT.