En este artículo invitado especial, Gideon Mendels, director ejecutivo y cofundador de Comet ML, explica por qué tantos proyectos de ML están fallando y qué pueden hacer los profesionales y líderes de ML para corregir el curso, proteger sus inversiones y garantizar el éxito. Gideon es un científico informático, investigador de ML y empresario en esencia. Antes de Comet, cofundó GroupWize, donde entrenaron e implementaron modelos NLP que procesan miles de millones de chats. Su viaje con los modelos de PNL y reconocimiento de voz comenzó en la Universidad de Columbia y Google, donde trabajó en la detección del engaño y el discurso de odio.
Si bien es cierto que la adopción de ML ha aumentado significativamente, todavía existe la dura realidad de que la mayoría de los proyectos de ML no ven la luz del día. Tal vez no al nivel que predijo Gartner en 2018, pero los números no están a favor de ML. Dependiendo de a quién le pregunte, las tasas de falla van desde el 50 % hasta el 85 % de Gartner.
Si echamos un vistazo honesto a lo que realmente está sucediendo, no es un problema de madurez de ML, como muchos sugerirían. La tecnología no debe considerarse un chivo expiatorio. Más bien, varios factores diferentes están en juego. Los factores, que una vez identificados, pueden abordarse fácilmente para que las organizaciones puedan aprovechar los beneficios excepcionales de ML de una vez por todas.
Por qué los proyectos de ML están fallando
Hay 3 razones de alto nivel por las que los proyectos de ML están fallando
- Falta de metas y objetivos comerciales claros
- Falta de colaboración con líderes empresariales y pymes
- No invertir en las herramientas y procesos adecuados
Falta de metas y objetivos comerciales claros.
A menudo, hay una falta de comprensión del problema comercial que los equipos intentan resolver y cómo se medirá el éxito. Sin objetivos claros, es difícil para los equipos de ML determinar el enfoque, los algoritmos y las métricas correctos a utilizar. Por ejemplo, si el objetivo es crear un modelo que pueda predecir con precisión la rotación de clientes, el equipo de ML debe comprender cómo se define la rotación de clientes para ese problema y qué factores contribuyen a ello. Esto requeriría conocimientos de expertos en el dominio o en la materia. Luego, el equipo de ML tendrá que determinar qué métricas se utilizarán para medir el rendimiento del modelo. Estas métricas deben definirse al principio del proyecto y usarse para guiar el esfuerzo del equipo a lo largo del proyecto. E incluso cuando existe comprensión, no es raro seguir viendo una desalineación de las necesidades comerciales con las capacidades del modelo ML que se está desarrollando. ¿El modelo está diseñado para revelar las respuestas que buscan los equipos o los equipos están tratando de forzar una clavija cuadrada en un agujero redondo?
Falta de colaboración con los líderes empresariales y las pymes
Otro problema muy común es que los equipos de ML pueden no tener suficiente colaboración con líderes comerciales clave, expertos en dominios y partes interesadas que podrían agregar los conocimientos necesarios. Sin una comunicación abierta, hay una falta de comprensión en ambos lados que da como resultado que los modelos no cumplan con las expectativas. Esto es cierto no solo en el proceso de desarrollo inicial, sino también una vez que el modelo entra en producción y la empresa lo está utilizando activamente.
No invertir en las herramientas y procesos adecuados
A medida que más empresas invierten en ML, existe una necesidad creciente de pasar de la prueba de concepto (POC) a la producción. Esto requiere invertir en las herramientas y los procesos adecuados para garantizar el éxito. Los proyectos de ML pueden verse obstaculizados si se seleccionan las herramientas incorrectas o si los procesos no son eficientes. Por ejemplo, es posible que los equipos se hayan basado inicialmente en el seguimiento manual de experimentos o en la implementación de modelos ad hoc, lo que puede funcionar para una pequeña cantidad de modelos en un entorno centrado en la investigación. Sin embargo, cuando se trata de crear modelos listos para la producción, es posible que estos métodos ad hoc no cumplan con las expectativas comerciales en términos de colaboración, reproducibilidad, explicabilidad y gobernanza. Lo mismo puede decirse de las empresas que han creado sus propias herramientas MLOps internas. A medida que escalan sus esfuerzos, es posible que descubran que estas herramientas no pueden cumplir con sus requisitos de escalamiento, especialmente si se construyen sobre soluciones de código abierto.
La importancia de entender
El uso de ML para tomar mejores decisiones que impacten positivamente en sus resultados, ya sea a través de una orientación de anuncios más eficiente o una mejor retención de clientes, es un objetivo para muchas empresas. Sin embargo, reunir un equipo de los mejores científicos de datos y encargarles que encuentren esta información por sí solos puede no ser suficiente.
Para que los proyectos de ML tengan éxito, es crucial que el equipo no solo comprenda qué información se necesita, sino también el razonamiento detrás de por qué se necesita. Sin una comprensión profunda de cómo funcionan las diferentes líneas de negocios y qué información es importante para los diferentes equipos, es posible que los modelos de ML no proporcionen los conocimientos y los resultados que se necesitan.
Para superar esto, los líderes de los equipos y los responsables de la toma de decisiones deben trabajar en estrecha colaboración con los equipos de ML durante todo el proceso, desde identificar las preguntas correctas hasta garantizar que el equipo de datos comprenda el razonamiento detrás de lo que la empresa quiere saber. Esta colaboración continua es esencial para el éxito y no puede ser eludida solo por el talento.
Estandarice las mejores herramientas y prácticas para sus necesidades
Los proyectos de aprendizaje automático son complejos y multifacéticos, ya que no solo dependen del código, sino también de datos y modelos. Hay varios pasos que los equipos de ML pueden tomar para estandarizar las mejores herramientas y prácticas para que sus proyectos de ML sean exitosos:
- Investigue y evalúe diferentes herramientas y marcos de ML: Hay muchas herramientas y marcos de ML disponibles, y es importante investigarlos y evaluarlos para determinar cuáles son los más adecuados para el proyecto específico y el caso de uso. Esto incluye evaluar la facilidad de uso, la escalabilidad y el rendimiento de las herramientas.
- Establecer mejores prácticas: Una vez que el equipo haya seleccionado las herramientas apropiadas, debe establecer las mejores prácticas para usarlas. Esto incluye pautas para el preprocesamiento de datos, el entrenamiento de modelos y la evaluación. Esto ayuda a garantizar la coherencia y la reproducibilidad entre proyectos.
- Implementar un sistema de control de versiones: Para garantizar que los cambios en el código, los datos y los modelos se puedan rastrear y deshacer fácilmente si es necesario, es importante implementar un sistema de control de versiones como Git. Esto también ayuda a facilitar la colaboración entre los miembros del equipo.
- Automatice la canalización de ML: Para aumentar la eficiencia y reducir el riesgo de errores, es importante automatizar la mayor parte posible de la canalización de ML. Esto incluye la automatización de tareas como el preprocesamiento de datos, el entrenamiento de modelos y la implementación.
- Invierta en herramientas MLOps: Las herramientas de MLOps pueden ayudar a agilizar el proceso de experimentación, implementación, monitoreo y mantenimiento de modelos de ML tanto durante el entrenamiento como durante la producción. Estas herramientas pueden automatizar el proceso de seguimiento de experimentos, gestión de modelos e implementación de actualizaciones.
- Fomentar la comunicación abierta y la colaboración: Para asegurarse de que el equipo esté alineado y trabaje hacia los mismos objetivos, es importante fomentar la comunicación abierta y la colaboración. Esto incluye reuniones regulares y registros para compartir el progreso, discutir desafíos y obtener comentarios.
- Evaluar y mejorar continuamente: Finalmente, es importante evaluar continuamente las herramientas y los procesos utilizados por el equipo y realizar mejoras según sea necesario. Esto incluye recopilar comentarios de los miembros del equipo y usarlos para identificar áreas de mejora.
Continuar
En el mundo de hoy, es muy fácil descartar ML como simplemente «todavía no estar allí», pero para llegar «allí», debemos reconocer que no se trata solo de la tecnología y sus capacidades. Los equipos no siempre hacen todo bien, y eso está bien. Es parte del aprendizaje. La conclusión es que la tecnología funciona, es válida y algunas empresas están creciendo significativamente como resultado directo de los resultados del proyecto.
Para llegar allí, las organizaciones deben seguir cinco pasos claros:
- Asegúrese de que los equipos de ML tengan una comprensión profunda del problema comercial que intentan resolver, incluidos los factores específicos que deben considerarse y cómo desempeñarán un papel en el resultado. Alternativamente, asigne a alguien del lado comercial al proyecto ML como experto en el dominio.
- Alinee las necesidades comerciales con las capacidades de ML definiendo claramente las metas y los objetivos del proyecto y seleccionando las herramientas y los procesos apropiados para respaldar esas metas. ¿Cómo se ve el éxito para el negocio y cómo podemos encontrar la métrica «fuera de línea» correcta para optimizarla?
- Fomente la comunicación y la colaboración entre los equipos de ML y los líderes empresariales u otras partes interesadas para garantizar que todas las partes comprendan claramente el problema que se está resolviendo y las necesidades de la organización.
- Implemente herramientas y procesos eficientes, como el seguimiento automatizado de experimentos y la implementación de modelos estandarizados, para optimizar el proceso de desarrollo de ML y aumentar las posibilidades de éxito.
- Participar en el aprendizaje perpetuo. Las herramientas de ML se están desarrollando con bastante rapidez. Incorpore tiempo para experimentar para que su equipo se mantenga fresco y con visión de futuro. Y busca integraciones entre herramientas que te hagan la vida más fácil y productiva.
Al seguir estos pasos, puede aumentar drásticamente la probabilidad de éxito de ML. Siguiendo estos pasos, los equipos pueden hacer que la magia suceda.
Regístrese para recibir el boletín gratuito insideBIGDATA.
Únase a nosotros en Twitter: https://twitter.com/InsideBigData1
Únase a nosotros en LinkedIn: https://www.linkedin.com/company/insidebigdata/
Únase a nosotros en Facebook: https://www.facebook.com/insideBIGDATANOW
