Adopción de AutoML: hagamos una revisión de la realidad

No hay cura para el Alzheimer. Pero, ¿y si pudiéramos encontrar una manera de detectarlo temprano? La pregunta intrigó a los científicos de Imagia, quienes luego utilizaron el aprendizaje automático automático de Google (AutoML) para reducir el tiempo de procesamiento de la prueba de 16 horas a una hora. PayPal experimentó beneficios similares. En 2018, con AutoML de H2O, PayPal aumentó la precisión de su modelo de detección de fraude en un 6 % y aceleró seis veces el proceso de desarrollo del modelo.

Historias de éxito como estas han inspirado a alrededor del 61 % de los responsables de la toma de decisiones en empresas que utilizan inteligencia artificial (IA) para adoptar AutoML. Su aceptación solo aumentará, ya que puede mitigar, en gran medida, los problemas causados ​​por la falta de científicos de datos. Además, la capacidad de AutoML para mejorar la escalabilidad y aumentar la productividad seguramente atraerá a los clientes.

Pero, ¿significa esto que la adopción de AutoML se ha convertido en una obligación? Bueno, ese es un enigma al que se enfrentan la mayoría de las empresas en este momento, y examinar casos de la vida real podría ser una solución.

Como ingeniero de software sénior, he trabajado con varias empresas emergentes en las que la IA desempeñó un papel fundamental. He visto los pros y los contras y el impacto comercial. Pero antes de entrar en los casos de uso, primero establezcamos qué es AutoML, su estado actual y lo que puede y no puede hacer.

¿Qué es AutoML?

AutoML (aprendizaje automático automatizado) es la capacidad de un sistema para decidir automáticamente el modelo correcto y establecer parámetros para entregar el mejor modelo posible. Me centraré solo en las redes neuronales profundas en este artículo.

En las redes neuronales profundas, encontrar la arquitectura correcta siempre es un gran desafío. Por arquitectura, me refiero a los bloques de construcción básicos (por ejemplo, para el reconocimiento de imágenes, los bloques de construcción básicos serían una agrupación máxima de 3X3, una convolución de 3X1, etc.) y la interconexión entre ellos para múltiples capas ocultas.

La búsqueda de arquitectura neuronal (NAS) es una técnica para automatizar el diseño de redes neuronales profundas. Se utiliza para diseñar redes que están a la par o pueden superar las arquitecturas diseñadas a mano. Pero necesitamos capacitar a un gran número de redes candidatas como parte del proceso de búsqueda para encontrar la arquitectura adecuada, lo cual requiere mucho tiempo.

El estado actual de las plataformas disponibles

NAS juega un papel fundamental en la formación del marco AutoML para Amazon Web Services (AWS) y Google Cloud Platform (GCP). Pero AutoML aún se encuentra en la etapa inicial y estas plataformas están evolucionando. Hablemos de estos dos famosos marcos de AutoML.

AutoML de GCP

GCP AutoML tiene NAS y transferencia de aprendizaje en su núcleo. NAS busca la arquitectura óptima de un grupo de arquitecturas en función de los resultados de capacitación anteriores. Inicialmente, los algoritmos de aprendizaje por refuerzo se utilizaron para la búsqueda de arquitectura.

Sin embargo, estos algoritmos tienden a ser computacionalmente costosos debido al gran espacio de búsqueda. Recientemente, ha habido un cambio de paradigma hacia el desarrollo de métodos basados ​​en gradientes que han mostrado resultados prometedores. Pero lo que sucede dentro de GCP AutoML aún no está tan claro y es más una solución de caja negra.

Piloto automático de AWS

El concepto principal de AWS Autopilot es proporcionar una solución AutoML configurable. Se exponen todos los detalles sobre el ciclo de aprendizaje automático, desde la transformación de datos hasta el entrenamiento de modelos y el ajuste de hiperparámetros. A diferencia de GCP AutoML, AWS Autopilot es una solución de caja blanca.

AWS Autopilot utiliza diferentes estrategias para canalizaciones de datos y ML (aprendizaje automático). Algunas de estas estrategias se basan en las declaraciones if-else sugeridas por expertos en dominios; otras estrategias dependen de elegir los hiperparámetros correctos (es decir, tasa de aprendizaje, parámetro de ajuste excesivo, tamaño de incrustación) para la canalización.

Qué puede hacer AutoML y qué no puede hacer

A veces, la gente dice que AutoML es el santo grial de AI/ML, una opinión que no comparto. Así que continuemos:

Permítanme compartir algunos conocimientos experimentales, con ejemplos de la vida real, para profundizar en dónde AutoML encajaba bien y dónde no funcionaba.

Caso de uso 1: medir el desempeño de un distribuidor en la industria automotriz

Tuvimos que generar una métrica para evaluar el desempeño de un distribuidor con gigabytes de datos históricos, como ventas anteriores, datos de censos, datos religiosos y datos geográficos. Utilizamos AutoML y obtuvimos un rendimiento comparable al humano.

Sin embargo, necesitábamos un científico de datos para realizar el preprocesamiento de datos, la ingeniería de funciones y la transformación. Le tomó mucho trabajo a AutoML descubrir cuáles eran los datos importantes en nuestras columnas de datos, ya que había miles de columnas. Incluso un experimento podría haber incurrido en enormes costos y desperdiciado un tiempo precioso.

Caso de uso 2: predicción de alquiler de propiedades

Tuvimos que desarrollar una herramienta para predecir el alquiler de la propiedad, pero AutoML no funcionó bien porque el mercado inmobiliario tiene mucha información localizada (por estado). De hecho, nuestros intentos fallaron con un modelo por región ya que no tenía suficientes datos (menos de 500 puntos de datos) para aprender arquitectura. Un tipo de modelo XGBoost simple con funciones reducidas funcionó bien en comparación con AutoML.

En los estados donde los datos eran lo suficientemente buenos para AutoML, a nuestro modelo de predicción le fue mejor que a la solución interna.

Caso de uso 3: predicción de rating de TV

En el caso de la predicción del rating televisivo, sucedió lo mismo. AutoML no pudo capturar el comportamiento basado en la franja horaria en múltiples canales. Por ejemplo, NICK es para niños; la mayoría de los niños ven programas por la tarde, y los adultos ven principalmente MTV y tienen una audiencia máxima por la noche. Este es solo un patrón simple, pero AutoML no pudo capturar múltiples patrones de múltiples categorías en un modelo.

¿AutoML realmente reemplazará a DS?

Desde mi experiencia en el campo, diría “No”. AutoML no puede reemplazar directamente a los científicos de datos. Pero puede ser una herramienta útil para los científicos de datos.

Dónde deberíamos estar usando AutoML

La probabilidad de que AutoML funcione bien sin ninguna interferencia humana es mayor en escenarios donde los problemas son familiares en la literatura. En casos como la detección de objetos para objetos genéricos o la clasificación de imágenes, puede usar AutoML, ya que ya están ajustados con una gran cantidad de datos. También puede ayudarlo a desarrollar pruebas de concepto rápidas, que pueden o no brindar un rendimiento razonable.

Dónde no deberíamos estar usando AutoML

A veces, necesitamos ingeniería de características simple con un modelo de regresión lineal simple para proyectos de ML del mundo real. AutoML podría incurrir en un mayor costo en esos casos, ya que no es compatible con la ingeniería de características. Internamente, utiliza una red neuronal profunda, lo que significa que hay algo de ingeniería de funciones, pero para eso, requerirá una gran cantidad de datos. Además, es caro si lo comparas con el enfoque básico. Y el rendimiento del modelo seleccionado por AutoML necesitará mejorar.

Los escenarios en los que el problema es muy específico del dominio y requiere algún conocimiento del dominio también pueden fallar con AutoML. Estos son los escenarios en los que deberíamos usar AutoML y aquellos en los que deberíamos evitarlo:

Conclusión

AutoML no es inteligencia general artificial (AGI), lo que significa que no puede definir las declaraciones del problema y resolverlas automáticamente. Sin embargo, puede resolver problemas predefinidos si le damos datos y características relevantes.

El uso de AutoML implica un compromiso entre la generalización de un problema y el desempeño de un problema específico. Si AutoML está generalizando su solución, entonces debe comprometer el rendimiento de un problema específico (porque la arquitectura de AutoML no está ajustada para eso). Y la solución general no puede ayudar con problemas de dominio específico donde necesitamos un enfoque novedoso para resolverlos.

Alakh Sharma es científico de datos en Talentica Software.