Saltar al contenido

Las fallas de los modelos de aprendizaje automático | Noticias

17 de abril de 2022

Si bien la mayoría de ML actualmente está supervisado y se basa en la coincidencia de patrones para respaldar las predicciones, todavía hay muchas cosas que pueden salir mal.

Crédito: KDnuggets

El aprendizaje automático tiene grandes capacidades. Puede convertir datos en conocimiento, encontrar patrones y tendencias en datos que los humanos no pueden detectar, mejorar con el tiempo y ahorrar tiempo en el procesamiento y análisis de datos. También tiene grandes limitaciones.

Muchos modelos de aprendizaje automático no se comercializan por razones que incluyen:

  1. mala calidad de datos
  2. falta de comunicación sobre los objetivos
  3. una brecha entre TI y los científicos de datos
  4. compra ganadora de la gerencia
  5. contratar talento requerido.

Una brecha cada vez mayor entre los «ricos» de las grandes empresas y los «desposeídos» de las empresas más pequeñas también está limitando el alcance del aprendizaje automático (ML).

Si bien la mayoría de ML actualmente está supervisado y se basa en la coincidencia de patrones para respaldar las predicciones, todavía hay muchas cosas que pueden salir mal. Ramesh Raskar, profesor asociado en MIT Media Lab, dice que en el caso de ML supervisado, los elementos de los modelos que deben unirse para que tengan éxito incluyen los datos correctos, la calidad de los datos, la selección del modelo, los conjuntos de habilidades y cómo el modelo es entrenado y utilizado.

Raskar dice: «Los modelos de aprendizaje automático suelen fallar debido a la falta de recursos y la sobreestimación de lo que puede hacer un modelo».

El aprendizaje automático no supervisado que resuelve las cosas por sí mismo y aprende del mundo real puede funcionar mejor, dice Raskar, aunque todavía se encuentra en una etapa temprana de desarrollo. Cita el caso de entrenar un coche autónomo para evitar accidentes. «Este es un problema abierto, ya que faltan datos para entrenar un modelo», dice. «El aprendizaje supervisado basado en videojuegos podría usarse para ver cómo se comportaría un automóvil bajo la lluvia o la niebla, pero ¿estamos listos para poner esto en un automóvil real en la calle?»

Recomendado:  Hacia un modelo de aprendizaje automático que pueda razonar sobre las acciones cotidianas | Noticias del MIT

Fiona Browne, jefa de desarrollo de software y ML en Belfast, desarrollador de software con sede en Irlanda del Norte Datactics, y profesora en la Universidad de Ulster, Irlanda del Norte, está de acuerdo con muchas de las limitaciones de los modelos de ML identificados por Raskar, pero comienza con la percepción y nivel objetivo. Según Browne, «las empresas están bajo presión para mostrar cómo están usando ML e integrándolo en los sistemas, pero no necesariamente entienden cómo encaja con los objetivos comerciales. Hay mucha expectación en torno a la IA y, como dice el MIT, es matemáticas, no magia».

Browne también nota nerviosismo sobre la implementación de ML en producción, ya que si sale mal, podría causar un gran daño a la reputación, particularmente en aplicaciones de alto riesgo en sectores como la salud. «Es necesario que haya capacitación en torno a la percepción, y los objetivos comerciales deben estar al comienzo del diseño del proyecto y estar antes que la tecnología, junto con métricas medibles de cómo será la finalización y el éxito de un proyecto», dice Browne. «Sea conservador al implementar la tecnología y utilícela solo donde funcione bien». Un ejemplo aquí es el uso de ML por parte de Datactics para identificar valores atípicos y errores en conjuntos de datos.

En cuanto a los problemas del uso de los datos correctos y la calidad de los datos para los modelos de ML, Browne dice: «Todos quieren hacer que el modelo funcione, pero no los datos. Los datos están infravalorados; es necesario que haya un cambio de mentalidad aquí». Con una regla 80/20 en ML (el 80 % del tiempo de los científicos de datos se dedica a la preparación de datos y el 20 % restante al modelado y ML), Browne promueve un enfoque integrado y sistemático para los datos y la calidad de los datos. «Agregar más datos a un modelo mejora el rendimiento, en comparación con ajustar el modelo».

Recomendado:  ¿Cómo debemos comparar las representaciones de redes neuronales? - Blog de investigación sobre inteligencia artificial de Berkeley

Como en todas las áreas de la IA, la evaluación de riesgos, la rendición de cuentas, la explicabilidad y el sesgo son desafíos para el ML exitoso. Browne hace referencia a una investigación académica que muestra que el software de reconocimiento de voz de Google tiene un 70 % más de probabilidades de reconocer con precisión el habla masculina que el habla de las mujeres o los niños, lo que, según él, es el resultado de las decisiones tomadas sobre los conjuntos de datos utilizados para el modelo.

Dice Jon Campbell, director de biblioteconomía de Moody’s Analytics: «Cuando la gerencia dice que necesita IA, ML y científicos de datos, habrá un sesgo hacia las redes neuronales. Cuando todo lo que tiene es un martillo, todo parece un clavo». De manera similar, agrega Campbell, «ML necesita contexto. Si un científico de datos ve un problema en su propia caja sin comprender el impacto de las entradas y salidas, existe una alta probabilidad de fallar. Los modelos necesitan revisión y desafío por parte de pares, ya que todos tienen sesgos». Desde la perspectiva de Moody’s, señala, «ML y AI necesitan transparencia y un ser humano al tanto».

Si bien estos y otros desafíos para el ML exitoso están sobre la mesa con miras a su resolución, Raskar identificó una limitación menos obvia en el desarrollo del ML. «Las grandes empresas tienen muchos datos de los que aprender; tienen una ventaja sobre las empresas más pequeñas que no tienen los mismos volúmenes y calidad de datos y no pueden construir modelos de alta calidad. Hay una brecha cada vez mayor en IA entre los ‘ los que tienen y los que no tienen en este momento».

Recomendado:  La nueva técnica podría permitir velocidades de procesamiento entre un millón y mil millones de veces más rápidas que las computadoras actuales y estimular el progreso en la física de muchos cuerpos -- ScienceDaily

Una solución potencial es el aprendizaje dividido, una iniciativa de MIT Media Labs que comparte recursos de datos para permitir que las entidades participantes entrenen modelos de máquinas sin compartir datos sin procesar. Raskar dice: «Los modelos ML son tan buenos como los datos de entrenamiento que tienen; los datos divididos juegan un papel aquí».

Dicho esto, Raskar dice que grandes volúmenes de datos no son necesariamente suficientes y sugiere el uso de Redundancia Mínima de Relevancia Máxima (mRMR), un algoritmo de selección de características mínimo-óptimo diseñado para encontrar el subconjunto de características relevante más pequeño para una tarea de ML determinada.

También se están desarrollando MLOps para unir componentes de ML. «En ML, tienes científicos e ingenieros de datos, que son bastante experimentales y no como los desarrolladores de software tradicionales», dice Browne. «ML necesita un enfoque sistemático, transparencia, auditabilidad y gobernanza. Con suerte, veremos que las aplicaciones ML maduran para respaldar estos procesos».

Teniendo en cuenta el lado suave del modelado de ML, Campbell concluye: «Estamos cerca de un momento decisivo en el que la tecnología será solo una parte de ML. Habrá una supervisión adicional, un enfoque en los resultados y la explicabilidad, aunque todavía no hay una visión clara de cómo mostrar eso».

Sara Underwood es un escritor de tecnología con sede en Teddington, Reino Unido


entradas no encontradas