Zillow, un mercado inmobiliario en línea, cerró recientemente su negocio de ofertas Zillow debido a algoritmos fallidos de iBuying. Un algoritmo descarrilado en las valoraciones de propiedades llevó a la compañía a reducir el valor estimado de las casas que compró en el tercer y cuarto trimestre en más de $ 500 millones. Zillow ya ha anunciado oficialmente 304 millones de dólares en pérdidas del tercer trimestre y espera reducir su fuerza laboral en un 25% durante los trimestres futuros para compensar el impacto en su negocio. Un analista ha estimado que posiblemente 2/3 de las casas que compró Zillow están valoradas actualmente por debajo de lo que Zillow pagó por ellas.
El evento ha vuelto a plantear preocupaciones sobre la validez de los modelos de IA. ¿Fue el problema de Zillow específicamente o es una limitación de los modelos de IA en general? ¿Se puede confiar en la IA para tomar decisiones comerciales importantes o realizar predicciones de mercado? ¿Y cómo resistieron competidores como Opendoor y Offerpad la tormenta de cambios abruptos en el mercado de la vivienda, mientras que Zillow no acertó?
En pocas palabras, los algoritmos de Zillow sobrestimaron el valor de las casas por las que pagaron. Al mismo tiempo, Zillow estaba expandiendo agresivamente su programa de compras, adquiriendo más viviendas en los últimos dos trimestres que en los dos años anteriores. Dado que el gasto de mantener las casas vacías con la esperanza de que se recupere el precio es muy alto, la empresa se ve obligada a intentar vender grandes volúmenes de casas por debajo del precio de compra. Bloomberg ha informado que Zillow está intentando vender 7.000 casas para recuperar 2.800 millones de dólares.
No detectar un cambio en las condiciones del mercado
No conocemos las causas exactas de por qué los modelos de Zillow sobreestimaron el valor de las viviendas. Sin embargo, mirando hacia atrás en la línea de tiempo de los eventos, parece que cuando el mercado de la vivienda se enfrió, los algoritmos de Zillow no se ajustaron en consecuencia. Los algoritmos continuaron asumiendo que el mercado todavía estaba caliente y sobreestimó los precios de las viviendas. En el aprendizaje automático (ML), este tipo de problema se conoce como «deriva del concepto» y parece ser el núcleo del problema con las ofertas de Zillow.
Los modelos de aprendizaje automático a menudo asumen que el pasado es igual al futuro, pero generalmente ese no es el caso en el mundo real. Esto es especialmente cierto cuando intenta predecir un valor que cambia rápidamente o algo que puede verse afectado por impactos como cambios en las compras debido a sorpresas inesperadas, como una pandemia global.
Por ejemplo, un cambio de mercado significativo que habría contribuido a resultados sesgados es que Zillow no pudo renovar y revender las casas lo suficientemente rápido debido a que los contratistas escaseaban durante el COVID-19. No está claro si los modelos de Zillow tuvieron en cuenta este factor con precisión. Otra posibilidad podría ser que estuvieran comprando en áreas que habían experimentado aumentos sostenidos de precios en 2020 y principios de 2021 debido a la mayor conveniencia de los entornos suburbanos o rurales con menor densidad de población. Sin embargo, cuando llegó el comienzo del verano de 2021, la mayor disponibilidad de vacunas pudo haber aliviado la urgencia de comprar en esas áreas, permitiendo que los precios se estabilizaran o disminuyan, mientras que el algoritmo continuó esperando aumentos.
Lo que está claro es que los algoritmos no tuvieron en cuenta con precisión la relación entre la variable objetivo (que era el precio de la casa) y las variables de entrada (por ejemplo, número de dormitorios, número de baños, pies cuadrados, condición de la casa). Los precios de las viviendas bajaron incluso para el mismo valor de las variables de entrada, pero los modelos no se actualizaron para reflejar las nuevas relaciones.
Pasos clave para evitar los peligros de la deriva del modelo de IA
Entonces, ¿cómo podría haberse evitado esta situación? Una pieza clave de la solución radica en aprovechar mejores herramientas para monitorear y mantener la calidad de los modelos de IA. Estas herramientas podrían alertar automáticamente a los equipos de ciencia de datos cuando hay desviación o degradación del rendimiento, respaldar el análisis de la causa raíz e informar las actualizaciones del modelo con humanos en el ciclo. (Mis colegas exploran los distintos tipos de deriva y qué se puede hacer para dar cuenta de ello en «Deriva en el aprendizaje automático»).
En el contexto de las ofertas de Zillow, habría sido útil medir la deriva (o los cambios) en precisión del modelo, salidas del modelo, y entradas del modelo de forma continua utilizando una herramienta de seguimiento para detectar posibles problemas en el modelo.
- Precisión del modelo. A medida que el mercado se enfrió y los precios de venta de viviendas comenzaron a bajar en ciertos códigos postales, uno esperaría que en ciertas geografías el exactitud del modelo de ofertas de Zillow bajaría, es decir, los precios de las viviendas estimados por el modelo serían consistentemente más altos que los precios de venta reales. La identificación de esta degradación en la precisión del modelo podría haber llevado a tomar medidas para actualizar el modelo de manera oportuna.
- Resultados del modelo. Los productos del modelo (precios estimados de la vivienda) pueden haber mostrado tendencias ascendentes a lo largo del tiempo. Entender las causas fundamentales de por qué los precios estimados de la vivienda tenían una tendencia al alza, en particular, cuando el modelo era incorrecto (es decir, tenía una precisión menor), habría sido útil para depurar el modelo.
- Entradas del modelo. El examen de los cambios en las distribuciones de entrada del modelo también podría haber surgido áreas de preocupación. Por ejemplo, una entrada de modelo que rastreó los cambios en los precios promedio de las viviendas en un vecindario a lo largo del tiempo, podría haber revelado que el mercado se estaba enfriando. Esta información podría haber impulsado la acción, por ejemplo, otorgando mayor peso a los datos más recientes y reentrenando el modelo para reflejar los cambios en las condiciones del mercado.
La IA gestionada con cuidado puede seguir siendo eficaz en las iniciativas de inversión
En nuestra opinión, las fluctuaciones como las recientes en los mercados de la vivienda aún se pueden gestionar y contabilizar con precisión mediante modelos de IA. Parece que los competidores de Zillow, Opendoor y Offerpad, utilizaron modelos de inteligencia artificial que detectaron el mercado de viviendas de refrigeración y reaccionaron de forma adecuada, fijando el precio de sus ofertas con mayor precisión. Es probable que estas empresas hayan implementado este tipo de procesos y herramientas como barreras (Opendoor inició su programa iBuyer en 2014).
En conclusión, los modelos de IA se pueden actualizar para tener en cuenta la deriva del concepto cuando se construyen correctamente y cuando los humanos se convierten en parte del proceso de supervisión y mitigación. La pandemia afectó todo tipo de comportamiento del consumidor, incluidas las compras, la banca, los viajes y la vivienda, y sin embargo, los modelos de inteligencia artificial pudieron seguir el ritmo en muchos casos. Esta es la razón por la que, para que los modelos de IA y ML funcionen para obtener resultados rentables, especialmente para modelos de alto riesgo como el de Zillow, es crucial tener una gobernanza de IA seria respaldada por herramientas de monitoreo y depuración, lo que incluye tener humanos calificados en el circuito. para adaptarse a los cambios importantes del mercado que pueden surgir durante eventos inesperados.
Sobre el Autor
Anupam Datta es cofundador, presidente y científico jefe de TruEra. También es profesor de Ingeniería Eléctrica e Informática y (por cortesía) Ciencias de la Computación en la Universidad Carnegie Mellon. Su investigación se centra en permitir que los sistemas complejos del mundo real sean responsables de su comportamiento, especialmente en lo que respecta a la privacidad, la equidad y la seguridad. Su trabajo ha ayudado a crear bases y herramientas para sistemas basados en datos responsables. Datta se desempeña como investigador principal de un gran proyecto de NSF sobre sistemas de decisión responsable, en los comités directivos de la Conferencia sobre equidad, responsabilidad y transparencia en sistemas socio-técnicos y en el Simposio de fundamentos de seguridad informática del IEEE, y como editor en jefe de Fundamentos y Tendencias en Privacidad y Seguridad. Obtuvo el Ph.D. y una maestría de la Universidad de Stanford y una licenciatura en tecnología. de IIT Kharagpur, todos en Ciencias de la Computación.
Únase a nosotros en Twitter: @ InsideBigData1 – https://twitter.com/InsideBigData1
Suscríbase al boletín gratuito insideBIGDATA.
