Cómo incorporar puntos de control de sesgo en su proceso de desarrollo y entrega

Debido a las desigualdades socioeconómicas en la prestación de atención médica, es menos probable que los datos de investigación y los registros médicos representen la información de los pacientes negros de manera adecuada y precisa. Cuando los modelos de aprendizaje automático se entrenan con datos sesgados, es probable que reproduzcan inequidades. De hecho, la investigación sugiere que los sesgos inherentes a los datos y los algoritmos pueden intensificar las disparidades de salud existentes para las minorías raciales.

El daño potencial de la IA sesgada es tan grande que muchos organismos reguladores están tomando medidas audaces para establecer barreras legales, como la reciente propuesta de la Unión Europea para regular las aplicaciones de IA más riesgosas y el compromiso de la Comisión Federal de Comercio de hacer cumplir leyes que garanticen la veracidad, la justicia y la equidad. uso de IA.

La mayoría de los profesionales de la industria son conscientes de este problema, pero su prevalencia muestra que muchos de los equipos que crean soluciones de IA aún pueden estar pasando por alto áreas críticas donde se puede introducir sesgo en un sistema de IA. Para garantizar que las soluciones de IA para el sector sanitario tengan un impacto positivo y no propaguen las inequidades sanitarias existentes, los líderes sanitarios deben asegurarse de que los procesos de implementación de la IA incluyan puntos de control de sesgos en cada fase de desarrollo y entrega.

A continuación, se muestran algunos ejemplos de preguntas que los líderes de atención médica deben considerar al crear soluciones de aprendizaje automático para su organización:


Recomendado: ¿Qué es el Big data?.


¿Está creando soluciones que aborden las necesidades de salud de todos o está dando mayor prioridad a los problemas que afectan a los grupos favorecidos?

Gran parte de la conversación sobre el sesgo de la IA se ha centrado en datos y modelos, pero el primer punto de control debería ocurrir mucho antes en el proceso cuando se identifica por primera vez el problema que debe abordarse.

Hay muchos problemas de salud que afectan a los afroamericanos de manera desproporcionada, como la cobertura de atención médica, las afecciones crónicas de salud, la salud mental, el cáncer, la muerte infantil y más. Según los CDC, los afroamericanos tienen más probabilidades de morir a edades tempranas por todas las causas, porque los jóvenes afroamericanos viven con afecciones que son más comunes en edades más avanzadas en otras poblaciones, como presión arterial alta, diabetes y accidente cerebrovascular. Muchos factores sociales como el desempleo, la pobreza y los costos prohibitivos de la atención médica también afectan a los afroamericanos a edades más tempranas.

La evidencia sugiere que las tecnologías de salud digital pueden marcar la diferencia en estas disparidades, si las organizaciones de atención médica están dispuestas a tomarse el tiempo para comprender en profundidad las necesidades de sus usuarios. Las consideraciones específicas variarán mucho según el caso de uso, pero los equipos de productos y soluciones deben estar bien informados sobre las inequidades en salud y asegurarse de que están construyendo tecnología para todos, no solo resolviendo los problemas más visibles de las poblaciones favorecidas.

¿Tiene datos equilibrados de usuarios de diferentes razas, géneros y antecedentes socioeconómicos, o le faltan datos de grupos marginados y desatendidos?

Si los datos están sesgados, el producto también lo estará. Desafortunadamente, muchas de las fuentes de datos más utilizadas en tecnología sanitaria no son igualmente representativas de todas las poblaciones. Por ejemplo, la investigación muestra sesgos que afectan los ensayos controlados aleatorios, los registros médicos electrónicos, los datos administrativos de salud y los datos de las redes sociales que causan que las poblaciones minoritarias estén subrepresentadas.

Dado que el acceso a la atención médica es desigual, las historias clínicas por sí solas no son suficientes. La incorporación de datos no clínicos como los indicadores de los determinantes sociales de la salud (SDOH) puede ayudar a cerrar esta brecha. Un estudio reciente encontró que la inclusión de indicadores SDOH en su modelo de aprendizaje automático mejoró el ajuste de riesgo prospectivo para los pagos del plan de salud en varias poblaciones vulnerables. Con un enfoque de datos más holístico, puede comprender algunos de los factores sociales más importantes que impulsan las inequidades en salud e incluirlos en su modelo.

¿Ha identificado y tenido en cuenta algún sesgo en la definición de su predicción y el diseño del algoritmo?

Una vez que se rectifican los desequilibrios dentro de estos conjuntos de datos, es importante pensar detenidamente sobre cómo interpretar cada variable y definir los resultados predictivos. Al predecir una variable desconocida, en ocasiones se deben hacer suposiciones sobre qué características de datos tienen más probabilidades de tener poder predictivo. Sin embargo, deberá evaluar el mecanismo de selección de características, en lugar de utilizar un modelo de “caja negra”, de modo que pueda considerar cualquier sesgo que pueda estar presente en las correlaciones.

Además, debe considerar una etiqueta de predicción para asegurarse de que está midiendo directamente lo que pretende. La investigación muestra que un algoritmo ampliamente utilizado para predecir las necesidades de salud tiene un sesgo racial contra los pacientes negros, lo que reduce el número de pacientes negros identificados para recibir atención médica adicional a más de la mitad. Este sesgo surge porque el modelo utiliza el costo de la salud como un sustituto de la necesidad de salud, lo que no tiene en cuenta las inequidades estructurales en el sistema de salud que resultan en que se gaste menos dinero en pacientes negros que tienen el mismo nivel de necesidad que otras poblaciones. Cambiar la etiqueta de predicción para eliminar esta falsa equivalencia resultó en un aumento del 28,8% en el número de pacientes negros que recibirían ayuda adicional.

Después de implementar el modelo, ¿está monitoreando su desempeño e impacto en diferentes poblaciones?

Si bien no se discute con frecuencia, quizás el punto de control de sesgo más importante se basa en la medición del impacto en el mundo real. En el sector de la salud, las decisiones que automatiza con el aprendizaje automático son de gran importancia y no puede darse el lujo de asumir que su organización ha erradicado perfectamente el sesgo en los pasos anteriores. Por lo tanto, es fundamental medir el impacto posterior de la solución para garantizar que el modelo se generalice bien tanto a la mayoría como a los grupos minoritarios dentro de una población de usuarios. En los casos de uso de mayor riesgo, como los modelos utilizados para el diagnóstico y las decisiones de tratamiento, los daños potenciales deben identificarse y medirse explícitamente.

Eliminar el sesgo de las soluciones de aprendizaje automático en el espacio de la atención médica requiere una atención dedicada desde el diseño hasta la implementación. Esta tecnología tiene el potencial de tener un profundo impacto positivo en el mundo, si se toman las medidas necesarias para garantizar que la industria no propague disparidades o desigualdades raciales.

Allison Langley es gerente de ciencia de datos en Welltok, una empresa de activación de consumidores.