La inteligencia artificial detrás de los coches que se conducen solos, el análisis de imágenes médicas y otras aplicaciones de visión por ordenador se basa en lo que se llama redes neuronales profundas.
Modeladas libremente en el cerebro, consisten en capas de «neuronas» interconectadas -funciones matemáticas que envían y reciben información- que se «disparan» en respuesta a las características de los datos de entrada. La primera capa procesa una entrada de datos en bruto – como los píxeles de una imagen – y pasa esa información a la siguiente capa superior, activando algunas de esas neuronas, que luego pasan una señal a capas aún más altas hasta que finalmente llega a una determinación de lo que hay en la imagen de entrada.
Pero aquí está el problema, dice la profesora de informática de Duke, Cynthia Rudin. «Podemos introducir, digamos, una imagen médica, y observar lo que sale por el otro extremo (‘esta es una imagen de una lesión maligna’, pero es difícil saber lo que pasó en el medio.»
Es lo que se conoce como el problema de la «caja negra». Lo que sucede en la mente de la máquina – las capas ocultas de la red – es a menudo inescrutable, incluso para la gente que la construyó.
«El problema con los modelos de aprendizaje profundo es que son tan complejos que no sabemos realmente lo que están aprendiendo», dijo Zhi Chen, un estudiante de doctorado en el laboratorio de Rudin en Duke. «A menudo pueden aprovechar información que no queremos que tengan. Sus procesos de razonamiento pueden estar completamente equivocados».
Rudin, Chen y el estudiante de Duke, Yijie Bei, han encontrado una forma de abordar este tema. Modificando el proceso de razonamiento detrás de las predicciones, es posible que los investigadores puedan resolver mejor los problemas de las redes o entender si son confiables.
La mayoría de los enfoques intentan descubrir lo que llevó a un sistema de visión computarizada a la respuesta correcta después del hecho, señalando las características o píxeles clave que identificaron una imagen: «El crecimiento en esta radiografía de tórax fue clasificado como maligno porque, para el modelo, estas áreas son críticas en la clasificación del cáncer de pulmón». Tales enfoques no revelan el razonamiento de la red, sólo donde estaba mirando.
El equipo Duke intentó una táctica diferente. En lugar de intentar dar cuenta de la toma de decisiones de una red sobre una base post hoc, su método entrena a la red para mostrar su trabajo expresando su comprensión sobre los conceptos a lo largo del camino. Su método funciona revelando lo mucho que la red recuerda diferentes conceptos para ayudar a descifrar lo que ve. «Desenreda cómo se representan los diferentes conceptos dentro de las capas de la red», dijo Rudin.
Dada una imagen de una biblioteca, por ejemplo, el enfoque permite determinar si las diferentes capas de la red neural dependen de su representación mental de «libros» para identificar la escena y en qué medida.
Los investigadores descubrieron que, con un pequeño ajuste en una red neuronal, es posible identificar objetos y escenas en imágenes con la misma precisión que la red original, y aún así obtener una interpretación sustancial en el proceso de razonamiento de la red. «La técnica es muy simple de aplicar», dijo Rudin.
El método controla la forma en que la información fluye a través de la red. Implica la sustitución de una parte estándar de una red neuronal por una nueva parte. La nueva parte restringe a una sola neurona de la red a disparar en respuesta a un concepto particular que los humanos entienden. Los conceptos podrían ser categorías de objetos cotidianos, como «libro» o «bicicleta». Pero también podrían ser características generales, como «metal», «madera», «frío» o «caliente». Al tener una sola neurona que controla la información sobre un concepto a la vez, es mucho más fácil entender cómo «piensa» la red.
Los investigadores probaron su enfoque en una red neuronal entrenada por millones de imágenes etiquetadas para reconocer varios tipos de escenas interiores y exteriores, desde aulas y patios de comida hasta patios y patios de recreo. Luego la activaron con imágenes que no había visto antes. También buscaron ver cuáles eran los conceptos en los que más se basaban las capas de la red al procesar los datos.
Chen saca una trama que muestra lo que pasó cuando introdujeron una imagen de un atardecer naranja en la red. Su red neuronal entrenada dice que los colores cálidos en la imagen del atardecer, como el naranja, tienden a asociarse con el concepto «cama» en las primeras capas de la red. En resumen, la red activa la «cama neuronal» en gran medida en las primeras capas. A medida que la imagen viaja a través de capas sucesivas, la red se basa gradualmente en una representación mental más sofisticada de cada concepto, y el concepto de «avión» se activa más que la noción de «cama», tal vez porque los «aviones» se asocian más a menudo con los cielos y las nubes.
Es sólo una pequeña parte de lo que está pasando, para estar seguros. Pero a partir de esta trayectoria los investigadores son capaces de capturar aspectos importantes del tren de pensamiento de la red.
Los investigadores dicen que su módulo puede ser conectado a cualquier red neural que reconozca imágenes. En un experimento, lo conectaron a una red neuronal entrenada para detectar el cáncer de piel en fotos.
Antes de que una IA pueda aprender a detectar un melanoma, debe aprender qué hace que los melanomas se vean diferentes de los lunares normales y otras manchas benignas en la piel, mediante el tamizado de miles de imágenes de capacitación etiquetadas y marcadas por expertos en cáncer de piel.
Pero la red parecía estar invocando un concepto de «frontera irregular» que formó por su cuenta, sin ayuda de las etiquetas de entrenamiento. Las personas que anotaron las imágenes para su uso en aplicaciones de inteligencia artificial no habían tomado nota de esa característica, pero la máquina sí.
«Nuestro método reveló una deficiencia en el conjunto de datos», dijo Rudin. Tal vez si hubieran incluido esta información en los datos, habría dejado más claro si el modelo razonaba correctamente. «Este ejemplo sólo ilustra por qué no debemos poner fe ciega en los modelos de «caja negra» sin ninguna pista de lo que pasa dentro de ellos, especialmente para los diagnósticos médicos difíciles», dijo Rudin.
