Un profesor de matemáticas de la American University y su equipo crearon un modelo estadístico que puede usarse para detectar información errónea en publicaciones sociales. El modelo también evita el problema de las cajas negras que ocurren en el aprendizaje automático.
Con el uso de algoritmos y modelos informáticos, el aprendizaje automático juega un papel cada vez más importante para ayudar a detener la propagación de información errónea, pero un desafío principal para los científicos es la caja negra de la incognoscibilidad, donde los investigadores no entienden cómo llega la máquina al misma decisión que los entrenadores humanos.
Usando un conjunto de datos de Twitter con tweets de información errónea sobre COVID-19, Zois Boukouvalas, profesora asistente en el Departamento de Matemáticas y Estadística de la Facultad de Artes y Ciencias de la UA, muestra cómo los modelos estadísticos pueden detectar información errónea en las redes sociales durante eventos como una pandemia o un desastre natural. . En una investigación recientemente publicada, Boukouvalas y sus colegas, incluida la estudiante de la UA Caitlin Moroney y la profesora de Ciencias de la Computación Nathalie Japkowicz, también muestran cómo las decisiones del modelo se alinean con las tomadas por humanos.
«Nos gustaría saber qué está pensando una máquina cuando toma decisiones, y cómo y por qué está de acuerdo con los humanos que la entrenaron», dijo Boukouvalas. «No queremos bloquear la cuenta de redes sociales de alguien porque el modelo toma una decisión sesgada».
El método de Boukouvalas es un tipo de aprendizaje automático que utiliza estadísticas. No es un campo de estudio tan popular como el aprendizaje profundo, el tipo complejo y de múltiples capas de aprendizaje automático e inteligencia artificial. Los modelos estadísticos son efectivos y brindan otra forma, algo sin explotar, de combatir la información errónea, dijo Boukouvalas.
Para un conjunto de prueba de 112 tweets reales y con información errónea, el modelo logró un alto rendimiento de predicción y los clasificó correctamente, con una precisión de casi el 90 por ciento. (El uso de un conjunto de datos tan compacto fue una forma eficiente de verificar cómo el método detectó los tweets con información errónea).
«Lo significativo de este hallazgo es que nuestro modelo logró precisión al tiempo que ofrece transparencia sobre cómo detectó los tweets que eran información errónea», agregó Boukouvalas. «Los métodos de aprendizaje profundo no pueden lograr este tipo de precisión con transparencia».
Antes de probar el modelo en el conjunto de datos, los investigadores se prepararon para entrenar el modelo. Los modelos son tan buenos como la información que brindan los humanos. Se introducen prejuicios humanos (una de las razones detrás del prejuicio en la tecnología de reconocimiento facial) y se crean cajas negras.
Los investigadores etiquetaron cuidadosamente los tweets como información errónea o reales, y utilizaron un conjunto de reglas predefinidas sobre el lenguaje utilizado en la información errónea para guiar sus elecciones. También consideraron los matices en el lenguaje humano y las características lingüísticas vinculadas a la desinformación, como una publicación que tiene un mayor uso de nombres propios, puntuación y caracteres especiales. Una sociolingüista, la profesora Christine Mallinson de la Universidad de Maryland en el condado de Baltimore, identificó los tweets por estilos de escritura asociados con información errónea, prejuicios y fuentes menos confiables en los medios de comunicación. Entonces llegó el momento de entrenar al modelo.
«Una vez que agregamos esas entradas al modelo, se trata de comprender los factores subyacentes que conducen a la separación de información buena y mala», dijo Japkowicz. «Es aprender el contexto y cómo interactúan las palabras».
Por ejemplo, dos de los tweets del conjunto de datos contienen «sopa de murciélago» y «covid» juntos. Los investigadores etiquetaron los tweets como información errónea y el modelo los identificó como tales. El modelo identificó que los tweets tenían un discurso de odio, un lenguaje hiperbólico y un lenguaje fuertemente emocional, todos los cuales están asociados con información errónea. Esto sugiere que el modelo distinguió en cada uno de estos tweets la decisión humana detrás del etiquetado y que cumplió con las reglas de los investigadores.
Los siguientes pasos son mejorar la interfaz de usuario del modelo, además de mejorar el modelo para que pueda detectar información errónea en publicaciones sociales que incluyan imágenes u otro tipo de multimedia. El modelo estadístico tendrá que aprender cómo interactúan una variedad de elementos en las publicaciones sociales para crear información errónea. En su forma actual, el modelo podría ser utilizado mejor por científicos sociales u otras personas que estén investigando formas de detectar información errónea.
A pesar de los avances en el aprendizaje automático para ayudar a combatir la información errónea, Boukouvalas y Japkowicz coincidieron en que la inteligencia humana y la alfabetización informativa siguen siendo la primera línea de defensa para detener la propagación de la información errónea.
«A través de nuestro trabajo, diseñamos herramientas basadas en el aprendizaje automático para alertar y educar al público con el fin de eliminar la información errónea, pero creemos firmemente que los humanos deben desempeñar un papel activo para no difundir información errónea en primer lugar», dijo Boukouvalas.
Fuente de la historia:
Materiales proporcionados por Universidad Americana. Original escrito por Rebecca Basu. Nota: El contenido puede editarse por estilo y longitud.
