Los investigadores recurren al crowdsourcing para obtener mejores recomendaciones de YouTube

En 2019, un análisis realizado por el excientífico informático de Google, Guillaume Chaslot, descubrió que el algoritmo de recomendación de YouTube recomendaba abrumadoramente el video de Russia Today sobre el informe Mueller, el informe del gobierno de EE. UU. que documenta los esfuerzos rusos para interferir en las elecciones presidenciales de 2016. El video, que contenía afirmaciones falsas sobre los hallazgos del informe, tuvo solo 50,000 visitas, pero el algoritmo de YouTube lo destacó sobre cientos de otros videos más populares subidos por medios de comunicación independientes.

Google, propietaria de YouTube, respondió a esta y otras supuestas fallas algorítmicas con ajustes de política y una purga de las cuentas que violan los términos del servicio. Pero una investigación más reciente de Mozilla ofrece evidencia de que YouTube continúa poniendo contenido objetable y cuestionablemente relacionado, que incluye información errónea, contenido violento y gráfico, y discurso de odio, frente a sus usuarios. En un caso documentado por Mozilla, a una persona que vio un video sobre derechos de software se le recomendó un video sobre derechos de armas.

Exasperado por la falta de progreso e inspirado para arrojar luz sobre el tema de la transparencia algorítmica, un equipo del Instituto Federal Suizo de Tecnología de Lausana (EPFL) lanzó la Fundación Tournesol, una organización sin fines de lucro creada para desarrollar un sistema basado en la votación que reclute a los espectadores. para destacar el mejor contenido de YouTube. Con Tournesol, cualquier usuario de YouTube puede crear una cuenta y recomendar contenido, que luego Tournesol agrega y convierte en puntajes por video que representan el «juicio colaborativo» de la comunidad.

De acuerdo con Le Nguyên Hoang, científico de la École Polytechnique Fédérale de Lausan EPFL y uno de los cofundadores de Tournesol, el objetivo es brindar una alternativa más segura y «benevolente» a las recomendaciones de YouTube, impulsada por la influencia de la multitud.

“Tournesol es el resultado de cinco años de discusiones con mis colegas de la EPFL sobre la seguridad y la ética de los algoritmos a gran escala”, dijo Hoang a VentureBeat por correo electrónico. “Como YouTuber científico, rápidamente me preocupé mucho por los algoritmos de recomendación y las campañas de trolls… Con algunos amigos, pasamos un año desarrollando la plataforma en nuestro tiempo libre. En abril de 2021, creamos la Asociación Tournesol sin fines de lucro para apoyar la plataforma”.

Recomendaciones de colaboración abierta

La ciencia es mixta sobre la utilidad del crowdsourcing cuando se aplica a la recomendación de contenido. Reddit, donde la visibilidad de las publicaciones y los comentarios se decide por la cantidad de «votos a favor» acumulados, es un ejemplo infame. La investigación ha demostrado que incluso un solo voto a favor adicional en un comentario puede generar un efecto de bola de nieve, donde más personas en la comunidad votan a favor de ese comentario.

Las razones de este “efecto bola de nieve” varían. Sean Taylor, un científico social de Facebook que fue coautor de un estudio fundamental sobre el tema, especula que las personas confían en los votos a favor para indicar que algo vale la pena, especialmente cuando no están seguros de qué pensar. Alternativamente, dice, es más probable que las publicaciones altamente calificadas llamen la atención y, por lo tanto, más votos de la comunidad.

El crowdsourcing también corre el riesgo de introducir otros sesgos. Los usuarios apasionados por una causa en particular pueden estar más inclinados a registrarse para asegurarse de que sus votos estén representados, por ejemplo. Las voces y las comunidades que no conocen las formas de participar o que no tienen los medios (por ejemplo, acceso a una computadora con Chrome) podrían quedar excluidas sin querer. Independientemente de quién participe, los usuarios suelen estar motivados por la emoción, la medida en que una opinión coincide con la suya y si están familiarizados con una fuente de información, independientemente de la veracidad de la fuente.

El sesgo puede surgir a lo largo de varias dimensiones, como lo han demostrado los estudios de algoritmos de recomendación de los años. En un artículo de investigación de 2020, los coautores demostraron que un conjunto de datos popular de calificaciones de películas podría hacer que un algoritmo proporcione sugerencias menos relevantes para las mujeres que para los hombres porque el conjunto de datos contenía más calificaciones de hombres. Otro trabajo ha encontrado que el algoritmo de recomendación de anuncios de Facebook discrimina por género y raza.

Hoang reconoce los problemas, pero argumenta que el crowdsourcing es un reemplazo sensato para los sistemas motivados financieramente de YouTube, que priorizan la “participación”, es decir, las visualizaciones de anuncios, a expensas de la mayoría de las demás métricas. Un informe de 2019 de Bloomberg alega que los ejecutivos de YouTube ignoraron las advertencias del personal y permitieron que los videos tóxicos impulsados ​​​​por algoritmos se produjeran sin control para aumentar la audiencia.

“La gobernanza y la supervisión de los algoritmos a gran escala actuales son frustrantemente deficientes”, dijo. “[A]Los algoritmos claramente están siendo utilizados como armas por campañas de desinformación organizadas, [but] aun cuando no estén armados, proporcionando adictivo contenido para maximizar la retención, los algoritmos de recomendación están sesgados hacia contenido sensacionalista, divisivo e irritante… [These] los algoritmos no son auditados ni auditables por entidades externas”.

Se han propuesto varios remedios legislativos para el problema de los algoritmos de recomendación dañinos, incluida una disposición en el proyecto de Ley de IA de la Unión Europea que impondría restricciones a los sistemas de IA que “manipulen” el comportamiento humano, las opiniones o las decisiones “en su detrimento”. En los EE. UU., un proyecto de ley presentado recientemente, la Ley NUDGE de redes sociales, ordenaría a las agencias que identifiquen métodos de «contenido neutral» para ralentizar la propagación de contenido dañino e información errónea impulsada por algoritmos en las redes sociales.

Pero Hoang dice que estos esfuerzos no van lo suficientemente lejos y no se garantiza que tengan éxito. El lenguaje de la Ley de IA en torno a los sistemas de recomendación se ha suavizado en borradores posteriores, y la Ley NUDGE de redes sociales, junto con otros proyectos de ley de EE. UU. para regular los algoritmos, sigue estancada en el Congreso.

“Lo que queremos sobre todo es que una gobernanza algorítmica global de este tipo se diseñe con las mejores soluciones posibles para que sea eficaz, escalable, segura, robusta, transparente, interpretable, justa y confiable”, agregó. “Es crucial tener en cuenta que, ya sea que usemos las redes sociales o no, todos tenemos interés en la información que los sistemas de recomendación a gran escala distribuyen miles de millones de veces al día a otros usuarios”.

Desafíos y visión

Tournesol, al igual que YouTube, utiliza algoritmos para potenciar sus recomendaciones, que se basan en los votos de los usuarios en la plataforma y las puntuaciones asociadas a cada vídeo. (Recuerde que los votos en Tournesol se agregan y se convierten en puntajes para videos). Para emitir un voto, los usuarios comparan dos videos que han visto y luego eligen el que recomendarían sobre el otro en una escala móvil. Un sistema de «garantía» requiere que los usuarios estén certificados en función de la «confiabilidad» de sus dominios de correo electrónico para protegerse contra cuentas falsas, y los usuarios no pueden ver cómo han votado otros al comparar videos.

Al comparar videos, los usuarios de Tournesol también pueden indicar si un video cumple con criterios como «confiable y no engañoso», «claro y pedagógico» e «importante y procesable» en comparación con el otro video. Los resultados se canalizan a un conjunto de datos público que se usa para entrenar los algoritmos para proporcionar recomendaciones en inglés, francés y alemán.

EPFL ha contribuido al código fuente abierto de Tournesol, así como a las nuevas empresas tecnológicas PolyConseil y Kleis, que participaron en el proyecto a través de su programa Tech for Good. Las características en los trabajos incluyen páginas de perfil de votante, la capacidad de comparar videos directamente en YouTube a través de la extensión de Chrome y visualizaciones que muestran votos de «subpoblaciones de interés» como periodistas y expertos en la materia.

Hoang es franco sobre los obstáculos que deben superarse antes de que Tournesol se gradúe de un esfuerzo de investigación. Por ejemplo, los colaboradores del proyecto están explorando cómo asignar pesos a los votos para que los expertos tengan, según el video, más influencia sobre las recomendaciones que los no expertos. También están investigando formas en que las comunidades subrepresentadas en Tournesol pueden aumentar su influencia a la de los grupos dominantes, como los hombres blancos, para combatir el sesgo algorítmico.

“La principal limitación actual, con diferencia, es la falta de datos. Necesitamos desesperadamente que más personas participen en la revisión de contenido, para ayudarnos a asignar puntuaciones más sólidas a tantos videos importantes de YouTube como sea posible. Una vez que se demuestre que Tournesol es eficaz y robusto para identificar el contenido principal, convencer a las grandes empresas de información para que aprovechen nuestros puntajes será un gran desafío”, dijo Hoang. “[But] imagínese si, en lugar de amplificar el discurso de odio y los llamados a la violencia como lo hacen actualmente, los algoritmos de recomendación compartieran masiva y repetidamente los numerosos llamados a la paz que los valientes activistas por la paz están haciendo… [S]Dichos algoritmos podrían convertirse en un fantástico aliado para la paz mundial”.