Cómo los algoritmos de las redes sociales promueven el contenido violento y misógino entre los jóvenes varones
Dice que, en general, a las niñas adolescentes les recomendaban contenido muy diferente basado en sus intereses.
Cai dice que material violento y pertubardor empezó a aparecer en su teléfono "de la nada".
Era 2022 cuando Cai, entonces de 16 años, deslizaba rápidamente las imágenes y mensajes en la pantalla de su teléfono. Dice que uno de los primeros videos que vio en su lista de redes sociales fue uno de un tierno perro.
Cuenta que “de la nada” le fueron recomendados videos de alguien siendo atropellado por un automóvil, un monólogo de un influencer compartiendo opiniones misóginas, y otros de peleas violentas. Se preguntó ¿por qué me los enseñan a mí?
Mientras, en Dublín, Andrew Kaung trabajaba como un analista en seguridad de los usuarios en TikTok, un cargo que había ocupado desde diciembre de 2020 hasta junio de 2022.
Indica que él y un colega decidieron examinar lo que los algoritmos de la aplicación les estaban recomendando a los usuarios en Reino Unido, incluidos los de 16 años. Antes había trabajado en Meta, empresa dueña de Instagram, otro de los sitios que usa Cai.Cuando Andrew analizó el contenido de TikTok, quedó alarmado al ver cómo la plataforma les estaba mostrando a algunos varones adolescentes videos que contenían violencia y pornografía, y que promovían ideas misóginas, según le cuenta al programa Panorama de la BBC.
TikTok y otras redes sociales usan herramientas de inteligencia artificial (IA) para retirar la gran mayoría de contenido dañino y alertar de otro contenido para que sea revisado por moderadores humanos. Pero las herramientas de IA no lo pueden identificar todo.
Andrew Kaung relata que durante el tiempo que trabajó en TikTok, todos los videos que no eran retirados o señalados por la IA para que fueran revisados por los moderadores humanos -o reportados por otros usuarios a los moderadores- sólo eran revisados manualmente si alcanzaban cierto umbral de visualizaciones.
En ese momento, ese umbral se colocó en 10.000 visualizaciones o más, comenta. Eso significaba que algunos usuarios jóvenes estaban siendo expuestos a videos dañinos. La mayoría de las empresas de redes sociales permiten que las personas se registren desde los 13 años.
TikTok afirma que el 99% del contenido que retira por la violación de sus reglas es descartado por la IA o por moderadores humanos antes de que alcance 10.000 visualizaciones. Añade que realiza investigaciones proactivas sobre videos que alcanzan menos de esa cantidad de visualizaciones.
