No ano de 2022, um jovem, que na época tinha 16 anos, começou a notar mudanças alarmantes em seu feed de redes sociais.
O primeiro vídeo que chamou sua atenção foi de um cachorro adorável, mas logo outros tipos de conteúdo surgiram de forma preocupante.
Ele relatou que, de repente, começou a receber recomendações de vídeos que mostravam pessoas sendo atropeladas, monólogos de influenciadores com opiniões misóginas e cenas de violência, questionando: “Por que isso está aparecendo para mim?”.
Em Dublin, Andrew Kaung, que atuava como analista de segurança do usuário em uma popular rede social, decidiu investigar os algoritmos de recomendações do aplicativo, especialmente em relação a usuários adolescentes nos Reino Unido.
Previamente, ele havia trabalhado em uma empresa concorrente e ficou chocado ao descobrir que vídeos que promoviam violência e conteúdo sexual eram mostrados para adolescentes, como ele relatou em um programa de notícias.
Andrew notou que as recomendações variavam drasticamente, dependendo de interesses prévios, especialmente entre adolescentes do sexo feminino que recebiam conteúdos diferentes em comparação aos meninos.
Embora a rede social utilize inteligência artificial para filtrar conteúdo prejudicial, a eficácia dessas ferramentas é questionável. Andrew alertou que muitos vídeos apenas passavam pela análise humana após atingirem um número elevado de visualizações, levantando preocupações sobre a exposição de jovens a material nocivo.
Com uma faixa etária de inscrição a partir dos 13 anos, a situação tornou-se crítica para muitos usuários jovens, que foram expostos a vídeos danosos. Embora a empresa afirme que a maioria do conteúdo violador é removido antes de alcançar as 10 mil visualizações, a efetividade dessa prática é sujeita a discussão.
Em sua experiência prévia, Andrew encontrou um outro problema: a plataforma dependia de usuários para reportar conteúdos prejudiciais após já os terem visto, o que deixava lacunas na proteção aos mais jovens.
Com a timidez das empresas em adotar mudanças significativas, muitos ex-funcionários demonstraram preocupação, ressaltando que os algoritmos recomendam conteúdo perturbador para crianças, mesmo que involuntariamente.
Um levantamento destacou que as empresas têm falhado em tratar os jovens com a seriedade adequada, com consequências potencialmente prejudiciais para sua saúde mental e desenvolvimento.
‘Impacto nas Recomendações’
Apesar de a rede social afirmar ter implementado medidas de segurança de ponta para proteger adolescentes, muitos usuários, como o jovem entrevistado, continuam recebendo conteúdos que contradizem suas preferências, refletindo uma falha nos sistemas de recomendação.
Com os algoritmos priorizando o engajamento, independentemente de ser um engajamento positivo ou negativo, a situação se complica. O adolescente afirmou que vídeos violentos eram frequentemente apresentados, mesmo após tentar ajustar suas preferências nas plataformas.
Essa situação leva muitos, como Cai, a se questionarem sobre a responsabilidade das empresas em escutar e respeitar as preferências de seus usuários, especialmente quando se trata de conteúdo que pode impactar negativamente suas vidas.
Um novo regulamento no Reino Unido exigirá que as plataformas verifiquem a idade dos usuários, evitando que crianças sejam expostas a conteúdos nocivos. Em contrapartida, a discussão sobre a regulamentação das redes sociais está em crescimento em outros países, incluindo o Brasil, onde propostas para proteger crianças e adolescentes estão sendo debatidas.
Especialistas enfatizam que o bem-estar de crianças e adolescentes deve estar em primeiro lugar, destacando a necessidade de ajustes mais eficazes nas ferramentas de moderação e nos algoritmos de recomendação para criar um ambiente digital mais seguro.
