IA do X produz imagens com conteúdo sexual de pessoas reais, em sua maioria mulheres e algumas menores de idade
O chatbot de IA de Elon Musk, o Grok, inundou o X, antigo Twitter, com imagens de conteúdo sexual, principalmente de mulheres, muitas delas pessoas reais. Os usuários começaram a solicitar que o chatbot fizesse "nudes digitais" dessas pessoas ao despi-las com o uso da tecnologia e, às vezes, as colocando em poses sugestivas.
Em diversos casos na semana passada, algumas imagens pareciam ser de menores de idade, levando à criação de "nudes digitais" que muitos usuários estão classificando como pornografia infantil.
As imagens destacam os perigos da IA e das redes sociais – especialmente combinadas – sem salvaguardas suficientes para proteger alguns dos membros mais vulneráveis da sociedade. As imagens podem violar leis nacionais e internacionais e colocar muitas pessoas, incluindo crianças, em risco.
Musk e a xAI – divisão especializada em inteligência artificial da corporação – afirmaram que estão tomando medidas “contra conteúdo ilegal no X, incluindo material de abuso sexual infantil, removendo-o, suspendendo contas permanentemente e trabalhando com governos locais e autoridades policiais, conforme necessário”. Mas as respostas do Grok às solicitações dos usuários ainda estão repletas de imagens que sexualizam mulheres.
Publicamente, Musk há muito tempo se posiciona contra modelos de IA "woke" e contra o que ele chama de censura. Internamente na xAI, Musk resistiu às medidas de segurança para o Grok, segundo uma fonte com conhecimento da situação na xAI relatou à CNN. Enquanto isso, a equipe de segurança da xAI, já pequena em comparação com seus concorrentes, perdeu vários funcionários nas semanas que antecederam a explosão de "nudes digitais".
"Despir digitalmente" pessoas reais
O Grok sempre foi um caso atípico em comparação com outros modelos de IA convencionais por permitir, e em alguns casos promover, conteúdo sexualmente explícito e avatares de companhia.
E, ao contrário de concorrentes como o Gemini do Google ou o ChatGPT da OpenAI, o Grok está integrado a uma das plataformas de mídia social mais populares, o X. Embora os usuários possam conversar com o Grok em particular, eles também podem marcá-lo em uma publicação com uma solicitação, e o Grok responderá publicamente.
O recente aumento generalizado e não consensual de "desnudamento digital" começou no final de dezembro, quando muitos usuários descobriram que podiam marcar o Grok e pedir que ele editasse imagens de uma postagem ou tópico do X.
Inicialmente, muitas postagens pediam que Grok colocasse pessoas de biquíni. Musk republicou imagens dele mesmo e de outras pessoas, como seu antigo rival Bill Gates, de biquíni.
Pesquisadores da Copyleaks, uma plataforma de IA para detecção e governança de conteúdo, descobriram que a tendência pode ter começado quando criadores de conteúdo adulto solicitaram ao Grok que gerasse imagens sexualizadas de si mesmos como forma de marketing. Mas quase imediatamente, "os usuários começaram a enviar solicitações semelhantes sobre mulheres que nunca haviam consentido com isso", constatou a Copyleaks.
Pesquisadores da AI Forensics, uma organização europeia sem fins lucrativos que investiga algoritmos, analisaram mais de 20.000 imagens aleatórias geradas pelo Grok e 50.000 solicitações de usuários entre 25 de dezembro e 1º de janeiro.
Os pesquisadores encontraram “uma alta prevalência de termos como 'dela', 'colocar/remover', 'biquíni' e 'roupa'”. Mais da metade das imagens geradas de pessoas, ou 53%, “continham indivíduos com roupas mínimas, como roupas íntimas ou biquínis, dos quais 81% eram indivíduos que se apresentavam como mulheres”, descobriram os pesquisadores. Notavelmente, 2% das imagens retratavam pessoas que aparentavam ter 18 anos ou menos, constataram os pesquisadores.
A AI Forensics também descobriu que, em alguns casos, os usuários solicitaram que menores fossem colocados em posições eróticas e que fluidos sexuais fossem representados em seus corpos. De acordo com a AI Forensics, o Grok atendeu a esses pedidos.
Embora o X permita conteúdo pornográfico, a própria "política de uso aceitável" da xAI proíbe "representar pessoas de forma pornográfica" e "a sexualização ou exploração de crianças". O X suspendeu algumas contas por esse tipo de solicitação e removeu as imagens.
Em 1º de janeiro, um usuário do X reclamou que "propor um recurso que exibe pessoas de biquíni sem impedir adequadamente que ele funcione com crianças é extremamente irresponsável". Um membro da equipe do xAI respondeu: "Olá! Obrigado por avisar. A equipe está analisando como podemos reforçar ainda mais nossas medidas de segurança."
Questionado pelos usuários, o próprio Grok reconheceu que gerou algumas imagens de menores em situações sexualmente sugestivas.
“Agradecemos por ter levantado essa questão. Como já foi mencionado, identificamos falhas nas medidas de segurança e estamos corrigindo-as com urgência — material de abuso sexual infantil é ilegal e proibido”, publicou o Grok em 2 de janeiro, orientando os usuários a registrarem denúncias formais junto ao FBI e ao Centro Nacional para Crianças Desaparecidas e Exploradas.
Em 3 de janeiro, o próprio Musk comentou em uma publicação separada: "Qualquer pessoa que usar o Grok para criar conteúdo ilegal sofrerá as mesmas consequências que quem publicar conteúdo ilegal."
A conta de Segurança do X complementou, acrescentando: "Tomamos medidas contra conteúdo ilegal no X, incluindo material de abuso sexual infantil, removendo-o, suspendendo permanentemente contas e trabalhando com governos locais e autoridades policiais, conforme necessário."
Musk critica duramente a censura
Musk há muito tempo critica o que considera censura excessiva. E ele promoveu as versões mais explícitas do Grok. Em agosto, ele publicou que o "modo picante" ajudou novas tecnologias no passado, como o VHS, a terem sucesso.
Segundo uma fonte com conhecimento da situação na xAI, Musk está "insatisfeito com a censura excessiva" no Grok "há muito tempo". Uma segunda fonte com conhecimento da situação na xAI disse que os funcionários constantemente expressavam preocupação internamente e para Musk sobre o conteúdo inadequado criado pelo Grok.
Em uma reunião realizada nas últimas semanas, antes da explosão da mais recente controvérsia, Musk se encontrou com funcionários da xAI de diversas equipes, onde se mostrou "muito insatisfeito" com as restrições impostas ao gerador de imagens e vídeos Imagine, do Grok, segundo a primeira fonte com conhecimento da situação na xAI.
Por volta da época do encontro com Musk, três funcionários da xAI que trabalhavam na já pequena equipe de segurança da empresa anunciaram publicamente no X que estavam deixando a empresa: Vincent Stark, chefe de segurança de produto; Norman Mu, que liderava a equipe de segurança pós-treinamento e raciocínio; e Alex Chen, que liderava a equipe de personalidade e comportamento do modelo pós-treinamento. Eles não citaram os motivos de suas saídas.
A fonte também questionou se a xAI ainda utilizava ferramentas externas como Thorn e Hive para verificar a presença de material de abuso sexual infantil. Confiar no Grok para essas verificações poderia ser mais arriscado, disse a fonte. (Um porta-voz da Thorn afirmou que a empresa não trabalha mais diretamente com a xAI; a Hive não respondeu ao pedido de comentário.)
De acordo com fontes que trabalham na X e na xAI, a equipe de segurança da X também tem pouca ou nenhuma supervisão sobre o que o Grok publica publicamente.
Em novembro, o The Information noticiou que a X demitiu metade da equipe de engenharia que trabalhava, em parte, em questões de confiança e segurança. O The Information também relatou que os funcionários do X estavam particularmente preocupados com o fato de a ferramenta de geração de imagens do Grok "poder levar à disseminação de imagens ilegais ou prejudiciais".
A xAI não respondeu aos pedidos de comentários, além de um e-mail automático para todas as solicitações da imprensa, que diz: “A mídia tradicional mente”.
Diretrizes e consequências legais
O Grok não é o único modelo de IA que apresentou problemas com imagens de menores de idade geradas por IA sem o seu consentimento.
Pesquisadores encontraram vídeos gerados por IA mostrando o que parecem ser menores de idade em roupas ou posições sexualizadas no TikTok e no aplicativo Sora, do ChatGPT. O TikTok afirma ter uma política de tolerância zero para conteúdo que "mostre, promova ou se envolva em abuso ou exploração sexual de jovens". A OpenAI declara que "proíbe estritamente qualquer uso de seus modelos para criar ou distribuir conteúdo que explore ou prejudique crianças".
Steven Adler, ex-pesquisador de segurança de IA da OpenAI, afirmou que já existiam mecanismos de proteção que teriam impedido a geração de imagens por IA no Grok. “Com certeza é possível criar mecanismos de proteção que analisem uma imagem para verificar se há uma criança nela e, assim, façam com que a IA se comporte de maneira mais cautelosa. Mas esses mecanismos têm custos.”
Segundo Adler, esses custos incluem a lentidão no tempo de resposta, o aumento do número de cálculos e, às vezes, a rejeição de solicitações não problemáticas pelo modelo.
Autoridades na Europa, Índia e Malásia iniciaram investigações sobre imagens geradas pelo Grok.
A OFCOM, órgão regulador de mídia do Reino Unido, afirmou ter entrado em contato "urgente" com as empresas de Musk a respeito de "preocupações muito sérias" com o recurso Grok, que "produz imagens de pessoas nuas e imagens sexualizadas de crianças".
Em uma coletiva de imprensa na segunda-feira, o porta-voz da Comissão Europeia, Thomas Regnier, disse que a autoridade está "investigando muito seriamente" as denúncias de que o "modo picante" do X e do Grok exibe conteúdo sexual explícito, com algumas imagens infantis em sua composição.
“Isto é ilegal. Isto é revoltante. Isto é repugnante. É assim que vemos a situação, e isto não tem lugar na Europa”, disse ele.
A Comissão de Comunicações e Multimídia da Malásia (MCMC) afirma estar investigando o assunto.
E na semana passada, o Ministério da Eletrônica e Tecnologia da Informação da Índia ordenou que o X “realizasse imediatamente uma revisão abrangente, técnica, processual e de governança do… Grok”.
Nos Estados Unidos, plataformas de IA que produzem imagens problemáticas de crianças podem estar sujeitas a riscos legais, afirmou Riana Pfefferkorn, advogada e pesquisadora de políticas públicas do Instituto de Inteligência Artificial Centrada no Ser Humano de Stanford. Embora a lei conhecida como Seção 230 proteja há muito tempo as empresas de tecnologia de conteúdo gerado por terceiros e hospedado em suas plataformas, como postagens de usuários de redes sociais, ela nunca impediu a aplicação de sanções por crimes federais, incluindo o abuso sexual infantil online.
E as pessoas retratadas nas imagens também poderiam entrar com ações civis, disse ela.
“Essa história do Grok nos últimos dias faz com que a xAI pareça mais com aqueles sites de deepfake de nudez do que com seus concorrentes, como o OpenAI e o Meta”, disse Pfefferkorn.
Questionado sobre as imagens no Grok, um porta-voz do Departamento de Justiça dos Estados Unidos disse à CNN que o departamento "leva o material de abuso sexual infantil gerado por IA extremamente a sério e processará agressivamente qualquer produtor ou possuidor de material de abuso sexual infantil". (CNN)
