
O aumento de material de abuso sexual infantil (CSAM) gerado por inteligência artificial representa uma ameaça significativa à segurança online e ao bem-estar das crianças . De acordo com o Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC), as denúncias de CSAM recebidas por meio de sua linha direta CyberTipline aumentaram 12% em 2023, atingindo o número alarmante de 35.9 milhões de denúncias . Esse aumento alarmante é agravado pelo influxo de CSAM gerado por IA, que não apenas revitimiza as crianças retratadas no conteúdo original, mas também cria novas vias para a exploração e normalização do abuso sexual infantil.
O escopo do problema
De acordo com o Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC), a CyberTipline, um recurso vital para denunciar CSAM (Abuso Sexual Infantil na Internet), recebeu o número impressionante de 35.9 milhões de denúncias em 2023, representando um aumento de 12% em relação ao ano anterior. Esse aumento repentino nas denúncias é agravado pela entrada de CSAM gerado por IA (Inteligência Artificial) , o que apresenta desafios únicos na identificação de vítimas reais e na distinção entre conteúdo real e sintético.
A proliferação de CSAM gerados por IA não só sobrecarrega as agências policiais encarregadas de vasculhar vastas quantidades de conteúdo digital, como também levanta preocupações sobre a potencial exploração de indivíduos vulneráveis, especialmente crianças. Como generativo AI À medida que a tecnologia continua avançando, o risco de uso indevido por criminosos aumenta, exigindo medidas proativas para combater essa ameaça.
Recomendações e estratégias
Para combater a ameaça do CSAM gerado por IA, especialistas do setor e organizações de segurança infantil propuseram diversas recomendações e estratégias. Uma recomendação notável aconselha as empresas a terem cautela na seleção dos conjuntos de dados utilizados para treinamento AI modelos, optando por evitar aquelas compostas exclusivamente por instâncias de CSAM, bem como por adultos conteúdo sexual. Esta precaução é essencial devido à IA generativa's tendência a confundir essas duas categorias.
Além disso, as plataformas de redes sociais e os motores de busca são instados a remover imediatamente links para websites e aplicações que facilitam a disseminação de imagens ilícitas de crianças, impedindo assim a criação de novas instâncias de CSAM online gerado por IA.
Desafios na identificação das vítimas
A identificação de vítimas, frequentemente descrita como um problema de " encontrar uma agulha num palheiro ", tornou-se cada vez mais desafiadora devido à proliferação de CSAM (conteúdo de abuso sexual infantil) gerado por IA (inteligência artificial). As agências de aplicação da lei precisam vasculhar vastas quantidades de conteúdo digital para identificar e proteger vítimas vulneráveis, e o crescente volume de material gerado por IA só aumenta esse número, tornando a tarefa mais dispendiosa em termos de recursos e tempo.
Esforços Colaborativos e Princípios de Segurança por Design

Reconhecendo a urgência desta questão, liderando AI empresas, incluindo OpenAI, Microsoft, Google e Meta se uniram a organizações de segurança infantil como Thorn e All Tech Is Human para combater a geração e disseminação de CSAM gerado por IA. Esta iniciativa inovadora levou ao desenvolvimento de “Segurança desde o projeto”Princípios, que visam prevenir a criação e disseminação de CSAM gerados por IA e outros danos sexuais contra crianças.
Os principais princípios descritos no artigo “ Segurança por Design para IA Generativa: Prevenindo o Abuso Sexual Infantil ” incluem:
| Princípio | Descrição |
|---|---|
| Desenvolvedor | Obtenha conjuntos de dados de treinamento de maneira responsável, detecte e remova CSAM/CSEM, incorpore ciclos de feedback e resolva o uso indevido de adversários durante o desenvolvimento do modelo. |
| Implementar | Lançar modelos após avaliar a segurança infantil, combater conteúdo abusivo e incentivar a propriedade da segurança pelos desenvolvedores. |
| Manter | Compreender e responder ativamente aos riscos de segurança infantil, remover AIG-CSAM gerados por maus atores, investir em pesquisas e soluções futuras. |
Ao implementar estes princípios em todas as fases da AI desenvolvimento, implantação e manutenção, as empresas visam tornar mais difícil para os malfeitores fazerem mau uso IA generativa pelo abuso sexual de crianças.
O papel da legislação e dos formuladores de políticas
Os formuladores de políticas e legisladores também desempenham um papel crucial no enfrentamento dessa questão. A Lei REPORT, recentemente aprovada pelo Senado dos EUA, visa aprimorar a denúncia e o combate à exploração sexual infantil online, estendendo o período de preservação dos provedores para o conteúdo denunciado e concedendo responsabilidade limitada ao NCMEC.'s fornecedores.
No entanto, foram levantadas preocupações sobre o potencial de denúncias excessivas, o que poderia sobrecarregar ainda mais o já sobrecarregado sistema CyberTipline e distrair os investigadores de se concentrarem em casos legítimos.
À medida que a ameaça do CSAM (Abuso Sexual Infantil por Inteligência Artificial) gerado por IA continua a evoluir, é imprescindível que legisladores e representantes do setor colaborem para desenvolver estruturas e diretrizes responsáveis. Essas estruturas devem permitir que as empresas testem, de forma legal e segura, modelos de linguagem complexos para aprimorar as capacidades de detecção, priorizando, ao mesmo tempo, a segurança infantil e a proteção online.
Em 12 de março de 2024, John Shehan, NCMEC's Vice-presidente sênior da Divisão de Crianças Exploradas e Engajamento Internacional, testemunhou sobre danos causados por deepfakes a crianças.
Leia seu depoimento completo aqui
Esforços contínuos e desafios futuros
Embora o compromisso com os princípios de Safety by Design seja um avanço significativo, a batalha contra o CSAM gerado por IA está longe de terminar. As empresas concordaram em divulgar atualizações sobre o progresso dos seus esforços, garantindo transparência e responsabilização. No entanto, o ritmo acelerado dos avanços tecnológicos e as tácticas em constante evolução dos maus actores exigem vigilância e colaboração contínuas entre todas as partes interessadas, incluindo empresas tecnológicas, agências de aplicação da lei e decisores políticos.
Como enfatiza a Dra. Rebecca Portnoff , Vice-Presidente de Ciência de Dados da Thorn, “ Estamos em uma encruzilhada com a IA generativa, que apresenta tanto promessas quanto riscos em nosso trabalho para proteger crianças do abuso sexual ”. Enfrentar esse desafio exigirá uma abordagem multifacetada, que aproveite tanto soluções tecnológicas quanto estruturas legais robustas para proteger os membros mais vulneráveis da sociedade.


