OpenAI oferece ferramenta gratuita para detectar abuso infantil
Classificador feito com o NCMEC analisa imagens, inclusive as geradas por IA, e atribui pontuações para orientar a revisão de moderadores humanos.
Resumo em 30 segundos
A OpenAI anunciou um classificador gratuito para organizações verificadas que atuam na proteção infantil e na segurança digital. Desenvolvida com o NCMEC, a ferramenta identifica sinais de possível abuso em imagens, inclusive as criadas por inteligência artificial. A análise humana continua necessária. A empresa também anunciou novas medidas de segurança no gerador de imagens do ChatGPT.
A OpenAI anunciou nesta segunda-feira (16) uma ferramenta para detectar possíveis imagens de abuso sexual infantil, inclusive as produzidas por inteligência artificial. O classificador será oferecido gratuitamente a organizações selecionadas que atuam na proteção de crianças e na segurança digital.
Desenvolvida em parceria com o Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC, na sigla em inglês), a tecnologia identifica sinais visuais de possível abuso em imagens e atribui uma pontuação ao conteúdo. Essa avaliação serve de apoio à análise de moderadores humanos; a ferramenta não substitui a revisão por pessoas.
A OpenAI afirmou que o sistema aprimora mecanismos anteriores e reduz falsos positivos — casos em que um conteúdo é sinalizado como suspeito sem que corresponda a material de abuso. O acesso será feito pela API da empresa, uma interface que permite a organizações integrar ferramentas de software aos próprios sistemas. Segundo a companhia, poderão utilizar o recurso organizações verificadas, inclusive as que têm equipes menores.
A iniciativa integra um conjunto de medidas para prevenir danos a crianças na internet. A empresa também publicou orientações atualizadas para desenvolvedores sobre como evitar, detectar e responder a conteúdos prejudiciais. Além disso, pretende oferecer ferramentas e treinamento a unidades policiais que trabalham na proteção infantil.
A OpenAI anunciou ainda mudanças nas regras de segurança do gerador de imagens do ChatGPT. Se uma pessoa tentar criar imagens abusivas, a plataforma exibirá um aviso com orientações de especialistas para buscar ajuda. Na primeira ocorrência, a conta será suspensa por 24 horas, mas o suporte permanecerá disponível durante esse período.
Em caso de novas tentativas, a empresa poderá aplicar suspensões mais longas, banir a conta e comunicar o caso às autoridades. A companhia não detalhou quais critérios serão usados para definir cada medida, mas afirmou que as sanções podem se tornar mais severas diante da reincidência.
A pontuação produzida pelo classificador pode ajudar as equipes a priorizar conteúdos que exigem análise, enquanto a revisão humana permite avaliar cada caso antes de uma decisão. A oferta gratuita a instituições verificadas busca ampliar o acesso a recursos de detecção para organizações de segurança infantil.
Para entender
- NCMEC
- O Centro Nacional para Crianças Desaparecidas e Exploradas é uma organização sem fins lucrativos dos Estados Unidos que atua na prevenção da exploração infantil e no apoio a crianças desaparecidas e vítimas de abuso.