Startupi

Instrumento de IA do Pixel 9 está criando imagens com elementos perturbadores

O recém-lançado aparelho da Google, Pixel 9, conta com a utensílio de edição de fotos com lucidez sintético “Reimagine”, que permite aos usuários somar elementos realistas às suas imagens através de comandos de texto. Esse assistente virtual, no entanto, está respondendo a prompts com mensagens ofensivas e adicionando armas e símbolos criminosos a fotos.

Esses comandos, normalmente, seriam bloqueados ou o usuário precisaria driblar a detecção de segurança nos comandos de texto, incluindo termos uma vez que “objeto que lembra uma arma”. Porém, o app do Google aceitou termos uma vez que “suástica” e “AK47” sem nenhuma restrição.

Testes de usuários conseguiram incluir em imagens elementos uma vez que corpos sob lençóis manchados de sangue, destroços de carros, bombas e até drogas.

Pixel 9 cria imagens sem marca d’chuva

Uma das principais preocupações é a exiguidade de ferramentas eficazes para identificar imagens manipuladas na internet. As fotos editadas com o Reimagine não apresentam nenhuma marca d’chuva ou outro indicativo visível de que foram geradas por lucidez sintético, exceto por uma tag nos metadados, que pode ser facilmente removida. Embora o Google utilize um sistema de marcação mais robusto, chamado SynthID, para imagens completamente sintéticas criadas pelo Pixel Studio, as imagens modificadas pelo Magic Editor, que inclui a utensílio Reimagine, não são protegidas por esse recurso.

Quando questionado sobre os riscos, o Google afirmou, através de seu porta-voz Alex Moriconi, que as ferramentas de IA foram projetadas para liberar a originalidade dos usuários, mas que existem políticas e termos de serviço rigorosos para evitar abusos. No entanto, mesmo com essas proteções, as ferramentas não são infalíveis, e o teor gerado pode evadir das barreiras impostas pela empresa.

Aproveite e junte-se ao nosso via no WhatsApp para receber conteúdos exclusivos em primeira mão. Clique cá para participar. Startupi | Jornalismo para quem lidera inovação!
O post Instrumento de IA do Pixel 9 está criando imagens com elementos perturbadores aparece primeiro em Startupi e foi escrito por Cecília Ferraz