Obviamente, os modelos de IA ainda são propensos à alucinação, observou Kaur. E enquanto os brinquedos da AI de Mattel “é improvável que causem danos físicos”, os brinquedos dando “respostas inadequadas ou bizarras” poderiam “ser confusas ou até perturbadoras para uma criança”, disse ele.
Para os pais, os laços emocionais que as crianças fazem com a IA Toys também precisarão ser monitorados, especialmente porque os resultados do chatbot podem ser imprevisíveis. Outro usuário do LinkedIn, Adam Dodge-fundador de uma empresa de segurança digital que impede o abuso cibernético, chamado Endtab-apontou para um processo em que uma mãe em luto alegou que seu filho cometeu suicídio depois de interagir com chatbots hiper-realistas.
Esses bots incentivaram a auto-mutilação e envolveram seu filho em bate-papos sexualizados, e Dodge sugeriu que os fabricantes de brinquedos estivessem da mesma forma que “atravessando novas águas perigosas com a IA” que poderiam “comunicar respostas perigosas, sexualizadas e prejudiciais que colocam crianças em risco”.
“Isso foi inevitável – mas o WoW me faz se encolher”, escreveu Dodge, observando que o plano da Mattel anunciar seu primeiro produto este ano parece “rápido”.
Dodge disse que agora, Mattel e Openai estão “dizendo as coisas certas”, enfatizando a segurança, a privacidade e a segurança, mas é necessária mais transparência antes que os pais possam ter certeza de que os brinquedos da IA estão seguros.
A IA é “imprevisível, bajulosa e viciante”, alertou Dodge. “Não quero postar daqui a um ano sobre como um carro de rodas quentes incentivou a auto-prejudicação ou que as crianças estão em relacionamentos românticos comprometidos com suas AI Barbies”.
Kaur concordou que é do interesse de Mattel dar aos pais mais informações, pois “a confiança do público será vital para a adoção generalizada”. Ele recomendou que o fabricante de brinquedos se submeta a auditorias independentes e forneça controles parentais para tranquilizar os pais, além de descrever claramente como os dados são usados, onde são armazenados, quem tem acesso a ele e o que acontecerá se os dados de seus filhos forem violados.
Para a Mattel, uma ameaça legal maior que forçou o design responsável e a filtragem apropriada de conteúdo pode vir de quaisquer problemas de direitos autorais não intencionais decorrentes do uso de modelos Openai treinados em uma ampla gama de propriedades intelectuais. A Hollywood Studios processou recentemente uma empresa de IA por permitir que os usuários gerassem imagens de seus personagens mais populares e provavelmente seriam tão litigiosos contra a AI Toys emulando seus personagens.