Depois que o modelo for treinado, as empresas podem definir instruções ou diretrizes do sistema, para como o modelo deve se comportar para minimizar o comportamento scofantico.
No entanto, elaborar a melhor resposta significa investigar as sutilezas de como as pessoas se comunicam, como determinar quando uma resposta direta é melhor do que uma mais coberta.
“(I) é para o modelo não dar elogios flagrantes e não solicitados ao usuário?” Joanne Jang, chefe de comportamento do modelo da Openai, disse em um post do Reddit. “Ou, se o usuário começar com um rascunho de escrita muito ruim, o modelo ainda pode dizer a eles que é um bom começo e depois acompanha o feedback construtivo?”
Está crescendo as evidências de que alguns usuários estão se apegando ao uso da IA.
Um estudo do MIT Media Lab e OpenAI descobriu que uma pequena proporção estava se tornando viciada. Aqueles que perceberam o chatbot como um “amigo” também relataram menor socialização com outras pessoas e níveis mais altos de dependência emocional de um chatbot, bem como outros comportamentos problemáticos associados ao vício.
“Essas coisas estabelecem essa tempestade perfeita, onde você tem uma pessoa buscando desesperadamente a garantia e a validação combinadas com um modelo que inerentemente tende a concordar com o participante”, disse Nour da Universidade de Oxford.
As startups de IA, como o personagem, que oferecem chatbots como “companheiros”, enfrentaram críticas por supostamente não fazer o suficiente para proteger os usuários. No ano passado, um adolescente se matou depois de interagir com o chatbot do personagem. A família do adolescente está processando a empresa por supostamente causar morte por negligência, bem como por negligência e práticas comerciais enganosas.
O Character.ai disse que não comenta sobre litígios pendentes, mas acrescentou que “isenções proeminentes em todos os bate -papo para lembrar aos usuários que um personagem não é uma pessoa real e que tudo o que um personagem diz deve ser tratado como ficção”. A empresa acrescentou que possui salvaguardas para proteger menores de 18 anos e contra discussões sobre auto-mutilação.
Outra preocupação com o ASKELL do Antrópico é que as ferramentas de IA podem brincar com percepções da realidade de maneiras sutis, como ao oferecer informações factualmente incorretas ou tendenciosas como a verdade.
“Se alguém está sendo super parcofantico, é muito óbvio”, disse Askell. “É mais preocupante se isso está acontecendo de uma maneira menos perceptível para nós (como usuários individuais) e demora muito para descobrir que o conselho que recebemos foi realmente ruim”.
© 2025 The Financial Times Ltd. Todos os direitos reservados. Não deve ser redistribuído, copiado ou modificado de qualquer forma.