Um dos “padrinhos” da inteligência artificial atacou uma corrida multibilionária para desenvolver a tecnologia de ponta, dizendo que os modelos mais recentes estão exibindo características perigosas, como mentir para os usuários.
Yoshua Bengio, um acadêmico canadense cujo trabalho informou técnicas usadas pelos principais grupos de IA, como Openai e Google, disse: “Infelizmente, há uma corrida muito competitiva entre os principais laboratórios, o que os leva a focar na capacidade de tornar a IA mais e mais inteligente, mas não necessariamente enfatiza e a ênfase e investimento na pesquisa na segurança” ”
O vencedor do Turing Award emitiu seu aviso em uma entrevista ao Financial Times, enquanto lançava uma nova organização sem fins lucrativos chamada LawZero. Ele disse que o grupo se concentraria na construção de sistemas mais seguros, prometendo “isolar nossa pesquisa dessas pressões comerciais”.
Até agora, Lawzero levantou quase US $ 30 milhões em contribuições filantrópicas de doadores, incluindo o engenheiro fundador do Skype, Jaan Tallinn, a ex -iniciativa filantrópica do chefe do Google Eric Schmidt, além de filantropia aberta e o futuro Instituto da Vida.
Muitos dos financiadores do Bengio assinam o movimento “altruísmo eficaz”, cujos apoiadores tendem a se concentrar em riscos catastróficos em torno dos modelos de IA. Os críticos argumentam que o movimento destaca cenários hipotéticos enquanto ignora os danos atuais, como preconceitos e imprecisões.
Bengio disse que seu grupo sem fins lucrativos foi fundado em resposta a evidências crescentes nos últimos seis meses de que os principais modelos de hoje estavam desenvolvendo capacidades perigosas. Isso inclui mostrar “evidências de engano, trapaça, mentira e autopreservação”, disse ele.
O modelo de Claude Opus do Anthropic chantageou engenheiros em um cenário fictício, onde corria o risco de ser substituído por outro sistema. A pesquisa da IA testadores de Palisade no mês passado mostrou que o modelo O3 da OpenAI recusou instruções explícitas para desligar.
Bengio disse que esses incidentes foram “muito assustadores, porque não queremos criar um concorrente para os seres humanos neste planeta, especialmente se eles forem mais inteligentes que nós”.
O pioneiro da IA acrescentou: “No momento, essas são experiências controladas (mas) minha preocupação é que, a qualquer momento no futuro, a próxima versão possa ser estrategicamente inteligente o suficiente para nos ver vindo de longe e nos derrotar com decepções que não antecipamos. Então, acho que estamos tocando com fogo agora”.