O limiar de lucro de US $ 100 bilhões relatado que mencionamos anteriormente conflita sucesso comercial com a capacidade cognitiva, como se a capacidade de um sistema de gerar receita dissesse algo significativo sobre se pode “pensar”, “razão” ou “entender” o mundo como um humano.
Sam Altman fala no palco durante o New York Times Dealbook Summit 2024 no Jazz no Lincoln Center em 4 de dezembro de 2024, na cidade de Nova York.
Crédito: Eugene Gologursky via Getty Images
Dependendo da sua definição, já podemos ter AGI, ou pode ser fisicamente impossível de alcançar. Se você define a AGI como “a IA que tem um desempenho melhor do que a maioria dos humanos na maioria das tarefas”, então os modelos atuais de idiomas potencialmente atendem a essa barra para certos tipos de trabalho (quais tarefas, quais humanos, o que é “melhor”?), Mas concordância se isso é verdade está longe de ser universal. Isso não diz nada sobre o conceito ainda mais sombrio de “superinteligência”-outro termo nebuloso para um intelecto hipotético e semelhante a Deus tão além da cognição humana que, como a AGI, desafia qualquer definição ou referência sólida.
Dado esse caos de definição, os pesquisadores tentaram criar benchmarks objetivos para medir o progresso em direção à AGI, mas essas tentativas revelaram seu próprio conjunto de problemas.
Por que os benchmarks continuam falhando em nós
A busca por melhores benchmarks da AGI produziu algumas alternativas interessantes ao teste de Turing. O corpus de abstração e raciocínio (ARC-AGI), introduzido em 2019 por François Chollet, testa se os sistemas de IA podem resolver novos quebra-cabeças visuais que requerem raciocínio analítico profundo e novo.
“Quase todos os benchmarks atuais de IA podem ser resolvidos exclusivamente por memorização”, disse Chollet ao Freethink em agosto de 2024. Um grande problema com os benchmarks de IA atualmente decorre da contaminação dos dados – quando as perguntas dos testes acabam nos dados de treinamento, os modelos podem parecer bem sem “entender verdadeiramente” os conceitos subjacentes. Os grandes modelos de idiomas servem como imitadores mestre, imitando padrões encontrados nos dados de treinamento, mas nem sempre originam novas soluções para problemas.
Mas mesmo benchmarks sofisticados como o Arc-Agi enfrentam um problema fundamental: eles ainda estão tentando reduzir a inteligência a uma pontuação. E embora os benchmarks aprimorados sejam essenciais para medir o progresso empírico em uma estrutura científica, a inteligência não é uma única coisa que você pode medir como altura ou peso – é uma constelação complexa de habilidades que se manifestam de maneira diferente em diferentes contextos. De fato, nem temos uma definição funcional completa de inteligência humana; portanto, é provável que a definição de inteligência artificial por qualquer pontuação de benchmark única capture apenas uma pequena parte da imagem completa.