O tempo economizado em coisas como a codificação ativa ficou impressionado com o tempo necessário para solicitar, aguardar e revisar as saídas de IA no estudo.
O tempo economizado em coisas como a codificação ativa ficou impressionado com o tempo necessário para solicitar, aguardar e revisar as saídas de IA no estudo.
Crédito: metr
Na superfície, os resultados do METR parecem contradizer outros benchmarks e experimentos que demonstram aumentos na eficiência da codificação quando as ferramentas de IA são usadas. Mas aqueles geralmente também medem a produtividade em termos de linhas totais de código ou o número de tarefas/cometidos de código discretos/solicitações de tração concluídas, todas as quais podem ser proxies ruins para a eficiência real da codificação.
Muitos dos benchmarks de codificação existentes também se concentram em tarefas sintéticas e algoritmicamente escoráveis criadas especificamente para o teste de referência, dificultando a comparação desses resultados com aqueles focados no trabalho com as bases de código pré-existentes do mundo real. Nesse sentido, os desenvolvedores do METR do estudo relataram em pesquisas que a complexidade geral dos repositórios com os quais trabalha (que média de 10 anos e mais de 1 milhão de linhas de código) limitou o quão útil a IA poderia ser. A IA não foi capaz de utilizar “conhecimento ou contexto importante tácito” sobre a base de código, observam os pesquisadores, enquanto a “alta familiaridade do desenvolvedor com os repositórios (os) repositórios” ajudou sua eficiência de codificação humana nessas tarefas.
Esses fatores levam os pesquisadores a concluir que as ferramentas atuais de codificação de IA podem ser particularmente inadequadas para “configurações com padrões de alta qualidade, ou com muitos requisitos implícitos (por exemplo, relacionados à documentação, teste de cobertura ou revestimento/formatação) que levam os seres humanos substanciais para aprender”. Embora esses fatores possam não se aplicar em “muitas configurações realistas e economicamente relevantes” envolvendo bases de código mais simples, eles podem limitar o impacto das ferramentas de IA neste estudo e situações semelhantes do mundo real.
E mesmo para projetos de codificação complexos como os estudados, os pesquisadores também estão otimistas de que o refinamento adicional das ferramentas de IA pode levar a ganhos futuros de eficiência para os programadores. Sistemas que têm melhor confiabilidade, menor latência ou saídas mais relevantes (por meio de técnicas como andaimes prontos ou ajustes finos) “podem acelerar os desenvolvedores em nosso ambiente”, escrevem os pesquisadores. Eles dizem que há “evidências preliminares” de que o recente lançamento do Claude 3,7 “geralmente pode implementar corretamente a funcionalidade principal dos problemas em vários repositórios incluídos em nosso estudo”.
Por enquanto, no entanto, o estudo do METR fornece algumas evidências fortes de que a utilidade muito provocada da IA para as tarefas de codificação pode ter limitações significativas em certos cenários complexos de codificação do mundo real.