Compartilhe minha pesquisa é a coluna da Synced que convida os estudiosos a compartilharem suas próprias descobertas de pesquisa com mais de 1,5 milhão de entusiastas globais de IA. Além dos avanços tecnológicos, Compartilhe minha pesquisa também exige histórias interessantes por trás da pesquisa e ideias de pesquisa interessantes. Entre em contato conosco: chain.zhang@jiqizhixin.com
Conheça os autores
Instituições: Universidade Penn State, Universidade Duke, Google DeepMind, Universidade de Washington, Meta, Universidade Tecnológica de Nanyang e Universidade Estadual de Oregon. Os co-autores são ShaokunZhang da Penn State University e Ming Yin da Universidade Duke.
Nos últimos anos, os sistemas multiagentes LLM têm atraído ampla atenção por sua abordagem colaborativa para resolver problemas complexos. No entanto, é um cenário comum que esses sistemas falhem em uma tarefa, apesar de uma agitação intensa. Isso deixa os desenvolvedores com uma questão crítica: qual agente, em que ponto, foi responsável pela falha? Examinar vastos registros de interação para identificar a causa raiz é como encontrar uma agulha em um palheiro – um esforço demorado e trabalhoso.
Esta é uma frustração familiar para os desenvolvedores. Em sistemas multiagentes cada vez mais complexos, as falhas não são apenas comuns, mas também incrivelmente difíceis de diagnosticar devido à natureza autônoma da colaboração dos agentes e às longas cadeias de informações. Sem uma maneira de identificar rapidamente a origem de uma falha, a iteração e a otimização do sistema são interrompidas.
Para enfrentar esse desafio, pesquisadores de Universidade Estadual da Pensilvânia e Universidade Dukeem colaboração com instituições, incluindo Google DeepMindintroduziram o novo problema de pesquisa de “Atribuição automatizada de falhas.” Eles construíram o primeiro conjunto de dados de referência para esta tarefa, Quem e quandoe desenvolveram e avaliaram vários métodos de atribuição automatizados. Este trabalho não apenas destaca a complexidade da tarefa, mas também abre um novo caminho para aumentar a confiabilidade dos sistemas multiagentes LLM.
O artigo foi aceito como Apresentação em destaque na conferência de aprendizado de máquina de alto nível, ICML 2025e o código e o conjunto de dados agora são totalmente de código aberto.
Artigo: https://arxiv.org/pdf/2505.00212
Código: https://github.com/mingyin1/Agents_Failure_Attribution
Conjunto de dados: https://huggingface.co/datasets/Kevin355/Who_and_When
Antecedentes e Desafios da Pesquisa
Os sistemas multiagentes orientados por LLM demonstraram imenso potencial em muitos domínios. Contudo, estes sistemas são frágeis; erros cometidos por um único agente, mal-entendidos entre agentes ou erros na transmissão de informações podem levar ao fracasso de toda a tarefa.
Atualmente, quando um sistema falha, os desenvolvedores muitas vezes ficam com métodos manuais e ineficientes para depuração:
Arqueologia de toras manuais : os desenvolvedores devem revisar manualmente os longos registros de interação para encontrar a origem do problema.
Confiança na experiência : O processo de depuração depende muito do profundo conhecimento do desenvolvedor sobre o sistema e a tarefa em questão.
Essa abordagem de depuração “agulha em um palheiro” não é apenas ineficiente, mas também dificulta gravemente a iteração rápida do sistema e a melhoria da confiabilidade do sistema. Há uma necessidade urgente de um método automatizado e sistemático para identificar a causa das falhas, preenchendo eficazmente a lacuna entre os “resultados da avaliação” e a “melhoria do sistema”.
Contribuições principais
Este artigo traz diversas contribuições inovadoras para enfrentar os desafios acima:
1. Definindo um Novo Problema: O artigo é o primeiro a formalizar a “atribuição automatizada de falhas” como uma tarefa específica de pesquisa. Esta tarefa é definida pela identificação do agente responsável pela falha e o passo de erro decisivo que levou ao fracasso da tarefa.
2. Construindo o primeiro conjunto de dados de referência: quem e quando : Este conjunto de dados inclui uma ampla variedade de logs de falhas coletados de 127 sistemas multiagentes LLM, que foram gerados por algoritmos ou criados manualmente por especialistas para garantir realismo e diversidade. Cada log de falha é acompanhado por anotações humanas refinadas para:
Quem: O agente responsável pela falha.
Quando: A etapa específica da interação onde ocorreu o erro decisivo.
Por que: uma explicação em linguagem natural da causa da falha.
3. Explorando métodos iniciais de “atribuição automatizada”: usando o conjunto de dados Quem e Quando, o artigo projeta e avalia três métodos distintos para atribuição automatizada de falhas:
– All-at-Once: Este método fornece ao LLM a consulta do usuário e o log completo de falhas, solicitando que ele identifique o agente responsável e a etapa decisiva do erro em uma única passagem. Embora seja rentável, pode ser difícil identificar erros precisos em contextos longos.
– Passo a passo: Esta abordagem imita a depuração manual, fazendo com que o LLM revise o log de interação sequencialmente, fazendo um julgamento em cada etapa até que o erro seja encontrado. É mais preciso na localização da etapa do erro, mas incorre em custos mais elevados e corre o risco de acumular erros.
– Pesquisa Binária: Um compromisso entre os dois primeiros métodos, esta estratégia divide repetidamente o log ao meio, usando o LLM para determinar qual segmento contém o erro. Em seguida, ele pesquisa recursivamente o segmento identificado, oferecendo um equilíbrio entre custo e desempenho.
Resultados experimentais e principais conclusões
Os experimentos foram conduzidos em dois ambientes: um em que o LLM conhece a resposta verdadeira para o problema que o sistema multiagente está tentando resolver (Com a verdade fundamental) e um onde isso não acontece (Sem verdade fundamental). O modelo principal utilizado foi o GPT-4o, embora outros modelos também tenham sido testados. A avaliação sistemática destes métodos no conjunto de dados Quem e Quando produziu vários insights importantes:
– Um longo caminho a percorrer: Os métodos atuais estão longe de ser perfeitos. Mesmo o método único com melhor desempenho alcançou uma precisão de apenas cerca de 53,5% na identificação do agente responsável e uma mera 14,2% na identificação da etapa exata do erro. Alguns métodos tiveram desempenho ainda pior do que a adivinhação aleatória, ressaltando a dificuldade da tarefa.
– Nenhuma solução “tudo em um”: Diferentes métodos se destacam em diferentes aspectos do problema. O Tudo de uma vez método é melhor para identificar “Quem”, enquanto o Passo a passo O método é mais eficaz para determinar “Quando”. O Pesquisa binária O método fornece um desempenho intermediário.
– Abordagens híbridas são promissoras, mas têm um custo alto: Os pesquisadores descobriram que combinar diferentes métodos, como usar a abordagem All-at-Once para identificar um agente potencial e depois aplicar o método Passo a Passo para encontrar o erro, pode melhorar o desempenho geral. No entanto, isso vem com um aumento significativo no custo computacional.
– Luta de modelos de última geração: Surpreendentemente, mesmo os modelos de raciocínio mais avançados, como OpenAI o1 e DeepSeek R1, consideram esta tarefa um desafio.- Isto realça a dificuldade inerente à atribuição automatizada de falhas, que exige um nível de raciocínio mais elevado do que o necessário para tarefas mais convencionais.
– A importância do raciocínio explícito: Fornecer prompts explícitos que exigem que o LLM explique seu raciocínio nos métodos All-at-Once e Step-by-Step demonstrou melhorar o desempenho. 
– O comprimento do contexto é um fator limitante: O estudo também revelou que à medida que o comprimento do contexto dos logs de falhas aumenta, o desempenho de todos os métodos de atribuição tende a diminuir, com um impacto mais pronunciado na precisão da identificação da etapa do erro.
– Perspectivas Futuras: Preparando o Caminho para Sistemas Multiagentes Mais Confiáveis
A “atribuição automatizada de falhas” é um componente crucial no ciclo de vida de desenvolvimento de sistemas multiagentes. Tem o potencial de transformar o desafio de identificar “o que correu mal e quem é o culpado” de um mistério desconcertante num problema quantificável e analisável. Ao construir uma ponte entre avaliação e melhoria, podemos criar sistemas multiagentes mais confiáveis, inteligentes e confiáveis.