Na IA, as alucinações ocorrem quando um LLM produz saídas que são factualmente incorretas, sem sentido ou completamente não relacionadas à tarefa em que foi atribuída. As alucinações há muito tempo perseguem LLMs porque degradam sua utilidade e confiabilidade e se mostraram irritantemente difíceis de prever e remediar. Em um artigo programado para ser apresentado no Simpósio de Segurança de Usenix de 2025, eles apelidaram de fenômeno de “alucinação de pacote”.
Para o estudo, os pesquisadores fizeram 30 testes, 16 na linguagem de programação Python e 14 em JavaScript, que geraram 19.200 amostras de código por teste, para um total de 576.000 amostras de código. Dos 2,23 milhões de referências de pacotes contidas nessas amostras, 440.445, ou 19,7 %, apontaram para pacotes que não existiam. Entre essas 440.445 alucinações de pacotes, 205.474 tinham nomes de pacotes exclusivos.
Uma das coisas que torna as alucinações de pacotes potencialmente úteis nos ataques da cadeia de suprimentos é que 43 % das alucinações de pacotes foram repetidas em mais de 10 consultas. Além disso “, escreveram os pesquisadores,” 58 % das vezes, um pacote alucinado é repetido mais de uma vez em 10 iterações, o que mostra que a maioria das alucinações não é simplesmente erros aleatórios, mas um fenômeno repetível que os atores mais vulleres e que se parecem com mais valores que parecem mais valiosos.
Em outras palavras, muitas alucinações de pacotes não são erros únicos aleatórios. Em vez disso, nomes específicos de pacotes inexistentes são repetidos repetidamente. Os atacantes poderiam aproveitar o padrão, identificando pacotes inexistentes que são repetidamente alucinados. Os atacantes publicariam malware usando esses nomes e esperariam que fossem acessados por um grande número de desenvolvedores.
O estudo descobriu disparidades nas LLMs e linguagens de programação que produziram mais alucinações de pacotes. A porcentagem média de alucinações de pacotes produzidas pela Open Source LLMS, como Codellama e Deepseek, foi de quase 22 %, em comparação com pouco mais de 5 % por modelos comerciais. O código escrito em Python resultou em menos alucinações do que o código JavaScript, com uma média de quase 16 % em comparação com pouco mais de 21 % para JavaScript. Questionado sobre o que causou as diferenças, Spracklen escreveu: