Os profissionais de marketing promovem ferramentas de desenvolvedor assistidas pela AI como cavalos de trabalho essenciais para o engenheiro de software atual. A plataforma do desenvolvedor Gitlab, por exemplo, afirma que sua dupla Chatbot pode “gerar instantaneamente uma lista de tarefas” que elimina o ônus de “percorrer semanas de começos”. O que essas empresas não dizem é que essas ferramentas são, por temperamento, se não forem inadimplentes, facilmente enganadas por atores maliciosos para executar ações hostis contra seus usuários.
Pesquisadores da empresa de segurança Legit na quinta -feira demonstraram um ataque que induziu a dupla a inserir código malicioso em um roteiro que foi instruído a escrever. O ataque também pode vazar código privado e dados confidenciais, como detalhes de vulnerabilidade de dia zero. Tudo o que é necessário é que o usuário instrua o chatbot a interagir com uma solicitação de mesclagem ou conteúdo semelhante de uma fonte externa.
Lâmina de dois gumes dos assistentes de IA
O mecanismo para desencadear os ataques é, obviamente, injeções rápidas. Entre as formas mais comuns de explorações de chatbot, as injeções rápidas são incorporadas ao conteúdo com o qual um chatbot é solicitado a trabalhar, como um email a ser respondido, um calendário para consultar ou uma página da Web para resumir. Os grandes assistentes baseados em modelos de idiomas estão tão ansiosos para seguir as instruções que receberão ordens de praticamente qualquer lugar, incluindo fontes que podem ser controladas por atores maliciosos.
Os ataques direcionados à dupla vieram de vários recursos que são comumente usados pelos desenvolvedores. Os exemplos incluem solicitações de mesclagem, commits, descrições e comentários de bugs e código -fonte. Os pesquisadores demonstraram como as instruções incorporadas dentro dessas fontes podem desviar a dupla.
“Essa vulnerabilidade destaca a natureza de dois gumes de assistentes de IA como a Gitlab Duo: quando profundamente integrados aos fluxos de trabalho de desenvolvimento, eles herdam não apenas o contexto-mas o risco”, escreveu Omer Mayraz legítimo. “Ao incorporar instruções ocultas no conteúdo aparentemente inofensivo do projeto, fomos capazes de manipular o comportamento da dupla, exfiltrar o código -fonte privado e demonstrar como as respostas da IA podem ser aproveitadas para resultados não intencionais e prejudiciais”.