No passado, melhorar os LLMs em matemática envolveria o aprendizado de reforço com as respostas finais. Luong explicou aos ARs que os modelos treinados dessa maneira podem chegar à resposta correta, mas eles têm “raciocínio incompleto” e parte da classificação da IMO se baseia em mostrar seu trabalho. Para preparar o pensamento profundo para a IMO, o Google usou novas técnicas de aprendizado de reforço com soluções de “resposta longa” de alta qualidade para problemas matemáticos, dando ao modelo melhor fundamento sobre como lidar com todas as etapas a caminho de uma resposta. “Com esse tipo de treinamento, você pode realmente obter um raciocínio robusto e de formato longo”, disse Luong.
Como você pode esperar, o Deep Think leva mais tempo para gerar uma saída em comparação com as versões mais simples que você pode acessar no aplicativo Gemini. No entanto, a IA seguiu as mesmas regras que os participantes de carne e sangue, o que só foi possível devido à sua capacidade de ingerir os problemas como linguagem natural. Gêmeos recebeu as descrições de problemas e deu suas respostas dentro do prazo de 4,5 horas da competição.
Provas rigorosas
Empresas de IA como a DeepMind se interessaram pela IMO nos últimos anos porque apresenta um desafio único. Enquanto a competição visa os matemáticos pré-universitários, as perguntas exigem pensamento crítico e uma compreensão de várias disciplinas matemáticas, incluindo álgebra, combinatória, geometria e teoria dos números. Somente os modelos de IA mais avançados têm alguma esperança de responder com precisão a esses problemas de várias camadas.
A equipe DeepMind apontou alguns aspectos interessantes do desempenho do Deep Think, que eles dizem vêm de seu treinamento avançado. No terceiro problema (abaixo), por exemplo, muitos concorrentes humanos aplicaram um conceito de nível de pós-graduação chamado Teorema de Dirichlet, usando a matemática fora do escopo pretendido da competição. No entanto, o Deep Think reconheceu que era possível resolver o problema com matemática mais simples. “Nosso modelo realmente fez uma observação brilhante e usou apenas a teoria dos números elementares para criar uma prova independente do problema dado”, disse o pesquisador da DeepMind e professor da Brown University, Junehyuk Jung.