Muon, o otimizador que desafia o AdamW há 12 anos, é o avanço mais subestimado em IA?
Segundo @bycloudAI, o Muon, novo método de treino de IA, pode cortar quase pela metade o custo de computação e até tornar viáveis arquiteturas antes descartadas.
Em 3 pontos
- O Muon é um novo otimizador que trata o modelo como matrizes, não como números soltos.
- Segundo o criador, ele igualou o AdamW com cerca de 52% do cálculo em um teste da Moonshot.
- Kimi e DeepSeek já usam o Muon; o desafio é a comunicação entre GPUs.
Redação IA Seenup · via @bycloudAI
Em números
- 52%do cálculo de treino frente ao AdamW
- 16 biparâmetros no modelo testado
- 5,7 tritokens usados no treino
- 12 anosde domínio do AdamW
Segundo @bycloudAI, no vídeo “Muon: The Most Underrated Breakthrough in LLMs”, um novo método de treinar modelos de linguagem chamado Muon recebeu pouca atenção, embora o impacto possa ser tão grande quanto o de novas arquiteturas. Tudo abaixo é o que o criador diz e mostra, não algo confirmado pelo portal.
O que o vídeo mostra
O criador começa explicando o papel do otimizador, a peça que decide quanto cada peso do modelo deve mudar a cada passo do treino. Ele usa a imagem de descer uma montanha no escuro: o gradiente indica a direção da descida, mas não o tamanho do passo. Por mais de uma década, o padrão foi o AdamW, e o Muon, proposto em dezembro de 2024 pelo pesquisador independente Keller Jordan, seria o primeiro método a desafiar esse status quo com sucesso.
Principais pontos
- A diferença central: segundo ele, o AdamW trata cada número do modelo isoladamente. O Muon enxerga as matrizes (as tabelas de números que formam o modelo) como um todo e equilibra as direções da atualização, para que poucas direções não dominem tudo. Esse equilíbrio se chama ortogonalização.
- Atalho matemático: o método exato seria caro demais, então o Muon usa uma aproximação rápida, chamada Newton-Schulz, feita só com multiplicações de matrizes, algo em que as placas de vídeo (GPUs) são boas.
- Dificuldade prática: como precisa da matriz inteira, e ela costuma ficar dividida entre várias GPUs, o Muon exige mais comunicação entre elas.
- Moonshot (Kimi): a empresa mostrou que o Muon escala para modelos grandes, com ajustes em três frentes: controle do crescimento dos pesos, escala do tamanho da atualização e um esquema distribuído. Em um modelo de 16 bilhões de parâmetros treinado com 5,7 trilhões de tokens, atingiu desempenho comparável ao do AdamW com cerca de 52% do cálculo, o que o criador chama de eficiência duas vezes maior.
- DeepSeek V4: usa o Muon na maior parte dos módulos, mas mantém o AdamW em partes que não são matrizes comuns, além de ajustes próprios no cálculo e na divisão do trabalho entre GPUs.
- Ideias descartadas: o artigo Parallax, segundo o criador, sugere que a vantagem de uma variante de atenção depende do Muon. Com AdamW ela fica parecida com a atenção tradicional; com Muon, a vantagem aparece. A conclusão dele é que o otimizador pode decidir se uma ideia parece útil ou inútil.
- Qualidade do aprendizado: outro artigo indica que modelos treinados com Muon aprendem características mais robustas a ruído e mais fáceis de reaproveitar em outras tarefas.
Vale assistir se…
Você quer entender, sem muita matemática, por que o método de treino importa tanto quanto o desenho do modelo, ou acompanha como laboratórios como Kimi e DeepSeek tentam economizar computação. O vídeo tem um trecho patrocinado e propaganda da plataforma do próprio canal, que podem ser ignorados. Para quem não tem base técnica, algumas partes ainda ficam densas.
O que muda
Antes
- Cada número do modelo é atualizado de forma independente
- Ideias de arquitetura eram julgadas só pelo AdamW
Depois
- A matriz inteira é atualizada com direções equilibradas
- Ideias antes descartadas podem passar a funcionar
Entenda os termos
- Otimizador
- Programa que decide quanto cada peso do modelo muda a cada passo do treino, a partir do erro medido.
- Ortogonalização
- Ajuste que equilibra as direções de uma atualização, para poucas direções não concentrarem todo o aprendizado.
- Matriz
- Tabela de números que transforma uma entrada em novas características; os modelos de linguagem são feitos de muitas delas.
Gostou? Compartilhe
