Modelos de IA que "dormem" para aprender: o que quatro estudos propõem, segundo o @bycloudAI
O canal @bycloudAI explica pesquisas que dão à IA uma fase de "sono" para organizar memórias e aprender depois de pronta, atacando o problema do conhecimento congelado.
Em 3 pontos
- Hoje, a IA para de aprender quando entra em uso e só enxerga o que está no contexto.
- Pesquisas propõem um "sono": o modelo reprocessa o que viu e consolida em memória.
- Uma fase de "sonhar" cria exemplos próprios para treinar e melhorar os resultados.
Redação IA Seenup · via @bycloudAI
Em números
- 10% → 30%acerto no teste de regras com 3-4 ciclos de sono
- 41,9% → 61,5%acerto em matemática longa com 4 ciclos
- 31,9% → 48,9%acerto em fatos de uma passagem, com sono
- 80%acerto no teste ARC com o método de sono
Segundo o canal @bycloudAI, no vídeo “The Next Scaling Axis of LLM Is… Sleeping?”, a próxima fronteira dos grandes modelos de linguagem pode ser o "sono": um período em que o modelo para de receber informação nova e processa o que viveu para consolidar a memória. Ele apresenta quatro estudos recentes sobre o tema, um deles sobre perda de plasticidade e os outros sobre treino durante o uso e sono.
O que o vídeo mostra
O criador parte de uma limitação antiga: o modelo é treinado por meses e, quando entra em uso, para de aprender. Ele mostra um teste que estima até quando vai o conhecimento real de cada modelo e diz que a data declarada pelos laboratórios às vezes fica bem longe do que o teste encontra.
A partir daí, ele explica por que as saídas atuais não resolvem. Buscar informação externa não é o mesmo que aprender, e treinar de novo o modelo traz dois riscos: esquecer o que já sabia e, pior, perder a capacidade de aprender coisas novas (a chamada perda de plasticidade).

Principais pontos
- Perda de plasticidade: num estudo com modelos de 5 a 314 milhões de parâmetros treinados em oito idiomas, o vietnamita serviu de "prova". Depois de muito treino, o modelo ficava pior em absorver o idioma novo. Modelos maiores resistiam mais, mas, segundo o vídeo, o problema só era adiado.
- Treino durante o uso: uma ideia é manter uma pequena parte do modelo "editável" enquanto ele trabalha. Outro estudo aproveita uma peça que já existe nos modelos atuais, sem refazer tudo do zero. Mas atualizar a cada palavra seria lento.
- Sono como meio-termo: no estudo "Do Language Models Need Sleep?", quando a janela de contexto enche, o modelo reprocessa o mesmo trecho várias vezes antes de apagar o original, e só a memória comprimida permanece. Em um teste de regras lógicas, a acurácia passou de cerca de 10% para mais de 30% com três ou quatro repetições. Em um teste de matemática com textos longos, um dos modelos foi de 41,9% para 61,5%.
- Limite do sono curto: o criador ressalta que essa memória é como uma memória de trabalho. Se o estado for zerado, o conhecimento some.
- Sono com memória permanente: outro estudo move o que é importante de memórias rápidas para outras mais estáveis, criando pequenos módulos novos. Depois vem a fase de "sonhar": o modelo inventa perguntas e exemplos sobre o que aprendeu e treina com eles.
- Resultados: em testes com passagens de texto, sem as passagens no contexto, o método chegou a 48,9% com uma passagem, contra 31,9% do modelo base. Sem o "sonhar", caiu para 35,7%. Em um teste de raciocínio com grades coloridas, o método marcou 80%.
Na avaliação dele, o "tempo de computação de sono" é diferente do raciocínio feito na hora da pergunta, porque acontece antes de se saber a pergunta e se parece mais com aprendizado de verdade.
Vale assistir se…
- você quer entender por que a IA "congela" no tempo e quais caminhos pesquisadores exploram para mudar isso;
- tem curiosidade sobre ideias inspiradas no cérebro humano, como memória de curto e longo prazo e sonhos;
- aceita um vídeo mais técnico, em inglês, com muitos números de testes.
Vale lembrar que tudo acima é a leitura do criador sobre pesquisas ainda recentes, e os resultados vêm de testes em modelos relativamente pequenos.
O que muda
Antes
- Modelo congelado após o treino
- Memória some quando o contexto acaba
Depois
- Fase de sono consolida o que foi visto
- Parte do conhecimento vai para memória mais estável
Entenda os termos
- Perda de plasticidade
- Quando um modelo treinado por muito tempo vai ficando pior em aprender coisas novas.
- Esquecimento catastrófico
- Quando o modelo aprende algo novo, mas estraga o que já sabia.
- Janela de contexto
- O limite de texto que o modelo consegue ter "à vista" de uma vez durante a conversa.
Gostou? Compartilhe
Aprenda IA do zero
A Trilha IA custa R$ 37 e tem 5 cursos em ebook, com 115 capítulos e 30 projetos com código pronto. As 23 aulas em vídeo são grátis no YouTube.
Conhecer a Trilha IA

