Por dentro de uma IA: por que 5 palavras viram milhares
Em vídeo, @VKav explica o que chega ao modelo junto com sua pergunta, como ele escolhe cada palavra e por que misturar assuntos na mesma conversa sai mais caro.
Em 3 pontos
- Sua pergunta de 5 palavras chega com instruções, anotações e histórico da conversa.
- O modelo escreve um pedaço por vez, sorteando entre as continuações mais prováveis.
- Assunto novo, conversa nova: contexto acumulado custa mais e pode atrapalhar a resposta.
Redação IA Seenup · via @VKav
Em números
- 100 tokensequivalem a ~75 palavras em inglês
- 142 vezesmenos parâmetros para nota parecida, 2022 a 2024
- 18 GBmemória de um modelo de 27 bi comprimido
- 10 vezescusto de entrada da conversa longa no exemplo
Segundo @VKav, no vídeo “Como uma IA Funciona por Dentro”, a pergunta de cinco palavras que você digita chega ao modelo acompanhada de milhares de outras. Ele acompanha esse pedido por dentro do sistema e termina comparando o custo da mesma pergunta em duas conversas diferentes.
O que o vídeo mostra
O criador explica, em linguagem de bastidor, o caminho de uma mensagem. Junto com o que você escreve vão as instruções do serviço, as anotações que ele guardou sobre você e o histórico da conversa. Esse pacote inteiro é reenviado a cada nova mensagem, porque o modelo depende dele para continuar. Na parte final, ele mostra como uma família de modelos de vídeo, que parte de ruído e o transforma em imagem, produziu as cenas de data center do próprio vídeo.

Principais pontos
- Tudo é contado em tokens. São pedaços de texto: palavras, partes de palavras ou pontuação. Pelas contas dos fabricantes, 100 tokens equivalem a cerca de 75 palavras em inglês. É nessa unidade que o modelo lê, escreve e cobra.
- O contexto é uma pilha. Ele cita um prompt de sistema (as instruções do serviço) de quase 5.000 palavras e um caso em que 58 ferramentas ocupavam uns 55.000 tokens antes da conversa começar.
- O modelo é um arquivo de números. Os “pesos” são valores que o treino foi ajustando. Ele diz já ter rodado no notebook um modelo de 27 bilhões de parâmetros, comprimido, em cerca de 18 GB de memória. Cita ainda um levantamento segundo o qual o menor modelo acima de 60% numa prova padrão passou de 540 bilhões de parâmetros em 2022 para 3,8 bilhões em 2024, ou seja, 142 vezes menos.
- Atenção. O modelo faz a leitura inicial em paralelo e cada posição combina a informação de si mesma e das anteriores. Em “Quando eu estava na praça, eu sentei no banco”, a praça ajuda a entender o banco.
- Uma palavra por vez, com sorteio. Ele calcula as chances de cada próximo token e pode sortear entre eles. Por isso a mesma pergunta rende respostas diferentes. A “temperatura” regula quanto o sorteio foge do mais provável.
- Chutes fluentes. Na avaliação dele, o modelo pode continuar uma frase com segurança mesmo sem saber a resposta. Ele cita um artigo de 2025 de um grande laboratório, segundo o qual treino e provas premiam o chute em vez do “não sei”.
- Memória também ocupa espaço. Os pesos não mudam durante a conversa. O que o serviço recupera sobre você entra no contexto e pode pesar na cota do plano.
A conclusão prática dele é abrir uma conversa nova quando o assunto muda. Em contextos longos, o modelo pode deixar passar uma informação relevante, e uma instrução antiga pode atrapalhar uma tarefa nova. Na comparação final, a mesma pergunta chega sozinha (2.000 tokens) ou junto de 39 mensagens sobre outros temas, ferramentas e anotações (20.000 tokens). Com a mesma tarifa de entrada, a segunda custa 10 vezes mais. Ele lembra ainda que a saída costuma ser mais cara que a entrada, então vale pedir respostas curtas.
Vale assistir se…
Você usa chatbots no dia a dia e quer entender por que a IA “se perde” em conversas longas, por que ela inventa e por que as respostas variam. O vídeo é patrocinado por uma plataforma de geração de vídeo, que ocupa parte do tempo, e o que ele diz sobre o funcionamento interno é explicação do criador, não verificação do portal.
O que muda
Antes
- Conversa longa com 39 mensagens de outros assuntos
- Entrada de 20.000 tokens
Depois
- Conversa nova só com o que a tarefa precisa
- Entrada de 2.000 tokens, 10 vezes mais barata
Entenda os termos
- Token
- Pedaço de texto que o modelo lê e escreve: uma palavra, parte dela ou um sinal de pontuação. Também é a unidade de cobrança.
- Janela de contexto
- Tamanho máximo da pilha de texto que o modelo recebe de uma vez: instruções, memória, histórico e a sua pergunta.
- Pesos (parâmetros)
- Bilhões de números ajustados no treino que regulam como os sinais passam pela rede e guardam o que o modelo aprendeu.
Gostou? Compartilhe
Aprenda IA do zero
A Trilha IA custa R$ 37 e tem 5 cursos em ebook, com 115 capítulos e 30 projetos com código pronto. As 23 aulas em vídeo são grátis no YouTube.
Conhecer a Trilha IAProduto relacionado
Webcam Logitech C920s Full HDA webcam mais usada para chamadas, aulas e vídeos, com tampa de privacidade.R$ 347,31 no Pixou R$ 385,90 2x R$ 192,95 sem jurosPreço de 21/11, às 09hVer no Mercado Livre #publi · Link de afiliado: se você comprar, o portal ganha uma pequena comissão, sem custo a mais para você.


