Pular para o conteúdo
IA Seenup, página inicial

Notícias de IA em português,
várias vezes por dia

Modelos

Por dentro de uma IA: por que 5 palavras viram milhares

Em vídeo, @VKav explica o que chega ao modelo junto com sua pergunta, como ele escolhe cada palavra e por que misturar assuntos na mesma conversa sai mais caro.

Em 3 pontos

  1. Sua pergunta de 5 palavras chega com instruções, anotações e histórico da conversa.
  2. O modelo escreve um pedaço por vez, sorteando entre as continuações mais prováveis.
  3. Assunto novo, conversa nova: contexto acumulado custa mais e pode atrapalhar a resposta.

Redação IA Seenup · via @VKav

3 min de leitura

Vídeo de @VKavAssistir no YouTube

Em números

  • 100 tokensequivalem a ~75 palavras em inglês
  • 142 vezesmenos parâmetros para nota parecida, 2022 a 2024
  • 18 GBmemória de um modelo de 27 bi comprimido
  • 10 vezescusto de entrada da conversa longa no exemplo

Segundo @VKav, no vídeo “Como uma IA Funciona por Dentro”, a pergunta de cinco palavras que você digita chega ao modelo acompanhada de milhares de outras. Ele acompanha esse pedido por dentro do sistema e termina comparando o custo da mesma pergunta em duas conversas diferentes.

O que o vídeo mostra

O criador explica, em linguagem de bastidor, o caminho de uma mensagem. Junto com o que você escreve vão as instruções do serviço, as anotações que ele guardou sobre você e o histórico da conversa. Esse pacote inteiro é reenviado a cada nova mensagem, porque o modelo depende dele para continuar. Na parte final, ele mostra como uma família de modelos de vídeo, que parte de ruído e o transforma em imagem, produziu as cenas de data center do próprio vídeo.

Ilustração gerada por IA

Principais pontos

  • Tudo é contado em tokens. São pedaços de texto: palavras, partes de palavras ou pontuação. Pelas contas dos fabricantes, 100 tokens equivalem a cerca de 75 palavras em inglês. É nessa unidade que o modelo lê, escreve e cobra.
  • O contexto é uma pilha. Ele cita um prompt de sistema (as instruções do serviço) de quase 5.000 palavras e um caso em que 58 ferramentas ocupavam uns 55.000 tokens antes da conversa começar.
  • O modelo é um arquivo de números. Os “pesos” são valores que o treino foi ajustando. Ele diz já ter rodado no notebook um modelo de 27 bilhões de parâmetros, comprimido, em cerca de 18 GB de memória. Cita ainda um levantamento segundo o qual o menor modelo acima de 60% numa prova padrão passou de 540 bilhões de parâmetros em 2022 para 3,8 bilhões em 2024, ou seja, 142 vezes menos.
  • Atenção. O modelo faz a leitura inicial em paralelo e cada posição combina a informação de si mesma e das anteriores. Em “Quando eu estava na praça, eu sentei no banco”, a praça ajuda a entender o banco.
  • Uma palavra por vez, com sorteio. Ele calcula as chances de cada próximo token e pode sortear entre eles. Por isso a mesma pergunta rende respostas diferentes. A “temperatura” regula quanto o sorteio foge do mais provável.
  • Chutes fluentes. Na avaliação dele, o modelo pode continuar uma frase com segurança mesmo sem saber a resposta. Ele cita um artigo de 2025 de um grande laboratório, segundo o qual treino e provas premiam o chute em vez do “não sei”.
  • Memória também ocupa espaço. Os pesos não mudam durante a conversa. O que o serviço recupera sobre você entra no contexto e pode pesar na cota do plano.

A conclusão prática dele é abrir uma conversa nova quando o assunto muda. Em contextos longos, o modelo pode deixar passar uma informação relevante, e uma instrução antiga pode atrapalhar uma tarefa nova. Na comparação final, a mesma pergunta chega sozinha (2.000 tokens) ou junto de 39 mensagens sobre outros temas, ferramentas e anotações (20.000 tokens). Com a mesma tarifa de entrada, a segunda custa 10 vezes mais. Ele lembra ainda que a saída costuma ser mais cara que a entrada, então vale pedir respostas curtas.

Vale assistir se…

Você usa chatbots no dia a dia e quer entender por que a IA “se perde” em conversas longas, por que ela inventa e por que as respostas variam. O vídeo é patrocinado por uma plataforma de geração de vídeo, que ocupa parte do tempo, e o que ele diz sobre o funcionamento interno é explicação do criador, não verificação do portal.

O que muda

Antes

  • Conversa longa com 39 mensagens de outros assuntos
  • Entrada de 20.000 tokens

Depois

  • Conversa nova só com o que a tarefa precisa
  • Entrada de 2.000 tokens, 10 vezes mais barata

Entenda os termos

Token
Pedaço de texto que o modelo lê e escreve: uma palavra, parte dela ou um sinal de pontuação. Também é a unidade de cobrança.
Janela de contexto
Tamanho máximo da pilha de texto que o modelo recebe de uma vez: instruções, memória, histórico e a sua pergunta.
Pesos (parâmetros)
Bilhões de números ajustados no treino que regulam como os sinais passam pela rede e guardam o que o modelo aprendeu.

Gostou? Compartilhe

Aprenda IA do zero

A Trilha IA custa R$ 37 e tem 5 cursos em ebook, com 115 capítulos e 30 projetos com código pronto. As 23 aulas em vídeo são grátis no YouTube.

Conhecer a Trilha IA

Produto relacionado

Webcam Logitech C920s Full HDA webcam mais usada para chamadas, aulas e vídeos, com tampa de privacidade.R$ 347,31 no Pixou R$ 385,90 2x R$ 192,95 sem jurosPreço de 21/11, às 09hVer no Mercado Livre

#publi · Link de afiliado: se você comprar, o portal ganha uma pequena comissão, sem custo a mais para você.

Debate

Ainda não há comentários. Que tal começar o debate?

Os comentários passam por uma revisão rápida (com apoio de IA) antes de aparecer.Regras dos comentários.

Leia também