Pular para o conteúdo
IA Seenup, página inicial

Notícias de IA em português,
várias vezes por dia

Modelos

Pesquisador da Anthropic explica, sem complicar, como se treina um modelo de linguagem

Em vídeo de @matthew_berman, Jeremy Berman, da Anthropic, usa preço de apartamentos para mostrar como redes neurais aprendem e como um modelo vira chatbot.

Em 3 pontos

  1. Uma rede neural aprende ajustando números, os "botões", até errar menos.
  2. Treinado com a internet, o modelo base só completa texto; não foi feito para ajudar.
  3. O pós-treinamento, com exemplos de conversa, transforma o autocompletar em assistente.

Redação IA Seenup · via @matthew_berman

3 min de leitura

Vídeo de @matthew_bermanAssistir no YouTube

Em números

  • 2 trilhõesparâmetros em um modelo grande, citado como exemplo
  • 500 miparâmetros do Qwen usado na demonstração
  • 100 milexemplos de assistente citados para o ajuste

Segundo @matthew_berman, no vídeo “Anthropic Researcher explains how to train LLMs”, ele conversa com Jeremy Berman, pesquisador da Anthropic (os dois dizem não ter parentesco). A proposta é dar uma visão intuitiva de como se constrói um modelo de linguagem, desses que estão por trás de ChatGPT e Claude. Este resumo cobre o trecho inicial da conversa, que vai das redes neurais até o começo do pós-treinamento.

O que o vídeo mostra

Jeremy abre com um exemplo simples: uma planilha de apartamentos em Nova York, com bairro, metragem, número de banheiros e o preço de venda. A pergunta é como fazer o computador descobrir sozinho a regra que liga essas informações ao preço. Em vez de um programador escrever regra por regra, a rede neural ajusta "botões", que são números multiplicados pelas informações de entrada. Ele mostra isso numa demonstração e depois em poucas linhas de código com a biblioteca PyTorch.

Na segunda metade, ele usa um modelo pequeno, o Qwen, para mostrar a diferença entre um modelo "base", que só completa texto, e um modelo ajustado para funcionar como assistente.

Ilustração gerada por IA

Principais pontos

  • Rede neural é ajuste de números. Cada botão indica o peso de uma informação. Se o palpite sai errado, o computador mede o erro (a "perda") e mexe nos botões para errar menos.
  • Quem calcula o ajuste é o software. Segundo Jeremy, ferramentas como PyTorch acompanham quanto cada botão influencia o erro final e empurram cada um na direção certa, passo a passo. O processo se chama retropropagação.
  • Um modelo de linguagem é um arquivo de números mais um programa curto. Quando se fala em modelo de 2 trilhões de parâmetros, são 2 trilhões de números que descrevem o "cérebro". O programa em Python só define como eles se ligam.
  • A mesma ideia vale para texto. O modelo prevê a próxima palavra e dá a cada palavra possível uma probabilidade. No treino, a resposta certa é empurrada para ficar mais provável.
  • Pré-treinamento gera um autocompletar. Treinado com a internet inteira, o modelo base completa textos de forma plausível, sem compromisso com a verdade. Na demonstração com o Qwen de 500 milhões de parâmetros, ele inventou uma frase atribuída a Matthew, algo que o próprio Matthew diz não lembrar de ter falado.
  • Pós-treinamento o transforma em assistente. Pesquisadores notaram que dá para "enganar" o modelo com um formato de conversa (usuário pergunta, assistente responde). Depois, treina-se o modelo com muitos exemplos nesse formato, na casa de 100 mil, incluindo um sinal de parada para ele saber quando terminar. Na comparação, a resposta do modelo ajustado sobre por que o céu é azul fica bem mais útil do que a do modelo base.

Na avaliação de Jeremy, o conteúdo é aprendível por conta própria: ele se descreve como pesquisador autodidata e recomenda seguir a curiosidade em cada etapa.

Vale assistir se…

Você quer entender, sem fórmulas pesadas, por que um modelo de IA é basicamente números ajustados por tentativa e erro. Também vale se tem curiosidade sobre a diferença entre o modelo "cru" da internet e o chatbot que responde de forma educada. O vídeo anuncia ainda partes sobre como ensinar os modelos a "pensar" e se eles conseguem descobrir coisas novas, que ficaram fora deste resumo.

O que muda

Antes

  • Modelo base: completa o texto, pode divagar e não sabe parar

Depois

  • Modelo ajustado: age como assistente, responde à pergunta e sabe quando terminar

Entenda os termos

Parâmetros
São os números ajustáveis do modelo, os "botões". Quanto mais parâmetros, mais padrões complexos ele consegue representar.
Perda (loss)
Medida de quanto o modelo errou. O treino consiste em mexer nos números para essa medida diminuir.
Modelo base
Modelo só pré-treinado com muito texto: ele completa frases prováveis, mas ainda não foi ensinado a conversar nem a ajudar.

Gostou? Compartilhe

Aprenda IA do zero

A Trilha IA custa R$ 37 e tem 5 cursos em ebook, com 115 capítulos e 30 projetos com código pronto. As 23 aulas em vídeo são grátis no YouTube.

Conhecer a Trilha IA

Produto relacionado

Webcam Logitech C920s Full HDA webcam mais usada para chamadas, aulas e vídeos, com tampa de privacidade.R$ 347,31 no Pixou R$ 385,90 2x R$ 192,95 sem jurosPreço de 21/11, às 09hVer no Mercado Livre

#publi · Link de afiliado: se você comprar, o portal ganha uma pequena comissão, sem custo a mais para você.

Debate

Ainda não há comentários. Que tal começar o debate?

Os comentários passam por uma revisão rápida (com apoio de IA) antes de aparecer.Regras dos comentários.

Leia também