Pular para o conteúdo
IA Seenup, página inicial

Notícias de IA em português,
várias vezes por dia

Pesquisa

Astra, da OpenAI, lê e edita os "pesos" de outras IAs: o que a pesquisa do MIT mostra

Segundo @TwoMinutePapers, o Astra leu, consertou e melhorou outras IAs mexendo em seus números internos, mas o canal avisa que a cobertura exagera o alcance.

Em 3 pontos

  1. O Astra, da OpenAI, leu os números internos de outras IAs e descobriu em quais jogos elas foram treinadas.
  2. Editando esses números, ele destravou um carro virtual e um modelo de matemática preso em ciclos.
  3. O criador alerta: são experimentos separados, em IAs pequenas, e nem sempre funciona.

Redação IA Seenup · via @TwoMinutePapers

2 min de leitura

Vídeo de @TwoMinutePapersAssistir no YouTube

Em números

  • ~8%acertos do Qwen no teste de matemática antes
  • ~48%acertos do Qwen depois da edição

Segundo @TwoMinutePapers, no vídeo “The OpenAI Astra Weight Hack, Explained”, uma pesquisa do MIT pode ser um divisor de águas para a IA, mas vem sendo mal compreendida na imprensa. O criador diz que quer separar o que o trabalho realmente faz do que se tem exagerado.

O que o vídeo mostra

Os pesos de uma rede neural são aquela enorme sopa de números que define os neurônios e as conexões de um "cérebro digital". Funcionam bem, mas costumam ser incompreensíveis. De acordo com o vídeo, os cientistas usaram o Astra, da OpenAI, para interpretar esses números e até modificá-los.

O canal descreve três feitos, cada um em um experimento separado: ler, consertar e melhorar.

Ilustração gerada por IA

Principais pontos

  • Ler: olhando apenas os pesos de outra IA, o Astra identificou em quais jogos ela havia sido treinada, como versões simplificadas de Breakout, Pong e Pac-Man.
  • Consertar: numa IA que dirigia um carro e travava numa rampa, o Astra editou os números e, depois da mudança, o carro passou. O criador compara a uma cirurgia cerebral para IAs.
  • Melhorar: no Qwen, um modelo aberto que dá para rodar em casa, o acerto num teste de matemática subiu de cerca de 8% para cerca de 48%.

Segundo o vídeo, o Qwen não era ruim em matemática. Ele entrava em ciclos de raciocínio, repetindo-se sem sair do lugar. O Astra testou o modelo várias vezes, viu o que dava errado, achou as partes da rede responsáveis pelo ciclo e as editou para suprimir esse comportamento.

O que o criador diz que está sendo exagerado

  • O Astra não "ensinou matemática" ao Qwen; ele ajudou a destravar algo que o modelo já tinha.
  • Ler, consertar e melhorar não acontecem ao mesmo tempo. São experimentos separados, em geral com IAs pequenas e montagens sob medida.
  • Não é algo que só o Astra faz: já existem experimentos independentes que leem qual jogo uma rede aprendeu, usando modelos abertos menores.
  • Não funciona sempre: ao tentar melhorar o Gemma 3, outro modelo de linguagem, o Astra não conseguiu ganhos relevantes. Também não é verdade, diz ele, que isso sempre funcione nem que IAs se aprimorem automaticamente umas às outras assim.

Há ainda um resultado extra: o Astra conseguiu escrever do zero uma rede que joga, sem o treinamento por tentativa e erro (o chamado aprendizado por reforço). Segundo o criador, uma avaliação completa para esse tipo de "programação no espaço dos pesos" está sendo montada. Ele pede cautela, admite que é "só um estudante" e que pode estar errado, e conclui que, mesmo limitado, o trabalho é impressionante.

Vale assistir se…

Vale assistir se você viu manchetes empolgadas sobre o Astra e quer uma leitura mais calibrada do que foi demonstrado. O vídeo é curto, em inglês, e usa exemplos visuais, como o carro na rampa. A descrição traz o link para o texto original da pesquisa, para quem quiser conferir os detalhes.

O que muda

Antes

  • Qwen resolvia cerca de 8% das tarefas
  • Entrava em ciclos de raciocínio repetitivo

Depois

  • Qwen resolve cerca de 48% das tarefas
  • Partes ligadas ao ciclo foram suprimidas

Entenda os termos

Pesos
Os números dentro de uma rede neural que definem como seus neurônios digitais se conectam e, assim, como a IA se comporta.
Modelo aberto
IA cujos pesos estão disponíveis ao público, de modo que qualquer pessoa pode baixar e rodar no próprio computador.
Aprendizado por reforço
Treino por tentativa e erro, em que a IA aprende a jogar ou agir com base em recompensas, repetindo muitas vezes.

Gostou? Compartilhe

Aprenda IA do zero

A Trilha IA custa R$ 37 e tem 5 cursos em ebook, com 115 capítulos e 30 projetos com código pronto. As 23 aulas em vídeo são grátis no YouTube.

Conhecer a Trilha IA

Debate

Ainda não há comentários. Que tal começar o debate?

Os comentários passam por uma revisão rápida (com apoio de IA) antes de aparecer.Regras dos comentários.

Leia também