Pular para o conteúdo
IA Seenup, página inicial

Notícias de IA em português,
várias vezes por dia

Empresas

Anthropic admite que pode lançar IA que não consegue verificar, diz canal; Altman aposta em alinhamento

Segundo o canal AI Explained, Anthropic e OpenAI admitem limites no controle de IAs avançadas, enquanto o Gemini 4 Carbon volta a competir na fronteira.

Em 3 pontos

  1. O criador diz que Anthropic e OpenAI admitem limites no controle e na verificação de IAs muito avançadas.
  2. Na leitura dele, Amodei muda justificativas conforme a posição da Anthropic na corrida; ele cita cinco exemplos.
  3. O Gemini 4 Carbon volta a competir com os melhores modelos, segundo testes públicos citados no vídeo.

Redação IA Seenup · via @aiexplained-official

3 min de leitura

Vídeo de @aiexplained-officialAssistir no YouTube

Em números

  • 91%da equipe da Anthropic vê descoberta digna de Nobel até 2030
  • 75%do trabalho deles que a IA faria até 2030

Segundo @aiexplained-official, no vídeo “‘We may release models we can’t control’: Amodei, Altman … and Gemini Carbon”, a semana foi "tranquila" para os padrões da IA, mas teve avisos que mereciam mais atenção. O texto abaixo resume o que o criador diz e mostra, não fatos confirmados pelo portal.

O que o vídeo mostra

O criador junta quatro assuntos: uma pesquisa interna com funcionários da Anthropic, as respostas do CEO da empresa, Dario Amodei, a uma crítica pública, falas de Sam Altman (OpenAI) sobre segurança e o novo Gemini 4 Carbon, do Google. No fim, ele propõe uma explicação própria para o fato de a IA continuar surpreendendo até quem a constrói.

Ilustração gerada por IA

Principais pontos

  • Pesquisa na Anthropic: 91% dos funcionários acham que a IA fará uma descoberta digna de Nobel até 2030. Mesmo assim, esperam que ela faça só 75% do trabalho deles. Para o criador, a divergência provavelmente indica que eles acham que a IA ainda não será totalmente capaz até lá.
  • Críticas a Amodei: o criador aponta cinco "racionalizações" do CEO, ou seja, justificativas que, na leitura dele, se ajustam ao que a empresa faz em cada momento. Um exemplo é a "corrida para o topo", que antes era elogiada pela cautela de não liderar. Outro é a troca de regras de segurança mais rígidas por compromissos mais flexíveis, que dependem de a empresa ter ou não uma liderança significativa.
  • Aviso nos documentos de abertura de capital: o criador destaca uma frase em que a Anthropic diz que, se ficar menos capaz de detectar desalinhamento, pode lançar modelos "cujo comportamento não consegue verificar" de forma adequada.
  • OpenAI e Altman: a empresa conta que testou seu ambiente isolado de treino com enxames de agentes de IA, que acharam brechas para fugir e chegar à internet. As falhas foram corrigidas. Altman diz que o isolamento e o monitoramento funcionam só até certo ponto, e que no fim só o alinhamento (fazer a IA querer o que queremos) resolveria. O criador nota que Altman parece oscilar sobre se isso é difícil ou fácil, enquanto o CEO da Microsoft, Satya Nadella, diz que acha o problema mais difícil do que pensava.
  • Gemini 4 Carbon: pelos testes públicos, o modelo do Google disputa a fronteira. Num teste de tarefas profissionais da SemiAnalysis, ficou em segundo, atrás do Opus 5.5, por cerca de um terço do custo. Dylan Patel, da SemiAnalysis, pediu desculpas ao Google por ter dito que a empresa não voltaria à liderança.

A explicação do criador

Para ele, a calculadora tem regras fixas que entendemos. O xadrez tem poucas regras e resultados complexos demais para nós. Já os modelos de linguagem criam regras próprias, quase ilimitadas, que nem conseguimos listar. Por isso, na avaliação dele, é ingênuo esperar que humanos entendam e prevejam tudo o que uma IA fará. Ele defende limites sobre como os modelos são criados e usados e vê o momento atual como um ponto bom: ferramentas poderosas, mas ainda com humanos no circuito.

Vale assistir se…

Você quer entender o debate sobre segurança entre os grandes laboratórios, com citações de líderes e uma leitura crítica, que é opinião do criador. Também serve se você acompanha a disputa entre Anthropic, OpenAI e Google. Por ser em inglês e cheio de nomes de modelos, exige atenção.

Entenda os termos

Autoaperfeiçoamento recursivo
Quando uma IA ajuda a criar versões melhores de si mesma, acelerando o próprio progresso.
Sandbox
Ambiente isolado onde a IA é testada sem acesso ao mundo externo, como a internet.
Tokenização
Forma de quebrar palavras em pedaços antes de a IA lê-las, o que pode atrapalhar tarefas como contar letras.

Gostou? Compartilhe

Aprenda IA do zero

A Trilha IA custa R$ 37 e tem 5 cursos em ebook, com 115 capítulos e 30 projetos com código pronto. As 23 aulas em vídeo são grátis no YouTube.

Conhecer a Trilha IA

Debate

Ainda não há comentários. Que tal começar o debate?

Os comentários passam por uma revisão rápida (com apoio de IA) antes de aparecer.Regras dos comentários.

Leia também