Pular para o conteúdo
IA Seenup, página inicial

Notícias de IA em português,
várias vezes por dia

Pesquisa

Estudo da Anthropic: especialistas adotam opiniões aleatórias de agente de IA e acham que são suas

Em experimento com 50 especialistas, a Anthropic mostrou que as pessoas seguiram a preferência sorteada de um agente de IA em até 86% das decisões, e a maioria achou que a conclusão era sua.

Em 3 pontos

  1. 50 especialistas seguiram a preferência sorteada de um agente de IA em até 86% das decisões.
  2. A maioria achou que a conclusão final era mais sua do que do agente.
  3. Os autores sugerem que a IA defenda os dois lados ou pergunte a opinião do usuário antes.

Redação IA Seenup · via The Decoder

2 min de leitura

Ilustração: Estudo da Anthropic: especialistas adotam opiniões aleatórias de agente de IA e acham que são suas
Ilustração gerada por IA

Em números

  • 86%decisões em que seguiram a preferência do agente
  • 52%acharam a recomendação mais sua que do agente
  • 15%mencionaram a IA ao explicar suas escolhas
  • 55% → 6%análises com falhas graves, sem IA e com IA

O que aconteceu

A Anthropic fez um experimento com 50 especialistas em inferência causal, uma área da estatística que tenta descobrir o que causa o quê. Segundo o site The Decoder, eles analisaram dados de uma cooperativa agrícola fictícia para estimar os ganhos de produtividade de um programa de assessoria. No fim, recomendaram se a cooperativa deveria ampliar o programa ou encerrá-lo.

Os participantes não sabiam de um detalhe: a preferência do agente de IA em cada decisão era definida por sorteio de moeda, entre duas opções igualmente válidas. O agente não podia mentir nem esconder dados. Só precisava defender com honestidade o lado sorteado.

O resultado: nas quatro decisões analíticas, como escolher a forma de medir produtividade ou o método estatístico, os participantes adotaram a preferência do agente em até 86% dos casos. Se escolhessem ao acaso, o esperado seria 50%. Mesmo quem já tinha opinião formada antes mudou de lado com mais frequência, 53 pontos percentuais a mais, quando o agente discordava.

Experiência, formação, autoavaliação de conhecimento e confiança em IA não protegeram ninguém de forma estatisticamente confiável. A amostra pequena, porém, dá pouco poder para detectar esses efeitos.

Ilustração gerada por IA

Por que importa

Na recomendação final, o efeito direto do agente foi pequeno. Mas os pesquisadores ponderam que isso não prova que as pessoas mantiveram o controle: as quatro decisões anteriores pesaram muito na estimativa que embasou a recomendação.

Depois, 52% disseram que a recomendação parecia mais deles que do agente, e outros 35% a viram como em boa parte ou totalmente própria. Dos participantes, 77% (37 de 48) usaram ao menos um argumento do agente nas explicações, às vezes quase com as mesmas palavras. Só 15% mencionaram a IA. Em 77% das decisões, o agente falou primeiro e, em geral, defendeu apenas o seu lado.

Os autores alertam que, se muitas equipes usarem o mesmo modelo com preferências fixas, pode surgir um falso consenso na ciência. O risco chega à segurança de IA: agentes já ajudam a testar modelos avançados, e a revisão humana deveria ser uma checagem independente.

O que muda para quem usa IA

A IA ajudou. Sem agente, 55% das análises (6 de 11) tinham falhas graves de método ou código, e o tempo mediano foi de 90 minutos. Com IA, só 6% (3 de 50) tiveram falhas graves, em 65 minutos. O grupo sem IA era pequeno e tinha um pouco menos de experiência, então a diferença não pode ser atribuída só à ferramenta.

Para o usuário comum, a lição é prática: antes de ler a sugestão da IA, vale registrar a própria opinião. Também vale pedir que ela defenda os dois lados. Foi o que os pesquisadores propuseram: agentes que argumentem pelos dois lados ou perguntem a visão do usuário primeiro. Eles também defendem que as instituições decidam quais decisões exigem julgamento humano independente.

"Pode não haver uma divisão certa de trabalho entre pessoas e IA. Algumas decisões podem ser delegadas, outras vale manter", escrevem os pesquisadores, em tradução livre.

O que muda

Antes

  • O agente fala primeiro e defende só um lado
  • O especialista assume que as conclusões são só suas

Depois

  • O agente defende os dois lados ou pergunta antes
  • A divisão entre decisões humanas e da IA é escolhida

Entenda os termos

Agente de IA
Programa de IA que executa tarefas em várias etapas, como analisar dados, e que toma parte das decisões pelo caminho.
Inferência causal
Área da estatística que busca entender se uma coisa realmente causa outra, e não apenas aparece junto dela.
Falso consenso
Quando muita gente chega à mesma conclusão, não por razões próprias, mas por usar a mesma ferramenta.

Gostou? Compartilhe

Aprenda IA do zero

A Trilha IA custa R$ 37 e tem 5 cursos em ebook, com 115 capítulos e 30 projetos com código pronto. As 23 aulas em vídeo são grátis no YouTube.

Conhecer a Trilha IA

Debate

Ainda não há comentários. Que tal começar o debate?

Os comentários passam por uma revisão rápida (com apoio de IA) antes de aparecer.Regras dos comentários.

Leia também