Pular para o conteúdo
IA Seenup, página inicial

Notícias de IA em português,
várias vezes por dia

Modelos

MiniMax M3.1 Flash na bateria de testes: bom em página e conserto de código, fraco em relatórios

Em vídeo patrocinado, @VKav testa o novo modelo da MiniMax: nota 87 numa página, 100 em debug, mas 25 em análise de arquivos e 8 em perguntas com pegadinha.

Redação IA Seenup · via @VKav

3 min de leitura

Vídeo de @VKavAssistir no YouTube

Em números

  • 87/100nota da página de assinatura
  • 100/100nota em conserto de código (debug)
  • 25/100nota em relatório sobre arquivos
  • 77,41nota geral em 209 execuções

Segundo @VKav, no vídeo “M3.1 Flash: a MiniMax Voltou!”, o novo modelo da MiniMax tem pontos fortes claros e limitações importantes. O criador avisa que o vídeo é patrocinado pela empresa, que aceitou ver o modelo passar pela bateria de testes do canal, com acertos e erros à mostra. O M3 anterior, diz ele, foi por meses seu favorito em custo-benefício para manter a curadoria de notícias do site dele.

O que o vídeo mostra

O criador roda o M3.1 Flash na "Régua", sua plataforma de testes para membros do canal. No vídeo, ele detalha duas provas: a criação de uma página na internet e o conserto de um sistema com bugs. Depois, mostra onde o modelo tropeçou. Ele conta que a MiniMax afirmou, no anúncio, que a versão que circulou anonimamente, ligada ao Space Bunny, era uma prévia do M3.1 Flash. Os testes dele usaram a versão oficial.

Ilustração gerada por IA

Principais pontos

  • Página de assinatura: o modelo recebeu o pedido de uma página de membros, com benefícios, valores e perguntas frequentes. O criador elogia o visual, a resposta dos botões e a animação suave das perguntas. Uma checagem automática achou um defeito: em telas de 320 pixels de largura, parte da página passa da borda. A nota foi 87 de 100, de uma única execução. Ele diz que precisaria de mais amostras para prometer o mesmo nível sempre.
  • Custo: a página exigiu 46 chamadas ao modelo. Pela tabela de preços da API que ele consultou em 27 de outubro, equivale a pouco menos de 9 centavos de dólar. Ele ressalta que é uma estimativa, não a fatura de quem assina um plano.
  • Conserto de código: numa lojinha em Python com defeitos, como frete cobrado errado e cupom que descontava também o frete, o modelo passou nos 19 testes nas seis execuções. Na versão difícil, com 20 testes, também passou nas seis. A nota foi 100 de 100. Os testes originais não foram alterados, e as execuções mostradas custaram menos de meio centavo (normal) e 1,47 centavo de dólar (difícil), em equivalente da API.
  • Relatório sobre arquivos: aqui o resultado piora. Com dados de vendas, o modelo passou em cinco de seis testes na versão normal e em nenhum na difícil, o que dá 25 de 100. Numa resposta, ele afirmou que junho cairia para quarto lugar, quando os próprios números indicavam sexto.
  • Perguntas com pegadinha: em 72 respostas, a nota foi 8 de 100. Muitas vezes ele notava que a premissa estava errada, mas inventava uma explicação alternativa. Numa pergunta sobre o computador Patinho Feio, da USP, respondeu que era um programa infantil da TV Cultura.
  • Outras falhas: uma execução terminou dizendo que ia escrever a ferramenta pedida, mas não escreveu. Nas peças visuais, o criador achou o Uno com escada simples demais e viu cabos soltos no rack. O jogo de arena foi a melhor peça, com nota 90, apesar de um botão cortado no celular.
  • Nota geral: em 209 execuções válidas, 77,41 de 100, na categoria economia, sem liderar o recorte. Ele não comparou velocidade e custo com o modelo anterior, apesar de o lançamento prometer ganhos nesses pontos.

Vale assistir se…

Você mantém scripts, automações ou ferramentas internas e quer ver como avaliar uma IA que programa, com testes que não dependem da palavra do modelo. Também serve a quem pensa em testar o M3.1 Flash e quer saber onde ele merece desconfiança.

A recomendação do criador é começar por algo que dê para abrir, revisar ou conferir com testes. Para análises que você não consegue verificar, ele vê risco, porque foi nesse tipo de tarefa que apareceram os erros. Lembre que o vídeo é patrocinado e que os números são de um conjunto de testes do próprio criador.

Entenda os termos

Token
Pedaço de texto, como uma sílaba ou palavra curta, que a IA lê e escreve. A cobrança da API costuma ser por milhão de tokens.
Debug
Processo de achar e corrigir erros em um programa.
Cache
Reaproveitamento de um trecho que a IA já leu, cobrado por tarifa diferente da leitura nova.

Gostou? Compartilhe

Aprenda IA do zero

A Trilha IA custa R$ 37 e tem 5 cursos em ebook, com 115 capítulos e 30 projetos com código pronto. As 23 aulas em vídeo são grátis no YouTube.

Conhecer a Trilha IA

Produto relacionado

Webcam Logitech C920s Full HDA webcam mais usada para chamadas, aulas e vídeos, com tampa de privacidade.R$ 347,31 no Pixou R$ 385,90 2x R$ 192,95 sem jurosPreço de 21/11, às 09hVer no Mercado Livre

#publi · Link de afiliado: se você comprar, o portal ganha uma pequena comissão, sem custo a mais para você.

Debate

Ainda não há comentários. Que tal começar o debate?

Os comentários passam por uma revisão rápida (com apoio de IA) antes de aparecer.Regras dos comentários.

Leia também