Kimi K3.1 Pro: criador testa modelo aberto de 3 trilhões de parâmetros
Matthew Berman testa o Kimi K3.1 Pro, modelo de pesos abertos. Ele elogia o 3D e os benchmarks, mas aponta falhas em nó de escalada, jogo e gráficos.
Redação IA Seenup · via @matthew_berman
Em números
- 2,8 triparâmetros no total
- 104 biparâmetros ativos por vez
- 65,7nota no Terminal Bench (Opus 5.5: 66,4)
- US$ 2,11custo por tarefa (Fable 5.1: US$ 7,63)
Segundo @matthew_berman, no vídeo “They actually did it... (Kimi K3.1)”, o Kimi K3.1 Pro é um modelo de “pesos abertos” (ou seja, os arquivos do modelo ficam disponíveis para baixar) de nível de fronteira. Ele passa o vídeo testando o modelo em tarefas práticas e comentando os resultados divulgados pela empresa.
O que o vídeo mostra
Berman diz que assinou o Kimi, baixou o aplicativo de computador e passou a construir vários projetos. O primeiro foi um cubo mágico 3D, teste em que, segundo ele, modelos abertos costumavam falhar. Desta vez, na avaliação dele, o resultado foi "um dos melhores": o cubo gira de forma realista, tem cronômetro, controle por teclado e resolve a si mesmo com um algoritmo.
Depois vieram outros testes: um iPhone 3D no navegador, um nó de escalada no Blender (programa de modelagem 3D), animações explicativas, um clone do jogo Fall Guys, o redesenho de um site e um vídeo de humor absurdo. Por fim, ele analisa os números de desempenho publicados pelo Kimi.
Principais pontos
- 3D é o forte: o cubo mágico passou com folga. O iPhone ficou bonito, mas pouco fiel ao aparelho real.
- Nó de escalada: no Blender, ele considera uma falha. Nas animações, o nó ficou confuso, e o modelo da OpenAI que ele usou na comparação mostrou melhor onde a corda passa por cima e por baixo.
- Jogo estilo Fall Guys: levou 48 minutos e saiu "decente" para um modelo aberto, com cores pastel demais, colisões imprecisas e tremulação na tela.
- Precisa de empurrão: Berman diz que teve de insistir. Ao pedir um gráfico de benchmarks, o modelo primeiro inventou números e só refez com os dados reais depois que ele os forneceu.
- Benchmarks: no Terminal Bench, o Kimi marcou 65,7, contra 66,4 do Opus 5.5. Em computer use (OS World), 79,6. Ele vai mal em ciência.
- Ficha técnica: contexto de 1 milhão de tokens, 2,8 trilhões de parâmetros no total e 104 bilhões ativos por vez (arquitetura de “mistura de especialistas”, em que só parte do modelo trabalha a cada pedido). Aceita imagens.
- Preço: US$ 2 por milhão de tokens de entrada e US$ 10 de saída. A versão rápida custa o dobro e é, segundo o vídeo, duas a três vezes mais veloz.
- Custo por tarefa: na análise da Artificial Analysis mostrada por ele, o Kimi custa US$ 2,11 por tarefa, contra US$ 7,63 do Fable 5.1.
A conclusão do criador: é um modelo muito bom e um ótimo exemplo de IA aberta, mas ainda não alcança o Opus 5.5 nem o GPT 6.1 Soul. Ele também desconfia que o modelo seja "benchmaxado", isto é, ajustado para ir bem nos testes, e especula que parte dele se baseie nesses outros modelos.
Vale assistir se…
Você quer ver demonstrações práticas de um modelo aberto de ponta, com acertos e erros, e acompanhar a comparação de preço e desempenho com os modelos fechados. O vídeo está em inglês e tem um trecho patrocinado, que não entra neste resumo.
O que muda
Antes
- Modelos abertos falhavam no teste do cubo mágico 3D
Depois
- O Kimi K3.1 Pro passou, segundo Berman, entre os melhores resultados
Entenda os termos
- Pesos abertos
- Os arquivos do modelo ficam disponíveis para qualquer um baixar e rodar, diferente de modelos fechados.
- Mistura de especialistas
- Arquitetura em que só uma parte do modelo é ativada a cada pergunta, o que economiza processamento.
- Benchmark
- Teste padronizado usado para comparar o desempenho de modelos de IA.
Gostou? Compartilhe
