Pular para o conteúdo
IA Seenup, página inicial

Notícias de IA em português,
várias vezes por dia

Modelos

Kimi K3.1 encara upgrade de código legado: passou nos testes, mas com gambiarras

Segundo @manodeyvin, o Kimi K3.1 atualizou uma API Rails 5.2 para 7.2 e os 45 testes passaram, mas ele não daria a tarefa como concluída.

Em 3 pontos

  1. O Kimi K3.1 atualizou uma API legada de Rails 5.2 para 7.2 e de Ruby 2.7 para 4.
  2. Os 45 testes passaram e a aplicação subiu, mas com gambiarras pelo caminho.
  3. O criador não daria a tarefa como concluída sem testes ponta a ponta.

Redação IA Seenup · via @manodeyvin

3 min de leitura

Vídeo de @manodeyvinAssistir no YouTube

Em números

  • 45testes automatizados no projeto
  • 36falhas no primeiro teste do Kimi
  • jun/2022fim das correções de segurança do Rails 5.2
  • mar/2023fim das correções do Ruby 2.7

Em vez de pedir joguinho ou cena 3D, o criador do canal @manodeyvin, no vídeo “Kimi K3.1 encarou código legado de verdade”, deu ao modelo chinês uma tarefa de rotina de programador: atualizar um sistema antigo. Ele avisa que o vídeo é patrocinado pela Moonshot, empresa do Kimi, e diz que ela não teve acesso ao teste nem comprou a opinião dele.

O que o vídeo mostra

O criador montou uma API de locadora escrita "do jeito de 2019", com Rails 5.2 e Ruby 2.7 (um framework e uma linguagem de programação), com 45 testes automatizados que passavam. A missão do Kimi era subir para Rails 7.2.4 e Ruby 4.0.9, sem mudar rotas, status nem o formato das respostas. Tudo rodava em Docker, e o projeto não tinha controle de versões (git).

Segundo ele, esse tipo de trabalho assusta: o Rails 5.2 não recebe correção de segurança desde junho de 2022, e o Ruby 2.7, desde março de 2023. Ele diz que há cinco versões de Rails e seis de Ruby no caminho, e que não dá para pular etapas à vontade.

Ilustração gerada por IA

Principais pontos

  • Erro escondendo erro: o criador explica que o Rails avisa antes de remover recursos, mas esses avisos só aparecem nas versões intermediárias. Quem pula direto vai corrigindo um problema e descobrindo o próximo.
  • Falha silenciosa: certas mudanças não geram erro, e a API continua respondendo com status 200 mesmo devolvendo dados errados. Ele cita uma mudança no filtro do Rails na versão 6.1 como exemplo.
  • Tropeços no caminho: o Kimi não resolveu tudo de primeira. Houve 36 falhas e erro 500 em todas as rotas autenticadas, contornado pelo modelo ao carregar a chave secreta pela configuração. Ele também adaptou um validador de CPF que não era carregado, trocou métodos removidos nas novas versões e fez uma única alteração em um teste.
  • Bibliotecas atualizadas: o Kimi subiu versões de pacotes como Puma e RSpec (o RSpec foi de 4 para 8) para ficarem compatíveis com o Rails 7.2.
  • Resultado: a aplicação subiu sem avisos, a rota de saúde respondeu e os testes passaram. O próprio Kimi admitiu no relatório que não testou em produção nem cenários fora dos 45 exemplos.
  • Imprevistos: o criador diz que o acesso à versão preview foi banido no começo e que teve de pagar um plano do próprio bolso (cerca de 19 dólares), com pedido de reembolso à Moonshot. Também reclama do uso de contexto, que chegou a 47% da janela de 256 mil, e da demora.

Vale assistir se…

Você trabalha com programação e quer ver um teste de IA em tarefa de rotina, não em demonstração vistosa. Também vale se você já enfrentou a tarefa de "atualizar o framework" que ninguém quer pegar.

O veredito dele é de cautela. Ele considera que o Kimi teve "jogo de cintura", com gambiarras parecidas com as que um humano faria, e que o resultado funcionou. Ainda assim, não daria o card como concluído: faria testes ponta a ponta, conferindo tudo na mão, porque não sabe o quanto pode confiar em uma suíte de testes de um projeto que não conhece. Ele fecha pedindo aos espectadores tarefas reais em que a IA falhou, para testar nos próximos vídeos.

O que muda

Antes

  • Rails 5.2 e Ruby 2.7
  • Sem correção de segurança há anos

Depois

  • Rails 7.2.4 e Ruby 4.0.9
  • 45 testes passando e API no ar

Entenda os termos

Código legado
Programa antigo, feito por outras pessoas, que ainda está em uso e que ninguém quer mexer por medo de quebrar.
Rails e Ruby
Ruby é uma linguagem de programação; Rails é um conjunto de ferramentas feito nela para criar sistemas e APIs para a web.
Gem
Pacote de código pronto, de terceiros, que um projeto em Ruby instala para não ter que escrever tudo do zero.

Gostou? Compartilhe

Aprenda IA do zero

A Trilha IA custa R$ 37 e tem 5 cursos em ebook, com 115 capítulos e 30 projetos com código pronto. As 23 aulas em vídeo são grátis no YouTube.

Conhecer a Trilha IA

Debate

Ainda não há comentários. Que tal começar o debate?

Os comentários passam por uma revisão rápida (com apoio de IA) antes de aparecer.Regras dos comentários.

Leia também