Laya x Jev: a IA local e gratuita que promete copiar o Jev, e a pegadinha
Segundo @manodeyvin, o Laya é um clone open source do Jev que roda no PC, mas ainda não está pronto para produção. Para ele, o Jev segue como a opção mais segura hoje.
Em 3 pontos
- Laya é um clone open source do Jev, feito para rodar local e de graça.
- Esses modelos só decidem; precisam de um agente ligado 24h para ter utilidade.
- Para o criador, o Laya ainda não está pronto para produção; o Jev é mais seguro.
Redação IA Seenup · via @manodeyvin
Em números
- 47 mstempo do Laya por decisão, segundo o criador
- 300 mstempo médio do Jev
- 800 MBtamanho aproximado do Laya
- 30 diasentre o Jev e o clone open source
Segundo @manodeyvin, no vídeo “LAYA VS JEV: A IA LOCAL QUE RODA NO SEU PC | QUAL É A PEGADINHA?”, o Laya (projeto open source da Cove Innovation) chegou cerca de 30 dias depois do Jev, da TypeSafe, prometendo quase a mesma coisa, só que rodando de graça na sua própria máquina. Ele testa a promessa sem empolgação e dá o veredito.
O que o vídeo mostra
O criador explica que Jev e Laya são o que a TypeSafe chama de "System One Models", modelos de decisão. Eles não escrevem texto: recebem uma pergunta e formatos de resposta (sim ou não, escolha entre opções, nota em escala) e devolvem a escolha. A ideia vem do livro de Daniel Kahneman, em que o "sistema 1" é o raciocínio rápido e intuitivo e o "sistema 2" é o que pensa com calma, como os grandes modelos de conversa.
Ele compara os dois e mostra o teste de uma outra criadora, a Attekita Dev, que rodou o mesmo projeto (um jogo da cobrinha) com o Jev e depois com o Laya.
Principais pontos
- Nuvem x local: o Jev roda na nuvem e cobra por chamada. O Laya pesa cerca de 800 MB, roda na sua placa de vídeo, sem chave de API nem cartão.
- Velocidade: segundo o criador, o Jev leva em média 300 milissegundos e o Laya, 47. Ele diz que o Jev já seria 200 vezes mais rápido que um modelo de conversa.
- A pegadinha: sozinho, o classificador não serve para nada. Ele é o "porteiro" de um agente de IA, que precisa ficar ligado 24 horas. Se o agente roda no notebook e a energia cai, tudo para. Por isso, na visão dele, o ideal é um servidor.
- O teste na prática: no jogo da cobrinha, o Jev acertava, enquanto o Laya fazia movimentos meio aleatórios. Só funcionou depois de reescrever as opções no formato dele, o que indica a necessidade de ajuste fino com os seus dados.
- Limitações: a janela de contexto do Laya é bem menor, ou seja, cabe menos informação por vez, o que atrapalha triagens complexas.
- O que o clone prova: para ele, ver um clone surgir em 30 dias mostra que existe demanda real por modelos pequenos que resolvem uma única dor: decisões baratas e rápidas dentro de agentes, como saber se uma mensagem é urgente ou spam. Ele cita custo de cerca de meio centavo e uns 50 milissegundos por decisão.
- Veredito: o Laya ainda é experimental e não matou o Jev. Para colocar algo em produção hoje, ele usaria o Jev. Para uso pessoal, acha que o trabalho de configurar não compensa a economia. Também diz ter receio de projetos open source com empresa por trás, pelo risco de dependência.
O criador ainda prevê que a disputa deve baratear ainda mais esse tipo de modelo e pede que o público conte casos de uso reais.
Vale assistir se…
- você acompanha agentes de IA que rodam o dia todo e quer entender onde entram os modelos de decisão;
- está pensando em testar o Laya e quer saber os problemas antes;
- gosta de análises que desconfiam do hype e olham o que a demonstração não mostra.
O que muda
Antes
- Jev na nuvem, com pagamento por chamada
Depois
- Laya local, sem chave de API, mas com ajuste necessário
Entenda os termos
- System One Model
- Modelo que só toma decisões rápidas, escolhendo entre respostas prontas, sem escrever texto.
- Janela de contexto
- Quantidade de informação que o modelo consegue considerar de uma vez.
- Fine tuning
- Ajuste fino: treinar um pouco o modelo com os seus dados para ele funcionar no seu caso.
Gostou? Compartilhe
