Placas NVIDIA 'destravadas' dobram a velocidade da IA? Criador diz que não é bem assim
Segundo @willian.design, o desbloqueio de placas NVIDIA via Linux chega perto de 2x em teste de matemática, mas no uso real o ganho varia muito e só vale para modelos em BF16.
Em 3 pontos
- Desbloqueio de placas NVIDIA promete quase 2x, mas só em teste de matemática.
- Só vale no Linux e em modelos de IA em BF16, não nos quantizados.
- Em chatbots, a velocidade de resposta não muda; imagens ganham de 47% a 59%.
Redação IA Seenup · via @willian.design
Em números
- 71 vs 154,8teraflops BF16: RTX 3090 vs RTX A6000
- 47% a 59%ganho relatado em geração de imagem BF16
- 68% a 80%ganho no teste de matemática na 3090 Ti
Segundo @willian.design, no vídeo “Destravaram as placas da NVIDIA: dobra a velocidade da IA?”, a comunidade encontrou um jeito de liberar o desempenho de algumas placas de vídeo da NVIDIA para rodar IA. O objetivo dele é “quebrar o hype”. Ele avisa que não testou nada: todos os dados vêm de relatos públicos de quem experimentou.
O que o vídeo mostra
O criador explica que placas de games e placas profissionais podem usar o mesmo chip, mas a versão de games vem com parte do desempenho limitado por configuração. Ele compara a RTX 3090 (cerca de 71 teraflops em BF16, uma medida de velocidade de cálculo) com a RTX A6000 (154,8), que usa o mesmo chip. Para ele, é só uma configuração, sem necessidade de overclock nem de mexer na BIOS.
Pelo que ele entendeu, o ajuste é feito na inicialização do Linux, antes de o driver de vídeo carregar. Como é uma opção, dá para ligar e desligar, e a placa não é modificada.
Principais pontos
- Limitações: só funciona em Linux, só em algumas placas e apenas em modelos BF16 (versão de 16 bits, mais leve que o modelo completo e com pouca perda de qualidade).
- Modelos quantizados não ganham nada: as versões comprimidas, como GGUF Q4 ou Q3, feitas para PCs mais fracos, não mudam de velocidade.
- Teste de laboratório: em multiplicação de matrizes, os ganhos relatados foram de 68% a 80% na 3090 Ti, 25% a 67% na 3090 e 70% a 73% na 3080 de 10 GB. Não é um modelo de IA rodando.
- Geração de imagem (ComfyUI): ganhos de 47% a 59% em modelos BF16. Na 3090 Ti, as imagens saíram idênticas bit a bit, segundo o teste citado.
- Chatbots (LLMs): só ajuda na leitura de prompts muito grandes. Na geração da resposta, em tokens por segundo, não muda, porque quem limita é a velocidade da memória da placa.
- Placas citadas: séries 30 e 40, com status variados (a 4090 aparece como validada, outras como experimentais). Ele também cita um relato no Twitter, de um perfil que ele diz parecer ligado à Colorful, sobre a 2080 Ti chegar perto de uma 3090 bloqueada usando 250 W em vez de 350 W. Ele ressalta que não sabe a veracidade.
Ele cita dois projetos da comunidade no GitHub, mas não ensina o passo a passo e diz que quem tentar assume o risco. Também sugere um possível vídeo testando na própria RTX 3050 de 8 GB.
Vale assistir se…
Você usa IA local e quer entender, sem exagero, o que esse desbloqueio muda. Na avaliação dele, vale testar para quem usa Linux, modelos BF16, prompts longos, modelos de imagem em BF16 ou faz fine-tuning (treino de modelos). Para quem usa Llama ou LM Studio com modelos GGUF, que ele diz ser a maioria, não muda nada, e em jogos também não.
O que muda
Antes
- Placa de games limitada de fábrica
- Menos teraflops em BF16
Depois
- Ajuste na inicialização do Linux
- Ganho em modelos BF16, sem mudar a placa
Entenda os termos
- BF16
- Formato de 16 bits para rodar IA: metade do tamanho do modelo completo, mais rápido e com pouca perda de qualidade.
- Quantizado (GGUF)
- Modelo comprimido para caber em PCs com menos memória de vídeo, mais leve, mas com perda de qualidade.
- Teraflops
- Medida de quantos cálculos a placa faz por segundo.
Gostou? Compartilhe
