Pular para o conteúdo
IA Seenup, página inicial

Notícias de IA em português,
várias vezes por dia

Ferramentas

EmbeddingGemma 2 na prática: busca por sentido em 28 vídeos e quatro ideias de uso

@VKav testou o modelo de busca por sentido do Google nas transcrições de 28 vídeos. Ele achou o vídeo certo em 23 de 24 perguntas, mas aponta limites.

Em 3 pontos

  1. O criador testou o EmbeddingGemma 2 em transcrições de 28 vídeos dele.
  2. O modelo achou o vídeo certo em primeiro lugar em 23 de 24 perguntas.
  3. Ele alerta que o teste foi pequeno e que a busca pode aproximar o tema sem dar a resposta.

Redação IA Seenup · via @VKav

2 min de leitura

Vídeo de @VKavAssistir no YouTube

Em números

  • 23 de 24acertos em 1º lugar com o modelo
  • 5 de 24acertos da busca atual do site
  • 582trechos de transcrição indexados
  • 191 mstempo mediano por consulta

Segundo @VKav, no vídeo “EmbeddingGemma 2: O que é e para que serve?”, esse modelo do Google ajuda a criar buscas que entendem o sentido da pergunta, e não só as palavras exatas. Ele fez um teste com o próprio acervo e apresenta outras quatro aplicações possíveis.

O que o vídeo mostra

O criador parte de um problema comum: lembrar do assunto de um vídeo, mas não encontrá-lo porque a frase não aparece no título. Para testar, ele usou as transcrições de 28 vídeos públicos (mais de 6 horas e meia de conteúdo), divididas em 582 trechos. Cada trecho vira uma lista de 768 números, chamada de embedding, que representa o significado do texto. Um programa compara a pergunta com esses trechos e ordena os mais próximos.

Tudo rodou em um servidor virtual (VPS) com 2 processadores virtuais, 8 GB de memória e sem placa de vídeo, sem pagar por consulta a uma API externa.

Ilustração gerada por IA

Principais pontos

  • O teste: ele comparou três buscas com 24 perguntas de vídeo-alvo conhecido. A busca atual do site (título e tema) acertou o vídeo em primeiro lugar em 5. A busca por palavras nas transcrições (BM25) acertou 21, e o EmbeddingGemma 2 acertou 23.
  • De onde veio o ganho: na avaliação dele, o maior salto foi passar a pesquisar o texto das falas. O modelo teve três ganhos e uma piora sobre o BM25. Entre os cinco primeiros resultados, o vídeo certo apareceu em 22 perguntas com o BM25 e em 24 com o modelo.
  • Limites: o teste foi sintético, sem visitantes reais. Em uma pergunta, o modelo piorou o resultado. Na checagem de se a primeira passagem já continha a resposta, as duas buscas empataram em 14 de 24. Nas quatro perguntas sem resposta nas fontes, o modelo trouxe conteúdo parecido, mas sem a informação pedida.
  • Desempenho: ele carregou só a parte de texto (cerca de 270 milhões de parâmetros). A indexação levou 9 minutos e 15 segundos, e cada consulta cerca de 191 milissegundos na mediana, com pico de 1,94 GB de memória. Ele não mediu várias pessoas buscando ao mesmo tempo.
  • Próximo passo: ele quer combinar busca por palavras e busca por sentido, o que ainda precisa medir.

Ele também descreve quatro projetos possíveis, que não foram testados:

  • uma loja que encontra produtos por necessidade ou por foto;
  • uma central de manuais para equipes e clientes;
  • uma caixa de entrada que sugere a fila certa para cada pedido;
  • um radar que seleciona notícias por interesse.

Em todos, ele ressalta que preço, estoque e regras ficam por conta do programa, e que é preciso mostrar a fonte e medir o acerto.

Vale assistir se…

Você quer entender, sem complicação, como funciona uma busca por sentido e quais são seus limites. Também serve se pensa em montar um serviço próprio de busca, atendimento ou monitoramento de notícias e quer ver números de um teste caseiro. Quem espera um benchmark formal deve lembrar que o próprio criador reconhece que o teste foi pequeno.

O que muda

Antes

  • Busca só por título e tema cadastrados
  • Vídeo certo em 1º lugar em 5 de 24 perguntas

Depois

  • Busca no texto das falas com busca por sentido
  • Vídeo certo em 1º lugar em 23 de 24 perguntas

Entenda os termos

Embedding
Lista de números que representa o significado de um texto, para o programa comparar o quanto dois textos se parecem.
BM25
Método clássico de busca por palavras, que dá pesos aos termos encontrados nos textos.
VPS
Servidor virtual alugado, ligado à internet o tempo todo, onde dá para rodar programas próprios.

Gostou? Compartilhe

Aprenda IA do zero

A Trilha IA custa R$ 37 e tem 5 cursos em ebook, com 115 capítulos e 30 projetos com código pronto. As 23 aulas em vídeo são grátis no YouTube.

Conhecer a Trilha IA

Produto relacionado

Microfone Fifine A6V com tripéÁudio limpo para gravar, transcrever com IA e conversar com assistentes de voz.R$ 309,87ou 12x R$ 30,31Preço de 21/11, às 09hVer no Mercado Livre

#publi · Link de afiliado: se você comprar, o portal ganha uma pequena comissão, sem custo a mais para você.

Debate

Ainda não há comentários. Que tal começar o debate?

Os comentários passam por uma revisão rápida (com apoio de IA) antes de aparecer.Regras dos comentários.

Leia também