Como a OpenAI acelerou em 12 vezes a leitura de dados para mais de 1 bilhão de usuários do ChatGPT

Como chegaram lá

A OpenAI descreve três fases. Na primeira, todos os produtos dividiam um mesmo espaço do banco. Isso causou o problema do "vizinho barulhento": um recurso secundário com muito tráfego chegava a atrapalhar funções essenciais, como login e cadastro. Na segunda, cada serviço ganhou seu espaço próprio. Isso protegeu contra quedas gerais, mas obrigou cada equipe a planejar capacidade, e lançamentos viravam correria de última hora. Na terceira, a empresa voltou a um espaço compartilhado, agora com melhorias feitas junto com o time do Azure: limitar primeiro as chaves de acesso mais exigidas, dar prioridade a pedidos de usuários sobre tarefas em lote e um novo modo de escala automática. Segundo a OpenAI, não houve incidentes de provisionamento ou de vizinho barulhento nos meses seguintes.

A empresa também relata duas panes graves, no fim de 2024, durante uma queda de energia em uma região da Azure e na volta de operações a ela. Depois disso, as equipes passaram a operar de forma conjunta, com testes, painéis e canais diretos compartilhados. A maior conta da OpenAI no Cosmos DB guarda dezenas de petabytes e atende mais de 20 milhões de consultas por segundo.

Para ganhar velocidade, foram três medidas: replicar perto dos usuários os dados menores e mais sensíveis ao atraso, criar um cache (cópia de acesso rápido) perto de onde os pedidos são processados e reescrever parte do serviço em Rust, linguagem mais rápida que o Python original. O cache é atualizado em segundos quando um dado muda.

Por que importa

Por trás de cada resposta do ChatGPT há uma infraestrutura que guarda configurações, conversas e outros dados. A OpenAI afirma que leituras são mais de 90% das requisições do Habitat. Por isso, ganhar velocidade e estabilidade nessa camada afeta todos os produtos. O texto também mostra que, em escala gigante, serviços de nuvem exigem parceria próxima com o fornecedor. A OpenAI diz que, até onde sabe, é a única empresa a usar o Cosmos DB nessa escala.

O que muda para quem usa IA

A empresa não anuncia um recurso novo. Mas o usuário pode esperar produtos mais ágeis e com menos falhas. A OpenAI admite limites: as respostas mais lentas ainda dependem de buscar dados longe, e o plano é aproximar os dados dos usuários desde o início, conforme houver mais capacidade de data centers.