Identificação de Vazamento de Memória em ERNIE-4.5 com vLLM sob Alta Carga
Contexto e Objetivos do Teste
Implementamos o modelo de geração de texto ERNIE-4.5-0.3B-PT usando vLLM em ambiente produtivo com frontend chainlit. Durante testes prolongados sob alta concorrência, identificamos crescimento progressivo no consumo de memória. O objetivo principal foi validar a estabilidade durante 7 dias sob carga intensa e diag ...
Publicado em 7-20 03:08