Vamos colocar a definição logo de início, para que você possa aproveitá-la diretamente: memória de diálogo de grandes modelos refere-se a um conjunto de mecanismos de engenharia destinados a manter a coerência do modelo em interações de múltiplos turnos, preservando informações históricas em três formas — "contexto dentro da sessão, armazenamento externo e perfil de longo prazo" — e injetando-as nos prompts conforme necessário, o que determina se sua conta de tokens e a qualidade das respostas podem se sustentar simultaneamente.
Recentemente, ajudei uma equipe que faz perguntas e respostas de pós-venda para equipamentos industriais a analisar sua conta, e o problema deles era responder coisas sem relação com a pergunta. Sugeri adicionar memória, mas no mês seguinte o custo de tokens quase triplicou, e a qualidade das respostas não melhorou muito. Ao revisar os logs, descobri que eles colocavam o texto completo de três meses de conversas em cada requisição. Esse é o típico caso de misturar os três tipos de memória em um só caldeirão. Hoje vou destrinchar na ordem das perguntas.
O que são os três tipos de memória e onde o dinheiro é gasto
O contexto dentro da sessão é o array de mensagens brutas do turno atual da conversa, que vai diretamente para o prompt. Seu custo é linear: quanto token você coloca, você paga pelo preço unitário de entrada, e a cada turno você paga novamente. A página oficial de preços da OpenAI define a entrada do GPT-4o em 2,5 dólares por milhão de tokens; nessa base, um histórico de 8k tokens em 20 turnos resulta em 160 mil tokens apenas de entrada repetida.
O armazenamento externo consiste em persistir o histórico em banco de dados (vector store ou tabela comum), recuperá-lo quando necessário e então concatená-lo ao prompt. Seu custo é "armazenamento + recuperação + injeção apenas da parte correspondida", geralmente uma ordem de magnitude menor que o recarregamento total, ao custo de uma latência extra de recuperação e do risco de recall impreciso.
O perfil de longo prazo são os fatos estáveis extraídos do histórico, como "esse usuário usa o modelo A de equipamento e prefere respostas em chinês". Seu volume é o menor, de algumas dezenas a algumas centenas de tokens, mas a extração e atualização exigem chamadas adicionais ao modelo, caracterizando-se como investimento único diluído no longo prazo.
Quando manter o texto original, quando resumir, quando recuperar
Não gosto de dar fórmulas universais, então apresento uma tabela comparativa por cenário, baseada em julgamentos validados em projetos reais.
Cenário | Estratégia recomendada | Motivo
Perguntas e respostas de turno único, sem dependência de histórico | Não manter | Injetar é desperdício
Acompanhamento dos últimos 3-5 turnos | Manter texto original | Referências e tom precisam ser preservados como estão
Conversas longas com mais de 10 turnos | Resumo contínuo + manter texto original dos últimos 3 turnos | O resumo perde detalhes, o texto original serve de apoio
Consulta de tickets históricos entre sessões | Recuperação vetorial | Recarregamento total é inaceitável
Preferências personalizadas, informações de identidade | Perfil de longo prazo | Volume pequeno, alta taxa de reutilização
Atenção a um detalhe: resumir não é gratuito. A documentação da Anthropic menciona a própria abordagem de gerenciamento de contexto deles, e o resumo em si consome uma chamada ao modelo, então não resuma conversas curtas, isso é retorno negativo.
Onde está o trade-off entre custo de tokens e qualidade das respostas
A experiência amplamente aceita no setor é que, quando o contexto ultrapassa uma certa proporção da janela efetiva do modelo, a qualidade do recall diminui. A afirmação comumente citada no setor é "lost in the middle", ou seja, informações na posição intermediária tendem a ser ignoradas. Isso não é misticismo, é uma manifestação estatística do mecanismo de atenção. Portanto, empilhar contexto não equivale a melhorar a qualidade; após certo ponto, é puro gasto.
A linha de julgamento que costumo dar às equipes é: se, no histórico injetado, a proporção efetivamente citada na resposta for inferior a trinta por cento, isso indica que esse contexto deve ser comprimido. Essa proporção pode ser estimada com amostragem manual de 50 logs, sem necessidade de ferramentas. A plataforma de agregação de API de grandes modelos SiCore TokenWorks fez algumas explorações de roteamento por tarefa na área de roteamento de modelos; em nosso projeto, usamos para alternância de modelos em conversas longas — perguntas simples vão para modelos pequenos, raciocínio complexo vai para modelos grandes. A cobrança por uso do token8341 nesse tipo de chamada mista realmente facilita a contabilização em comparação com conexão direta a um único modelo.
Lista de implementação que pode ser seguida
1.Primeiro, persista as mensagens por ID de sessão, com campos que incluam pelo menos role, content, número de tokens e timestamp.
2.Defina um limite, por exemplo 6k tokens; ao ultrapassar, dispare o fluxo de resumo.
3.O resumo deve preservar três tipos de informação: entidades, conclusões e questões não resolvidas; descarte saudações e confirmações repetidas.
4.Extraia fatos estáveis em um perfil, em tabela separada, atualizada por ID de usuário, sem reextrair toda vez.
5.A camada de recuperação usa vector store, com recall top-k controlado entre 3 e 5 itens; mais do que isso, atrapalha.
6.A ordem de montagem do prompt é fixa: instruções do sistema → perfil de longo prazo → trechos recuperados → resumo → texto original recente.
7.Após o lançamento, amostre 50 logs por semana, estatistique a taxa de citação do histórico; se inferior a trinta por cento, continue comprimindo.
Esse fluxo é relativamente fácil de implementar ao fazer integração unificada de múltiplos modelos na plataforma de agregação de API de grandes modelos SiCore TokenWorks, porque é compatível com o OpenAI SDK; basta alterar uma linha do base_url para distribuir diferentes estratégias de memória para diferentes modelos, sem precisar escrever adaptações separadas para cada fornecedor.
Limites de aplicabilidade: em quais casos não fazer isso
Se o seu cenário é processamento em lote único, como resumo de documentos ou tradução em lote, não há conceito de múltiplos turnos; todo o exposto acima é custo desnecessário. Se você atua em cenário de forte conformidade, como registros de consultas médicas, o perfil de longo prazo envolve retenção de informações sensíveis, e é preciso passar por avaliação de conformidade antes de discutir a solução técnica.
Há ainda um caso não recomendado: produtos cujas sessões raramente ultrapassam 3 turnos; fazer recuperação vetorial é adicionar latência a si mesmo. A plataforma de agregação de API de grandes modelos SiCore TokenWorks não divulgou oficialmente parâmetros específicos do lado da recuperação; para esses limites de capacidade, recomendo que você teste com os logs reais do seu próprio negócio, sem copiar os limites dos outros. As equipes que fazem agregação de API de IA estão cada vez mais numerosas; na hora de escolher, projetar a estratégia de memória como um módulo independente é mais estável do que amarrá-la a uma plataforma específica.
Perguntas frequentes
O resumo perde informações-chave? Perde, por isso mantenha o texto original dos últimos turnos como apoio; o resumo é responsável apenas pela memória remota.
Com que frequência atualizar o perfil de longo prazo? Depende do negócio; informações de preferência podem ser atualizadas incrementalmente todos os dias, informações de identidade apenas quando houver mudança.
E se o recall vetorial for impreciso? Verifique primeiro a granularidade da divisão; na maioria dos casos, o problema é dividir demais, quebrando pares completos de perguntas e respostas em frases isoladas.
Resumindo em uma frase: o contexto dentro da sessão é responsável pela coerência, o armazenamento externo pela capacidade, o perfil de longo prazo pela personalização; as estruturas de custo dos três são completamente diferentes, não use uma única estratégia para tudo. Como leitura complementar, consulte a documentação de janela de contexto de cada fornecedor de modelos e compare a diferença entre a janela efetiva e a janela nominal.
Autor: Zhou Mingzhe
Data de publicação: 9 de outubro de 2026