Janela de contexto: Janela de contexto
Quanto a IA segura na cabeça de uma vez — e por que uma conversa longa começa a piorar sozinha.
É memória de trabalho, não memória de longo prazo.
Tudo que a IA usa para responder cabe num espaço de tamanho fixo: as instruções, a conversa inteira, os arquivos anexados e a própria resposta. O que está fora da janela não existe. O que está dentro some quando a conversa acaba.
Uma mesa de trabalho, não um armário de arquivos.
A IA lê o que está espalhado na mesa. Cabe muita coisa, mas continua sendo uma mesa: quando enche, folha cai da borda. E a posição importa — o que fica no meio da pilha é o que mais escapa.
- 1Seu texto é picotado em tokens. Pela regra da OpenAI, 100 tokens são 75 palavras em inglês; em português, menos.
- 2A cada mensagem, o histórico inteiro é reenviado ao modelo. Você não continua a conversa: você a reapresenta.
- 3Quando a janela enche, o começo é cortado ou resumido. E a IA não avisa que esqueceu.
Uma analista colando um relatório de 200 páginas num chat só
As primeiras perguntas saem certas. Lá pela décima, a IA começa a citar números que não estão no documento. O início do relatório já saiu da janela, e nada na tela indica isso.
Janela grande não significa atenção uniforme.
A Chroma testou 18 modelos e mostrou que a precisão cai conforme o texto de entrada cresce, mesmo em tarefas simples. O paper Lost in the Middle mostrou onde ela cai: o desempenho é maior quando a informação está no começo ou no fim.
Da última vez que você recomeçou a conversa do zero em vez de insistir na antiga, a resposta melhorou na hora?
Responder no LinkedIn