Como funcionam os grandes modelos de linguagem como o GPT

O GPT não busca respostas em um banco de dados: ele gera texto pedaço por pedaço usando padrões aprendidos no treino. Entendendo isso, seus acertos e falhas ficam claros.

6 min de leituraAtualizado

Quando você digita uma pergunta em nosso chat, o GPT não pesquisa em uma biblioteca de respostas prontas. Ele escreve uma resposta inédita, um pequeno pedaço por vez, com base em padrões que absorveu de uma quantidade enorme de texto durante o treinamento. Essa ideia simples explica muita coisa: por que ele é tão bom com linguagem, por que consegue explicar quase tudo, por que às vezes afirma coisas falsas com total confiança e por que a forma como você pergunta faz tanta diferença. Este guia explica os pontos principais em linguagem simples, sem complicação matemática, mostrando o que cada um significa para as suas conversas.

O significado da sigla GPT

GPT significa generative pre-trained transformer (transformador generativo pré-treinado). Generative (generativo) significa que ele cria novos textos em vez de escolher entre respostas fixas. Pre-trained (pré-treinado) significa que ele aprendeu primeiro com uma coleção gigantesca de textos antes de ser ajustado para conversas. Transformer é o tipo de rede neural que ele usa por dentro, uma arquitetura publicada por pesquisadores do Google em 2017 que é especialmente boa em relacionar cada palavra com todas as outras ao seu redor. A OpenAI lançou seu primeiro modelo GPT em 2018; os modelos no nosso chat, GPT-6 Luna e GPT-6.1 Terra, são versões recentes dessa mesma linhagem. A página sobre a história do GPT traz a cronologia completa, e o artigo o que é o GPT oferece uma visão mais ampla.

Tokens: como o modelo lê

Um modelo não enxerga letras nem palavras inteiras. O texto é primeiro dividido em tokens. Uma palavra comum costuma virar um único token; uma palavra longa ou rara é dividida em alguns fragmentos. A regra prática da OpenAI para o inglês é que um token equivale a cerca de três quartos de uma palavra. Outros idiomas geralmente precisam de mais tokens para expressar o mesmo significado.

Os tokens explicam algumas peculiaridades. Os modelos podem se atrapalhar ao contar as letras de uma palavra porque nunca veem as letras isoladas, uma a uma. Os limites de entrada e saída são medidos em tokens, não em caracteres. E os preços para desenvolvedores, listados em nossa página da GPT API, são cobrados por milhão de tokens.

Previsão, um pedaço por vez

Em essência, o modelo faz apenas uma coisa: com base em todo o texto acumulado até o momento, ele estima qual token tem mais chances de vir a seguir. Ele escolhe um, adiciona-o ao texto e repete o processo, centenas ou milhares de vezes, até concluir a resposta. É por isso que as respostas aparecem aos poucos no chat, em vez de surgirem de uma só vez.

Um leve grau de aleatoriedade na escolha evita que as respostas sejam sempre idênticas. É isso que o botão de gerar novamente aproveita: ao perguntar de novo, você obtém um caminho diferente pelo mesmo conhecimento. Nosso chat guarda as tentativas anteriores como versões, para você poder compará-las.

Prever o próximo pedaço parece simples, mas para acertar ao longo de bilhões de exemplos, o modelo precisa assimilar gramática, fatos, estilos, padrões de raciocínio e muito mais. O que parece compreensão humana surge justamente dessa pressão contínua para acertar a próxima previsão.

Como um modelo é treinado

Os modelos GPT são desenvolvidos em etapas:

  1. Pré-treinamento. Ele processa um volume colossal de texto, praticando uma única tarefa: adivinhar o próximo token. Nessa fase, ele consegue dar continuidade a qualquer texto, mas ainda não é um bom parceiro de conversa.
  2. Ajuste de instruções (instruction tuning). Ele é treinado com exemplos de pedidos e boas respostas, aprendendo a seguir comandos e responder a dúvidas.
  3. Feedback e aprendizado por reforço. Avaliadores humanos e checagens automáticas pontuam as respostas, e o modelo é calibrado para produzir retornos úteis, precisos e seguros. Modelos de raciocínio também são treinados dessa forma para pensar no problema passo a passo antes de responder.

O treinamento termina em uma determinada data, conhecida como a data de corte do conhecimento (knowledge cut-off). Segundo a OpenAI, a base de dados do GPT-6 Luna vai até 18 de maio de 2026 e a do GPT-6.1 Terra até 1º de junho de 2026. Nada posterior a isso é de conhecimento do modelo, a menos que você cole na conversa — e nosso chat não navega na web.

A janela de contexto: o que o modelo enxerga

O modelo não guarda memória entre conversas diferentes. Dentro de um mesmo chat, ele visualiza um contexto: as instruções, as mensagens enviadas até o momento e a sua mensagem mais recente, tudo convertido em tokens. A OpenAI oferece para o Luna e o Terra uma janela de contexto de cerca de 1,05 milhão de tokens, o suficiente para vários livros longos.

Um chat gratuito como o nosso envia um recorte bem menor: apenas o trecho mais recente da conversa, para que as respostas continuem rápidas. Em conversas muito longas, as primeiras mensagens podem sumir do campo de visão do modelo. Se um detalhe for essencial, repita-o ou inicie um novo chat com um breve resumo de onde você parou. Cada chat é independente; o modelo não lembra do que você falou em outra conversa.

Raciocínio: pensando antes de responder

Modelos de raciocínio geram uma etapa oculta de elaboração antes de exibir a resposta final. Isso permite que eles dividam um problema em etapas e corrijam os próprios deslizes, ao custo de alguns segundos a mais. Em nosso chat, o botão Think alterna para o GPT-6.1 Terra, que raciocina brevemente; o GPT-6 Luna, que é o padrão, responde quase de forma instantânea. Nosso guia sobre modelos de raciocínio explica quando essa pausa vale a pena.

De onde vêm as alucinações e respostas inventadas

Como o modelo sempre tenta escrever uma continuação plausível, ele faz isso mesmo quando não tem os fatos reais. Um pedido de fonte sobre um assunto muito de nicho gerará uma resposta com cara de referência bibliográfica, mesmo que essa fonte não exista. Uma pergunta sobre uma cidadezinha trará detalhes que se aplicam a cidades no geral. O modelo não tem um alerta interno confiável que diga "eu não sei disso", embora os modelos mais novos admitam a incerteza com mais facilidade. Por isso, checar nomes, números, datas e citações é fundamental; nosso guia de checagem de fatos traz um método prático.

O que isso muda na forma de escrever seus prompts

Tudo o que explicamos acima se traduz em algumas regras práticas:

Fraco:
O que o contrato diz sobre rescisão antecipada?

Forte:
Aqui está a cláusula 9 do meu contrato de aluguel: [colar cláusula].
Em linguagem simples, explique quando posso rescindir o contrato antes do prazo,
qual aviso prévio devo dar e quanto isso pode me custar. Cite a frase
em que cada ponto se baseia.
  • Cole o material de base. O modelo se sai muito melhor ao analisar um texto presente no contexto do que ao tentar lembrar de informações vagas na memória.
  • Seja específico. Cada detalhe que você inclui direciona as previsões exatamente para o que você precisa.
  • Peça citações ou fontes do texto enviado, facilitando a conferência de cada ponto.
  • Comece do zero se a conversa ficou longa e perdeu o foco; abrir um novo chat com um resumo rápido costuma funcionar bem melhor. O resumidor pode preparar esse resumo para você.
Pense nele como um escritor culto, mas sem anotações à mão. Ele leu bastante, escreve muito bem e consegue explicar quase qualquer coisa, mas não pode pesquisar nada no momento. Forneça os dados que você tem e confira as informações que você não conhece.

Quer ver na prática? Peça para o GPT explicar o próprio funcionamento em cinco etapas e, depois, faça perguntas de acompanhamento sobre as partes que não ficaram claras.

Perguntas frequentes

O GPT entende o que escreve?

Depende do que você considera entender. Ele capta com clareza as relações entre conceitos a ponto de explicá-los, resumi-los e raciocinar sobre eles, mas não tem experiência de mundo real nem uma forma infalível de separar um fato verídico de uma suposição convincente.

Ele aprende com as minhas conversas?

Não durante a conversa, nem de um chat para outro em nossa plataforma. O conhecimento do modelo foi consolidado na fase de treinamento. A OpenAI afirma que os dados enviados via API não são usados para treinar modelos, a menos que o cliente autorize.

Por que recebo uma resposta diferente ao perguntar de novo?

O modelo escolhe cada token subsequente com uma pitada de aleatoriedade, de modo que a mesma pergunta pode gerar uma estrutura ou palavras diferentes. Quando se trata de dados factuais, uma resposta divergente é um sinal claro para fazer uma checagem.

GPT é a mesma coisa que ChatGPT?

Não. GPT é a família de modelos desenvolvida pela OpenAI; o ChatGPT é o aplicativo oficial da própria OpenAI construído sobre eles. O gpt.me é um site independente que utiliza os modelos GPT por meio de uma API; nossa comparação com o ChatGPT detalha as diferenças.

Tem uma dúvida? Pergunte agora

Sem conta e sem downloads. Abra o chat, digite o que quiser e a resposta começará a surgir em poucos segundos.

Começar a conversar