大语言模型(如 GPT)是如何运作的
GPT 并不是在数据库里检索现成答案,而是根据训练学到的规律逐字生成内容。理解了这一点,它的优势、弱点以及最佳提问方式便一目了然。

当你在我们的聊天界面中输入问题时,GPT 并不是在预存的答案库中检索。它是根据训练期间从海量文本中吸收的规律,逐字逐句地写出一段全新的回复。只要明白这一点,很多现象就迎刃而解:为什么它的语言表达能力如此出色、几乎能解释任何问题,为什么它有时会言之凿凿地胡说八道,以及为什么你的提问方式至关重要。本指南用通俗易懂的语言梳理了核心原理,无需任何数学基础,带你了解它们在实际对话中的意义。
GPT 这几个字母代表什么
GPT 代表 生成式预训练 Transformer(Generative Pre-trained Transformer)。生成式(Generative)意味着它会生成全新的文本,而不是从固定回复中挑选。预训练(Pre-trained)意味着它在针对对话进行微调之前,已经先学习了极其庞大的文本数据。Transformer 则是其内部的神经网络架构,由 Google 研究人员于 2017 年提出,这种设计尤其擅长理解每个词与周围所有词之间的关联。OpenAI 于 2018 年发布了首个 GPT 模型;我们聊天中使用的 GPT-6 Luna 和 GPT-6.1 Terra,都是该系列的最新成员。GPT 发展史页面提供了完整的时间线,而什么是 GPT则带你了解全貌。
Token:模型如何阅读文本
模型看到的既不是单个字母,也不是完整的单词。文本首先会被切分成 Token。一个高频词通常对应一个 Token;长词或生僻词则会被拆分成几个片段。按照 OpenAI 的经验法则,在英文中一个 Token 大约相当于四分之分之三个单词。其他语言在表达相同含义时,往往需要消耗更多 Token。
Token 的机制解释了一些奇怪的现象。模型在数一个单词里有多少个字母时容易出错,因为它们从来没有逐个看过这些字母。输入和输出的长度限制是用 Token 而非字符数来计算的。而且正如我们 GPT API 页面所示,针对开发者的定价也是按每百万 Token 收费的。
单步预测:逐块生成内容
从本质上讲,模型只做一件事:结合目前为止的所有文本,预测下一个最可能出现的 Token 是什么。它选出一个,追加到文本中,然后不断重复这个过程成百上千次,直到回答完整生成。这也是为什么回复在聊天界面中是逐字逐句显示,而不是瞬间全部呈现的原因。
在每次选择时引入少许随机性,可以防止每次生成的答案千篇一律。这正是“重新生成”按钮起作用的原理:再次提问,你就会通过同一套知识库获得一条不同的表述路径。我们的聊天功能会保留历史版本,方便你进行对比。
预测听起来很简单,但要在数十亿个样本上做到精准预测,模型就必须掌握语法、事实、文风、推理逻辑等方方面面。那种看似“理解”的能力,正是从这种强大的预测需求中涌现出来的。
模型是如何训练出来的
GPT 模型的打造分为几个阶段:
- 预训练。处理海量文本数据,只反复练习一项任务:猜下一个 Token。在这个阶段,它能顺着写出任何文本,但还不是一个合格的对话伙伴。
- 指令微调。通过大量的“提示词-优质回答”范例进行训练,让它学会听懂指令并回答问题。
- 人工反馈与强化学习。由人工和自动化检查对答案进行打分评估,引导模型给出实用、准确且安全的回应。推理模型也是通过这种方式训练在回答前先梳理思路的。
训练在某个时间点就会结束,这个日期被称为模型的知识截止日期。据 OpenAI 称,GPT-6 Luna 的数据截止至 2026 年 5 月 18 日,GPT-6.1 Terra 截止至 2026 年 6 月 1 日。除非你主动粘贴输入,否则之后发生的一切模型都一无所知,且我们的聊天界面不支持联网搜索。
上下文窗口:模型能看到什么
模型在不同对话之间是没有记忆的。在单次聊天中,它能看到一个上下文:包括系统指令、目前为止的消息记录以及你最新发送的内容,所有这些都以 Token 的形式存在。OpenAI 为 Luna 和 Terra 提供了约 105 万 Token 的上下文窗口,足以容纳好几本大部头长篇大作。
像我们这样的免费聊天服务会发送相对较短的内容片段:也就是最近的一部分对话记录,以确保回复足够迅速。在极长的对话中,较早的消息可能会超出视野。如果某个细节很重要,请重复提及,或者带着当前进展的简短摘要开启新对话。每次对话都是独立的;模型不会记得你在另一场对话中说过什么。
推理能力:先思考再回答
推理模型在输出可见的回复之前,会先生成一段隐藏的思考过程。这让它们有机会把问题拆解成若干步骤并自我纠错,代价仅仅是多花一点点时间。在我们的聊天界面中,点击 Think 标签即可切换到会进行简短推理的 GPT-6.1 Terra;而默认的 GPT-6 Luna 则几乎是即时响应。我们的推理模型详解指南介绍了在哪些场景下这短暂的等待是值得的。
胡说八道(幻觉)从何而来
既然模型的机制永远是写出“看起来合理”的后续内容,那么哪怕缺乏事实依据,它也会硬着头皮写下去。如果你向它索取某个冷门领域的参考资料,它就会给出一个格式极其逼真的参考文献,无论该资料是否存在。若问及一个不知名的小镇,它就会填充符合普通小镇特征的通用细节。模型内部并没有可靠的信号来提示“这道题我不会”,尽管较新的模型在承认不确定性方面已经有所改善。这也是为什么在面对人名、数据、日期和引文时核实至关重要;我们的事实核查指南提供了一套快捷的验证流程。
这对你写提示词有什么启示
结合上述原理,可以总结出几条实用的提问规则:
效果较弱: 合同里关于提前终止是怎么说的? 效果出色: 这是我租房合同的第 9 条:[粘贴条款内容]。 请用通俗易懂的语言解释:我何时可以提前解约、 必须提前多久通知,以及我可能承担哪些费用。 请引用每点结论所依据的原句。
- 把资料直接贴出来。模型处理上下文中的文本,表现要远远好于依赖模糊的记忆。
- 表达要具体。你补充的每个细节,都会帮助预测结果向你所需的方向收敛。
- 要求引用你提供的原文材料,这样你就可以逐条核对验证。
- 跑偏时果断开启新对话。当长对话偏离主题时,在新对话中发一段简短摘要往往更有效。文本摘要工具可以帮你提炼这份摘要。
想亲身体验一下吗?让 GPT 用五个步骤解释它自己的原理,然后针对你不清楚的地方继续追问吧。
常见问题
GPT 能理解自己写的内容吗?
这取决于你对“理解”的定义。它显然能非常出色地把握概念之间的关联,足以进行解释、总结和推理,但它没有真实世界的体验,也没有万无一失的机制来区分客观事实与看似合理的猜测。
它会从我的聊天记录中学习吗?
在对话进行过程中不会,在我们的聊天服务中不同对话之间也不会。模型的知识库在训练结束时就已经固定了。OpenAI 表示,除非客户主动同意,否则通过其 API 发送的数据不会被用于模型训练。
为什么重新提问会得到不同的回答?
模型在挑选下一个 Token 时带有一点随机性,因此针对同一个问题,可能会产生不同的遣词造句或篇章结构。涉及事实问题时,如果两次回答不一致,正是在提醒你需要核实了。
GPT 和 ChatGPT 是一回事吗?
不是。GPT 是 OpenAI 开发的基础模型系列;ChatGPT 是 OpenAI 基于这些模型打造的官方应用。gpt.me 是一个通过 API 接入 GPT 模型的独立第三方网站;我们的 ChatGPT 对比评测详细列出了两者的差异。


