第 1 章 预训练 · 它读过整个互联网

easycode · Agent Skill

搭档的出厂第一课叫预训练（Pre-training）。把海量文本（公开网页、书籍、代码，规模以万亿计）喂给一个神经网络，只教它一件事，给你前面的文字，猜下一个词。"今天天气真"，猜"好"。"function get"，猜"User"。就这一个游戏，重复万亿次。玩到极致，一件神奇的事发生了。为了把下一个词猜准，它被迫学会了语法、事实、逻辑、代码的规律，不懂这些，就猜不准。

所以搭档的本质，先记住这个不太浪漫的版本，一台登峰造极的补全机器。它输出的每个字，都是接在前文后面最像样的那个词。这一句话直接解开第一册第 12 章弱点清单的第一条，幻觉。它为什么会一本正经地编造不存在的函数、不存在的书？它的出厂目标是补全出像真的，查证真假从来不在课表上。它没有内置的事实核对台。当它没见过准确答案时，补全机制照样运转，产出一段流畅、自信、错误的文字。理解了这一点，第一册第 14 章的验证金字塔就从一个好习惯升级成了逻辑必然，验证这道工序写在补全机器的使用说明书里，和信不信任搭档无关。

再认两个每天撞见的名词。Token，它读写的最小单位。文字先被切成 token，一个汉字通常一到两个 token，一个英文词大约一个多。它按 token 读写，也按 token 收费，第四册第 10 章账单上的计量单位，出处在这里。知识截止（Knowledge Cutoff），训练数据停在某个日期，之后的世界它没读过。问它上个月的新闻，它要么承认不知道，要么由补全机制接管，编一个像样的。第 4 章的外挂记忆就是为此发明的。

最后是最重要的一个，上下文窗口（Context Window）。训练教会它规律，但每次对话时，它能"看见"的只有当前窗口里的内容，你的消息，它的回答，贴进来的文件，全加起来有个上限。上下文窗口就是它的全部工作记忆，不在窗口里的等于不存在，窗口满了，最早的内容被挤出去。第二册第 2 章的会话纪律，"新任务开新会话""对话太长它会忘"，当时是经验，现在是原理。

出事时想起我

它言之凿凿地引用了不存在的 API 或文件，补全机制在没有答案时照样发货，去验证。它答不上或答错最近的事，知识截止，让它去搜或你贴资料。长对话里它忘了开头立的规矩，窗口挤出去了，新会话重述。

关键领悟

搭档的底层是补全，不是查证。它的一切能力和一切毛病，都从"猜下一个词猜到极致"这一件事里长出来。

试一试

故意问它一个你确定它不可能知道的细节（比如你某次私下讨论的结论），观察它是承认不知道，还是开始"像样地补全"。抓到一次现行，这一章就长在你身上了。