Language Modeling from Scratch — A General-Education Reader
把斯坦福大学 CS336《Language Modeling from Scratch》（Spring 2025） 全 17 讲，完整改写成一本面向高中生、普通人也能读懂的通识读本。从"把文字变成数字"开始，一路讲到分词、架构、显卡、并行、缩放定律、数据与对齐——看懂一个大语言模型究竟是怎样从零造出来的。
关于本书的说明：这是一份非官方的学习读物，由课程公开字幕改写整理而成，与斯坦福大学及两位主讲并无隶属或背书关系。内容忠于课程原意，只做书面化整理与明显识别错误的订正；如与课程原意有出入，请以课程网站与相关论文原文为准。
- 完整：课程讲到的每一个核心问题、关键论证、重要数据，都尽量保留，不偷工减料。
- 准确：忠于课程原意，只把口语整理成书面语、订正明显的识别错误，不替讲者改动观点或数字。
- 一个专业术语都不删：术语第一次出现时写成"中文（English）"并用大白话讲清，之后正常使用。读完之后，FLOPs、RoPE、KV cache、GRPO 这些词，你不仅认得，还能讲明白。
此外还配有：一套入门小课（十个零基础概念）、贯穿全书的主线小结与思考题、约九十条的术语表、人物与文献索引，以及二十余张原创示意图。
- 对大模型好奇、但还没系统学过人工智能的学生与从业者；
- 想在看 CS336 视频之前，先建立整体框架的自学者；
- 希望用"大白话 + 不丢术语"的方式，把一门硬核工程课串起来的读者。
不需要懂深度学习，不需要会写 Python，甚至不需要学过微积分。
入门小课 读懂本书所需的十个基础概念
第一编 基础：分词、资源核算与模型架构
- 从文字到数字：分词，以及这门"从零构建"的课
- 资源核算：一次训练需要多少算力与显存
- Transformer 的演进：那些让模型更强的关键改进
- 专家混合：扩大参数规模而不增加计算量
第二编 系统：GPU、计算内核与并行训练
- 走进 GPU：为什么数据搬运比计算更昂贵
- 编写计算内核：用 Triton 将多步运算融合为一步
- 并行训练（上）：当单张显卡装不下整个模型
- 并行训练（下）：将模型切分到成千上万张显卡
第三编 缩放定律、推理与数据
- 缩放定律（上）：用小规模实验预测大模型
- 推理：模型生成回答为何如此昂贵
- 缩放定律（下）：Chinchilla 与算力最优的权衡
- 评测：如何判断一个模型的好坏
- 数据（上）：模型的能力源于训练数据
- 数据（下）：过滤、合成与训练阶段的数据配比
第四编 对齐：让模型既有用又安全
- 对齐（一）：从续写文本到理解指令
- 对齐（二）：用强化学习从反馈中改进模型
- 对齐（三）：强化学习、推理与尚未解决的前沿问题
结语 贯穿全书的几条主线 · 术语表 · 人物与文献索引 · 思考题参考思路
| 目录 | 全课地图 |
|---|---|
 |
 |
| 核心概念 | 配图与讲解 |
|---|---|
 |
 |
- 在线阅读：若已开启 GitHub Pages，直接访问本仓库的 Pages 地址即可（着陆页
index.html提供"在线阅读 / 下载 PDF"入口）。 - HTML 版（推荐离线）：单文件、自包含、内嵌字体，下载后双击即可在任意浏览器打开；左侧有可折叠目录、阅读进度条与滚动高亮。
- PDF 版：A4 排版，每章另起一页，适合打印与分享。
仓库根目录的文件：
index.html着陆页（在线阅读入口）从零构建语言模型·CS336通识课.html电子书正文（HTML）从零构建语言模型·CS336通识课.pdf电子书正文（PDF）
- 原课程：Stanford CS336 · Language Modeling from Scratch (Spring 2025)
- 主讲：Percy Liang、Tatsunori Hashimoto
- 设计风格参考 Anthropic 品牌的配色与排版。
姊妹读本：AI 经济学通识课（NBER 变革性 AI 经济学工作坊）。
本书采用 CC BY-NC-SA 4.0 协议发布：在署名、非商业、相同方式共享的前提下，欢迎自由传播与再创作。详见 LICENSE。
图书制作：高飞的电子替身 · 微信 rohanjojo · X/Twitter @feigaobox
如果这本书对你有帮助，欢迎点一颗 ⭐ Star，也欢迎转给同样好奇的人。