没GPU，也能按CS336的方式手搓Transformer
它不是一个“已经帮你写好所有代码，然后跟着抄一遍”的教程。
而是一套真正需要自己动手完成的编程作业。
你会从最基础的：
Byte-level BPE
一路自己实现：
Embedding / Linear / RMSNorm → RoPE / Causal Mask → Multi-Head Self-Attention → SwiGLU → Transformer Block → 完整 Decoder-only Language Model
最后真的把这些零件拼成一个：
可以训练、可以生成文本的 Transformer。

我很喜欢 CS336 的一点是：
不是“看懂了就算会了”，而是你必须真的写出来。
所以这个项目也采用类似的学习方式：
代码里留 TODO → 自己实现 → 跑 pytest → 测试失败 → 根据报错找问题 → 修改 → 直到通过
还额外写了一个中文 grader，会告诉你当前阶段的测试结果和分数。
而且为了让没有算力的人也能做：
不需要 GPU。
默认测试模型只有数万参数，普通 CPU 就可以完成。
测试也是完全离线的：
不下载预训练模型
不下载数据集
不需要服务器
不需要调用 API
不需要 CUDA
所以哪怕你只有一台普通轻薄本，也可以从 BPE 开始，一步一步把 Transformer 搭出来。
这个项目不是 Stanford 官方 CS336 作业的复刻，代码、测试和讲义都是独立写的。
更准确地说：
我想把 CS336 那种“真正动手实现大模型”的学习体验，做成一套普通学生也能跑得动的版本。
目前已经开源，MIT License。
GitHub 搜：
yiboban/MyTransformer

Transfomer 大模型 LLM CS336 深度学习 PyTorch 机器学习 人工智能 开源项目 GitHub