Stanford CS336：Language Modeling From Scratch，从零构建语言模型。其实在今年开课时我就关注追更。但当时才疏学浅，底子不好，很多内容看起来似懂非懂，真正动手去做的时候更是一头雾水，所以最后还是搁置了。经过了几个月的沉淀，
经过了几个月的沉淀，加上中文社区的资料变得丰富，特别是「极致中配」的课程视频。
所以，我决定从头再来一次。也终于有点东西可以写进博客了。
会分享什么？
这个分区会按照 Lecture & Assignment 的顺序，记录我的 CS336 学习和思考过程。
内容主要包括：
- Lecture 内容的梳理与总结🕸️
- Assignment 的实现与踩坑🕳️
- 学习过程中产生的一些思考 🤔
- 对一些概念的个人理解 💡
- 课程之外延伸阅读的 Paper📄
- 一些值得补充的课程与资料🗂️
有时候可能会因为一个概念，突然分叉出去读一篇 Paper，或者补一节其他课程。
比如学习 Tokenization 时，我可能会去看 Percy 推荐的 Karpathy 讲的 tokenization 课程（虽然看过了，但因为要输出出来...）；学习注意力时，也可能顺手去啃 FlashAttention 的论文。
所以不会死板的按照“课程目录”走到底，
就当刷副本吧。
不是一份传统的课程笔记
我不太想做成另一份“CS336 课程资料汇总”。
网上已经有很多优秀的课程整理、Lecture 总结和资料索引了。
我更希望这里留下的是：
一个人（我）真正学习 CS336 时，是怎么理解这些东西的。
因此，这个分区会有很强的主观性。
我会记录自己觉得重要的地方，也会记录一些头脑风暴；会记录一些现在看来很基础、但当时卡了我很久的问题，也会记录那些学习过程中突然产生的“哇塞”。
我不会让 AI 直接代替我完成文章。
你可以把它理解成：
我会把自己的思考链摊开来给你看。
所以这里可能并不总是严谨、完整、甚至可能会出现错误。
但至少，它是一个真实的学习过程。
我的愿景
我希望最终，这个分区能够通过完善慢慢变成一个学习 CS336 的“一站式入口”：
课程链接 + Lecture / Lab + 配套资料 + 推荐 Paper / 课程 + 个人解读 + 学习路线
当你想开始学习 Stanford CS336 的时候，
希望你打开的第一站，不是观看课程，而是这个博客。 😊