“真男人就应该用 C 编程”！用 1000 行 C 代码手搓了一个大模型，Mac 即可运行，特斯拉前AI总监爆火科普 LLM

徒手用 1000 行 C 语言实现，不依赖庞大的外部库，Mac 即可运行。   

如今这年头，徒手写神经网络代码已经不算事儿了，现在流行手搓大模型训练代码了！这不，今天，特斯拉前 AI 总监、OpenAI 创始团队成员 Andrej Karpathy 仅用 1000 行简洁的 C 代码，就完成了 GPT-2 大模型训练过程。

几个小时前，Andrej Karpathy 推出了一个名为 llm.c 的项目，旨在用纯 C 语言训练 LLM，这种方法的主要优势在于它显著减少了依赖库的体积——不再需要 245MB 的 PyTorch 和 107MB 的 cPython，这样可以使得模型训练过程更为轻量化和高效。该项目还可以立即编译和运行，并且可以与 PyTorch 的参考实现媲美。

Karpathy 表示他之所以选择 GPT-2 作为首个工作示例，是因为它大语言模型鼻祖的定位，亦属现代 AI 堆栈的首次组合。因此，选择 GPT-2 作为起点，可以让我们更容易地理解和实践大型语言模型训练。

徒手实现 GPT-2 后，Karpathy 将这份代码放到了 GitHub 上，以 MIT 协议开源。短短几个小时，就超过了 2500 颗星，并且数据还在不断持续上涨......

将大模型原理拆解得无比简单

Andrej Karpathy 是全球人工智能领域的知名科学家，也是 OpenAI 的创始成员和研究科学家。

他于 2009 年本科毕业于多伦多大学，获得计算机科学和物理学学士学位。2011 年硕士毕业于不列颠哥伦比亚大学，随后前往斯坦福大学 AI Lab（SAIL）读博，师从著名学者李飞飞，是全球最早将深度学习应用于计算机视觉研究的学者之一。

在求学期间，Andrej Karpathy 曾在谷歌和 DeepMind 实习，后来在 OpenAI 刚刚成立时加入并担任研究科学家。直到 2017 年 6 月，他被马斯克挖去，担任特斯拉人工智能部门主管，直接向马斯克汇报。在特斯拉工作的五年里，他主导了特斯拉自动辅助驾驶系统 Autopilot 的开发。这项技术对于特斯拉的完全自动驾驶系统 FSD 至关重要，也是马斯克针对 Model S、Cybertruck 等车型推销的主要卖点。在各大新闻中，他被誉为“特斯拉的秘密武器”。

去年 Karpathy 曾短暂回到 OpenAI，然后又在 OpenAI 众人忙于内斗时抽空录制了一个长达一小时的教学视频《大型语言模型入门》。

Karpathy 在视频中首先介绍了一些 LLM 入门知识，然后以 Meta 推出的开源大模型 Llama 2-70b 为例进行了讲解。该模型有 700 亿参数，主要包含两个文件，分别是参数文件，文件大小为 140GB，以及运行这些参数的代码，以 C 语言为例需要约 500 行代码。

Karpathy 表示只要有这两个文件再加上一台 MacBook，我们就可以构建一个独立的系统，无需联网或其他设施。

大模型训练，可以理解为是对互联网数据进行有损压缩，一般需要一个巨大的 GPU 集群来完成。以 Llama 2-70b 为例的话，就是使用了类似网络爬取的约 10TB 的文本，用 6000 个 GPU ，耗资 200 万美元，训练约 12 天，最后获得基础模型。

基础模型即上图里140GB的“压缩文件”（压缩率约100倍），就等于靠这些数据对世界形成了理解，那它就可以进行“预测”工作了。

Karpathy 之前还分享过他的学习经验，就是开始时要尝试从 0 开始，写一些原生代码，帮助理解消化知识点。 也就是说，徒手实现代码才是最有效的学习方式。

两年前，Karpathy 就曾基于 PyTorch，仅用 300 行左右的代码就写出了一个小型 GPT 训练库，并将其命名为 minGPT，用这份代码揭开了 GPT 神秘的面纱。

因为大多数 GPT 模型的实现都过于庞大，而 minGPT 做到了小、干净、可解释和具有教育意义，所以 Karpathy 的这 300 行代码是学习 GPT 的最佳资源之一，可以用来深入理解 GPT 是如何工作的。

用 C 语言实现 LLM

这次，Andrej Karpathy 单纯通过 C/CUDA 实现大语言模型训练，且无需 245 MB PyTorch 或 107 MB cPython。例如，训练 GPT-2（CPU，fp32 单精度）需要在单个文件中使用约 1000 行简洁代码，可立即编译并运行、且与 PyTOrch 参考实现完全匹配。

从某种意义上说，Karpathy 确实在尝试重新设计 LLM 的架构。他通过 llm.c 项目探索一种更简单、更高效的训练 LLM 方法。与现有 LLM 架构相比，这种新架构的主要亮点包括：

1. 代码简洁性：仅使用约 1000 行代码就能完成 GPT-2 模型的训练，相比之下显著降低了复杂度。
2. 独立性：不依赖庞大的外部库如 PyTorch 或 cPython，使得部署和运行更加轻便快捷。
3. 高效性：直接使用 C/CUDA 进行编程有望提高计算效率和训练速度。

有网友问 Karpathy 为何不用 Rust，Karpathy 回复说，“我完全理解 Rust 的吸引力。然而，我仍然觉得 C 语言非常棒。它简单、干净、可移植，在审美上也十分优美。使用 C 语言就像直接与机器交流一样。”

这种语言选择也让网友们纷纷感叹：

“我们正在掀起一场 C 语言复兴！”

“真男人就应该用 C 语言编程。”

Karpathy 以更简单、更原始的 C/CUDA 架构来做 LLM 的训练，其中还涉及算法优化、计算资源管理等多个方面。

你会看到，项目在开始时一次性分配所有所需的内存，这些内存是一大块 1D 内存。然后在训练过程中，不会创建或销毁任何内存，因此内存占用量保持不变，并且只是动态的，将数据批次流过。这里的关键在于手动实现所有单个层的前向和后向传递，然后将它们串联在一起。

例如，这里是 layernorm 前向和后向传递。除了 layernorm 之外，我们还需要编码器、matmul、自注意力、gelu、残差、softmax 和交叉熵损失。

“一旦你拥有了所有的层，接下来的工作只是将它们串在一起。讲道理，写起来相当乏味和自虐，因为你必须确保所有指针和张量偏移都正确排列， ”Karpathy 表示。

另外 Karpathy 还在 doc/layernorm/layernorm.md 中附上了短小的使用教程。里面是一份简单的分步指南，用于实现 GPT-2 模型中的单一层，即 layernorm 层，希望能成为大家理解在 C 中实现大语言模型各层的理想起点。

更重要的是，他还用自己的 MacBook Pro（苹果 M3 Max 芯片）演示了整个训练过程，对照他之前的大模型入门教程，就可以轻松了解如今炙手可热的 LLM 是怎么一回事儿了。

训练过程：

首先下载数据集并 token 化。

输出结果为：

其中各.bin 文件为 int32 数字的原始字节流，用于指示 GPT-2 token 化器的 token id。或者也可以使用 prepro_tinystories.py 对 TinyStories 数据集进行标注。

原则上，到这里就已经可以开始训练模型。为提高效率，可以使用 OpenAI 发布的 GPT-2 权重进行初始化，而后加以微调。为此需要下载 GPT-2 权重并将其保存为可在 C 中加载的检查点：

该脚本会下载 GPT-2（124M）模型，对单批数据进行 10 次过拟合迭代，运行多个生成步骤，最重要的是保存两个文件：1）gpt2_124M.bin 文件，包含用于在 C 中加载的模型权重；2）以及 gpt2_124M_debug_state.bin，包含包括 input、target、logits 及 loss 等更多调试状态，对于调试 C 代码、单元测试及确保能够与 PyTorch 参考实现完全匹配非常重要。现在我们可以使用这些权重进行初始化并在原始 C 代码中进行训练。首先编译代码：

大家应根据 CPU 的核心数量来调整线程数量。该程序将加载模型权重、tokens，并使用 Adam lr 1e-4 运行数次迭代的微调循环，而后由模型生成样本。简单来讲，所有层都具有前向及后向传递实现，串联在一起形成统一的大型、手动前向 / 后向 / 更新循环。在 MacBook Pro（苹果 M3 Max 芯片）上的输出结果如下所示：

现在的生成结果仅给出 token ids，需要将其解码回文本形式：

参考链接

---

• https://twitter.com/karpathy/status/1777427947126936026
• https://github.com/karpathy/llm.c
• https://www.youtube.com/watch?v=zjkBMFhNj_g
• “真男人就应该用 C 编程”！用 1000 行 C 代码手搓了一个大模型，Mac 即可运行，特斯拉前AI总监爆火科普 LLM