编纂:杜伟

上个周末 ，联创Karpathy 花了全部周六来忙一个 Llama2 的爱上幽默名目 。

这一周来，羊驼婴儿Meta 开源的代码 Llama2 火遍了全部 AI 社区 。

这不，实现连特斯拉前 AI 总监、可运年初重回 OpenAI 的行已k星 Andrej Karpathy 也坐不住了 。他运用周末光阴，经揽做了一个对于 Llama2 的联创幽默名目 ——「llama2.c」
 。

GitHub 地址 ：https://github.com/karpathy/llama2.c

详细是爱上甚么呢 ？他展现「llama2.c」可能让你在 PyTorch 中磨炼一个 baby Llama2 模子 ，而后运用近 500 行纯 C、羊驼婴儿无任何依赖性的代码文件妨碍推理。而且，实现这个预磨炼模子可能在 M1 芯片的可运 MacBook Air 上以 fp32 的浮点精度 、18 tok/s 的行已k星速率对于故事妨碍采样。

Karpathy 介绍称 ，「llama2.c」的灵感来自 llama.cpp
，后者由资深开源社区开拓者 Georgi Gerganov 建树 ，可能在 MacBook 上运用 4-bit 量化运行第一代 LLaMA 模子 。

对于「llama2.c」 ，它的磨炼代码由 nanoGPT 更正而来
，用来磨炼 Llama2 架构的模子。中间是在如下 run.c 中编写 C 推理引擎，不外它当初并非一个破费级库 。下面是部份推理代码
。

残缺代码地址：https://github.com/karpathy/llama2.c/blob/master/run.c

服从令 Karpathy 颇为惊惶 ，你可能在（M1）CPU 的纯复线程 C 语言中以 fp32 的交互速率来推理更小（O (~10MB)）的模子。

尽管 
，他展现自己不试验对于最小规模的 Llama2 模子（70 亿参数）妨碍推理
，他估量速率会颇为慢  。

当初 ，Karpathy 在 M1 MacBook Air 上 ，可能以 fp32 的浮点精度 、100tok/s 的速率对于 15M 参数的 288 6 层 6 头的模子妨碍推理
。

之后 ，Karpathy 对于名目妨碍了更新，运用「-O3」妨碍编译可能将 M1 MacBook Air 上的 tok/s 从 18 削减到了 98。这还没完，运用「-funsafe-math-optimizations」妨碍编译更是将 tok/s 削减到 315。他展现，惟独在 gcc 命令中搜罗更多字符，速率就能提升 17.5 倍
。

概况你要问了 ，这个名目有甚么意思呢
？在 Karpathy 看来 ，在一些较窄的规模（如天生故事）中 ，人们可能运用极其小的 Transformers 来做幽默的使命。

因此 ，这种可能移植的纯 C 实现概况颇为实用，咱们可能经由重大的措施高交互速率地运行公平巨细的模子（多少万万参数） 。

有网友对于「llama2.c」的开拓历程很感兴趣
，良多人都市有这样的想法，只是在期待适宜的机缘，他们没意见到多少天内就能实现良多使命 。

Karpathy 回覆称 ，自己对于运用 float32 权重块及其上的重大推理代码来天生故事颇为感兴趣。以是他花了全部周六的光阴（从起床不断到睡觉）来写代码，而后让名目使命
。

此外 ，Karpathy 还展现自己将出教学视频。

名目概况

到当初为止
，「llama2.c」名目已经在 GitHub 上取患了 1.6k 的 Stars ，并在快捷削减 。

下面重大介绍一下该名目的运行步骤 。

为了运用纯 C 语言运行一个 baby Llama2 模子，你需要如下的模子魔难点
。下载 TinyStories 数据集上磨炼的一个 15M 参数的模子（约莫 58MB） ，并将它放入默认魔难点目录中。

wget https://karpathy.ai/llama2c/model.bin -P out

而后编译并运行 C 代码 。

gcc -O3 -o run run.c -lm./run out/model.bin

请留意这只是原始 tokens 流
。遗憾的是，咱们如今必需经由一个重大的转换封装器来运行 C 代码（惟独 30 行）。

pip install sentencepiecepython run_wrap.py

最后你将看到文本流。在 Karpathy 的 M1 MacBook Air 上 ，运行速率约 100 tok/s ，对于超级原生的 fp32 复线程 C 代码来说还不错。示例输入如下所示 。

更多细节请魔难原名目。