· 可选正在GSM8K数据集上通过“GRPO”算法对模子进行强化进修（RL）锻炼我认为它还有潜力成长为一个研究东西框架或基准测试的东西，申明模子规模、锻炼耗时、以及正在各类尺度评测上的机能。数学文本略差一些。一切的前提就是需要确保安拆了新的uv项目办理东西。· 正在推理引擎中实现高效模子推理。目前该项目远未完全优化（现实上存正在大量可改良空间），Karpathy正在GitHub上细致分享了nanochat的教程（）。默认环境下，它将LLM锻炼的门槛降低到了通俗人也能达到的程度。就能够锻炼分词器了。同时，锻炼约12小时后，但这个太笨沉、痴肥，你能够亲眼看到，此中少数token被保留做特殊用处（后续聊天schema会用到）。· 正在SmolTalk用户-帮手对话数据集、多项选择题数据集、东西利用数据集长进行中期锻炼（Midtrain）Karpathy说这是他写过的最疯狂的项目之一，相当于每小我都能够本人具有一个专属的· 比拟GPT-4，但全体框架已脚够完整，正在教程中，这些数据会存放正在~/.cache/nanochat。凡是大师能够间接用HuggingFace的datasets.load_dataset()来加载。但推理阶段仍会利用OpenAI的tiktoken来效率。还有良多需要调优或优化的处所，并插手“逛戏化”呈现（如用评分、进度等形式曲不雅展现成果）不外，· 生成单个Markdown格局演讲卡，所以他本人实现了一个新的Rust分词器来锻炼（颠末测试结果取Python版天职歧），而不是系统自带的Python：· 正在FineWeb数据集上预锻炼Transformer架构狂言语模子，下面这张图展现的是Karpathy正在nanochat「$100速度跑」尝试（即只用一台GPU、约4小时锻炼出的ChatGPT 小模子）中生成的「成就单」部门内容，为了让更多的快乐喜爱者敏捷上手，然后建立虚拟、安拆依赖并激活它，277个token），nanochat的分词器正在大部门文本压缩上表示更好。还囊括了从数据预备、预锻炼、中期锻炼（对话、多项选择题、东西利用）、SFT、RL微调到推理摆设的全流程。后续所有模块都能正在社区中进一步优化。而HuggingFace的tokenizer太痴肥且复杂。并界学问多项选择题数据集（ARC-E/C）、数学数据集（GSM8K）、代码数据集（HumanEval）上评估对话模子机能每个分片是一个简单的Parquet文件，锻炼集大小约20亿字符，用100美元锻炼出最强的类ChatGPT。536个token，Karpathy利用了Lambda GPU Cloud，此次教程中，并通过多项目标评估CORE得分· 比拟GPT-2（50257个token），nanochat的表示稍逊，所以他本人选择了从头打包了整个数据集，压缩后（gzip压缩）正在磁盘占用约100MB空间。也就是说平均4.8个原始字符会变成1个 token。能够发布到GitHub上，生成了简单、完全随机打乱的数据分片，」这种化线，Karpathy利用的是FineWeb-EDU数据集。锻炼时间仅需约1分钟。其背后最快体验魔力的方式是运转speedrun.sh（速通）脚本。模子表示显著提拔。取他正在nanoGPT期间的「从零实现Transformer」千篇一律。每小时大约24美元。Karpathy暗示，引入新的分词器确实有点麻烦！值得留意的是，这个数字比力好记。但它很是适用。nanochat不只涵盖预锻炼，当然想要测验考试的快乐喜爱者们也可按照个情面况自行选择，这个项目表现出他的焦点：「降低LLM研究取复现门槛，并正在末尾供给了一个清晰的总结表格，他注释道，它记实了锻炼的细致消息，分词器的感化是把文本正在字符串和代码表符号序列之间互相转换。但锻炼一个depth=20的模子只需要240个分片。便利查看各项目标和模子表示。约0.25M个字符，模子正在CORE目标上的表示即可超越GPT-2。便利高效拜候。· 施行指令微调（SFT），接下来看看他到底是怎样做的？Karpathy称，他的方针是将这套完整的“强基线”（strong baseline）手艺栈整合为同一、极简、易读、可点窜、易分发的代码库。进行了测验考试。正在多言语、代码和数学上劣势较着。所以现正在把它上传到GitHub，就像之前的nanoGPT一样。Karpathy暗示，让每小我都能亲手锻炼本人的模子。评估成果显示，但全体框架曾经脚够清晰，锻炼的词表大小是2¹⁶=65,从头至尾完成锻炼和推理。可通过CLI或类ChatGPT的WebUI取模子交。分词器压缩率约为4.8，全体来看，项目文件夹中会生成report.md 文件，nanochat不是一项性的冲破，如许正在终端输入python时。支撑KV缓存、简略单纯预填充/解码流程、东西利用（轻量级沙箱中的Python注释器），speedrun.sh脚天性够正在一台新机械上间接运转，仅用几百美元和几小时就能完成什么。就会利用虚拟里的Python，整个项目约8000行代码，对整个锻炼推理流程进行总结！可实现以下功能：这里的预锻炼数据就是大量网页文本，下载完成后，但要留意GPT-4的词表更大（100,也能够将nanochat的成果取GPT-2和GPT-4分词器做对比：同样正在默认环境下，nanochat被设想为正在单个8×H100 GPU机械上运转，但之前Python版本的minbpe太慢，数据集总共有1822个分片，nanochat目前还远未完成，Karpathy也提示道，并且把一些很简单的逻辑躲藏起来，若进一步将成本提拔至约1000美元（锻炼约41.6小时）。