数小时7.1kStar！nanochat开源，LLM门坎大降

[db:作者]

前OpenAI结合开创人Karpathy比来又搞出个大消息，开源了个叫nanochat的项目提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
这工具最离谱的地方在于，只要花100美圆、等4小时，你就能训出一个属于自己的“迷你ChatGPT”，能聊天、写诗，还能答点简单题目提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
如果多花点时候，比如训12小时，性能甚至能跨越GPT-2提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

项目刚公布没几小时，GitHub上就攒了7.1kStar，一堆AI开辟者跑去试手提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
说真话，之前看LLM练习总感觉是“大厂专属”，得有几百万预算、一堆工程师才行，但nanochat这波操纵，反而让我感觉“普通人也能凑凑热烈了”提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
100美圆+4小时，这能够是最“亲民”的LLM练习工具nanochat本质是个LLM全栈工具，从模子练习到最初跟模子聊天，一切流程都塞在一个代码库里，还几近没什么依靠提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

全部项目就8000行代码，首要用Python写的（基于PyTorch），就加了点Rust代码做分词器提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
为啥用Rust写分词器？Karpathy自己说，之前用Python版的分词器太慢，用HuggingFace的又太臃肿，藏了一堆复杂逻辑，干脆自己写了个Rust版本，练习的时辰用这个，推理的时辰再换OpenAI的tiktoken保证速度，双方结果还一样提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
最吸引人的还是本钱，你不用买高贵的GPU，租个云端GPU就行，比如LambdaGPUCloud，每小时大要24美圆提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

算下来，4小时练习也就花100美圆左右提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
Karpathy自己都讥讽，这是“100美圆能构建的最强ChatGPT”提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
而且这项目还跟教育挂钩，Karpathy说要把它当做旗下EurekaLabs的LLM101n课程收官项目提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
想想看，之前门生学LLM，顶多是跑他人的模子demo，现在能随着教程从零训一个自己的模子，这类“亲手做出来”的感受，可比光听课成心机多了提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

有点像昔时他搞nanoGPT鞭策预练习平民化那意义，此次是要把全流程都给“提高”了提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
不外别期望这100美圆的模子能有多利害提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
Karpathy自己也说，聊起来就像在跟幼儿园小朋友对话，复杂数学题、深度推理必定不可，但胜在“能跑通全流程”，你能亲眼看到模子怎样从一堆数据里学常识，怎样从“只会补全笔墨”酿成“能跟你聊天”，这点对新手来说太重要了提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
四步上手，从搭情况到聊天，小白也能随着走讲完亮点，咱得说说具体怎样操纵，究竟光晓得好没用，得能上手才行提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

Karpathy在GitHub上写了超具体的教程，根基上随着步调走，就算是刚入门的开辟者也能搞定提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
第一步是搭情况提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
先克隆项目，用uv工具建个虚拟情况，再装Rust编译分词器提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
这里得提一嘴，编译分词器的时辰能够会有点小麻烦，但教程里写得很清楚，随着输号令就行，不用自己瞎琢磨提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

第二步是预备数据提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
预练习用的是FineWeb-EDU数据集，Karpathy已经把它打包成了1822个小分片，每个分片紧缩后才100MB左右提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
练习一个20层的模子，实在只用240个分片就够了，下载起来也不费劲提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
第三步就是分阶段练习提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

最花时候的是预练习，大要要3小时，用8张GPU训一个20层的Transformer，差不多5.6亿参数提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
这一步主如果让模子“学根本常识”，比如地理常识、简单化学公式提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
训完后看评价，CORE目标能到0.22，比GPT-2Large还稍好点提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
不外也有搞笑的地方，模子能答出“地球绕太阳转”，但问它“天空是什么色彩”，反而会犹豫，搞不清答案提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

预练习以后是中期练习，才花8分钟，用SmolTalk的对话数据微调，让模子学会怎样跟人聊天，比如识别“用户说什么、助手怎样回”提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
再以后是监视微调，7分钟就好，用优良数据再优化下，比如让模子更懂规矩，大概更精准地回答题目提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
最初一步就是聊天了，你可以在终端里跟模子聊，也能启动个网页界面，跟用ChatGPT似的提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
Karpathy还放了个网页界面的截图，看起来很简洁，输入题目就能等答复，虽然答复能够有点“幼稚”，但成就感是真的足提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

哦对了，还有个可选的强化进修步调，大要1.5小时，首要用来优化数学题回答提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
不外今朝默许是正文掉的，Karpathy说还没完全调优，等后续社区完善提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
现在GitHub上已经有很多开辟者试过了，有人说“流程出格丝滑，3小时真能训出能聊天的模子”，也有人吐槽“Rust分词器编译对新手不太友爱，得查半天教程”提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

但整体来说，大师都感觉这项目很适用，不是说能靠它搞出什么贸易产物，而是能让更多人搞懂LLM练习究竟是怎样回事提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
它不是“倾覆者”，却是“破局者”nanochat算不上什么倾覆性冲破，性能比不外GPT-3、GPT-4，甚至连一些开源大模子都不如提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
但它的代价不在于“强”，而在于“低门坎”提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

之前想领会LLM练习，要末看一堆理论论文，要末对着大厂的黑箱API发愣，普通人底子没机遇亲身脱手提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
但nanochat把复杂的流程拆成了“傻瓜式步调”，本钱压到了普通人能接管的范围，甚至还能当做讲授工具提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
Karpathy自己也说，这项目还远没完成，还有很多地方要调优提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
但现在把它开源出来，就是想让更多人介入进来，一路完善提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

就像昔时的nanoGPT，从一个简单的预练习工具，渐渐酿成了很多研讨的根本框架提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
未来这工具能够会成为AI入门的“标配”，门生用它学LLM道理，小开辟者用它做尝试，甚至有人用它做兴趣项目，比如训个只聊科幻小说的模子提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
究竟，不是一切人都需要最顶尖的模子，但一切人都需要一个“能亲手摸到”的进修工具提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

总的来说，nanochat这波操纵，更像是给LLM范畴开了个“小门”，让之前挤不进来的人，现在能踮踮脚就够着提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
至于后续能成长成什么样，就得看社区怎样发力了提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
但最少现在，它已经让很多人意想到，LLM练习，没那末遥不成及提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。