Sutton判定「LLM是死胡同」后，新访谈揭露AI窘境

[db:作者]

机械之心报道
机械之心编辑部
在这个新访谈中，Sutton 与多位专家一路，进一步探讨 AI 研讨范畴存在的具体题目提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
在大模子圈子里，强化进修之父、图灵奖得主 Rich Sutton 所著《苦涩的经验（The Bitter Lesson）》已经成为圣经一般的存在提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。假如一个方式可以随着算力的增加而自然受益，大师就会感觉这个方式合适《苦涩的经验》所转达的精神，值得进一步研讨提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
多年以来，LLM 一向被视为《苦涩的经验》的绝佳典范提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。但出人料想的是，Sutton 本人在前段时候的一次采访中给这个想法泼了盆冷水，婉言 LLM 是死胡同，不肯定其能否真的合适《苦涩的经验》提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

Sutton 比来在 Dwarkesh Patel 的播客《The Dwarkesh Podcast》上的一次访谈提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
Sutton 给出的来由是：LLM 存在严重缺点，没法从延续的现实互动中进修提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。Sutton 心中设想的是一种完全分歧的智能架构，而 LLM 的工作方式在很多方面都违反了他所对峙的原则提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
Sutton 回溯到了图灵最初提出的「儿童机械（child machine）」的概念，即一个可以经过与天下静态交互、从经历中进修的系统提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。在这类设想中，没有那种先模仿全部互联网网页的大范围预练习阶段，也不存在后来的报酬监视微调提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。他出格指出，监视微调在自然界中是不存在的提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。他还夸大了另一点：即使你把预练习看做是在强化进修之前的一种「先验初始化」，这类方式仍然被人类偏见净化，从底子偏向上就是错的提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
在 Sutton 的天下观中，智能的一切都来自于经过强化进修与情况的延续交互提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。嘉奖函数部分由情况决议，但也包括内在动机， 比如猎奇心、爱好、摸索的兴趣等，这些都与智能体天下模子中猜测的质量相关提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。在这类框架下，智能体在测试阶段仍然延续进修，进修不是「一次练习、永久摆设」，而是一种默许延续停止的进程提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
Sutton 的这些概念激发了诸多争议，他本人也介入了近期的一场新圆桌，进一步会商上述题目提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
这场圆桌由投资机构 Intrepid Growth Partners 倡议，其开创人兼合股人 Ajay Agrawal 担任主持，MIT 教授 Sendhil Mullainathan、利用野生智能科学家 Niamh Gavin、Nirvanic Consciousness Technologies 开创人兼 CEO Suzanne Gildert 也介入了会商提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
这些专家碰撞出了很多有代价的概念提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。以下是机械之心对播客内容的整理：
纯洁的强化进修很难实现
主持人: Suzanne，我想问问您的看法，Rich 在那期播客中说的一句话，我似乎也听您说过，他说：「假如我们能造出与松鼠心智相当的工具，那我们根基上就成功了提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。」播客的主持人那时举了登月这样的例子，感受人类登月和松鼠藏坚果之间差异庞大提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。但我晓得，您的天下观实在与 Rich 的更加接近提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
Suzanne: 关于松鼠的题目，我以为构建一个松鼠那样的心智，要比构建一个能经过我所说的「高级监视进修」来履利用命的系统难很多提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。由于我们今朝所做的一切根基上都是监视进修，并没有真正意义上的强化进修在发生提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。每当有人尝试停止纯洁的强化进修时，他们终极总是会回到模仿进修的门路上提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
由于我相信，纯洁的强化进修是极为困难或不成能实现的，由于我们没法界说通用的嘉奖函数提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。是以，我以为在我们找到界说、获得或缔造通用嘉奖函数的方式之前，我们没法最大限度地发挥强化进修的潜力提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
而我理想中的那种才能是，你可以像看待一只松鼠那样，把它放到一个新情况中，它就能自立地起头进修提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。你可以将任何智能体置于一个全新的情况中，它会自己起头进修提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。而我们明天的任何系统都做不到这一点提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。所以，这就是我们需要构建的系统与我们今朝所以为的智能系统之间的区分提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。我们现有的系统很是聪明和智能，但假如你把它们放到一个从未见过的新场景或新用例中，它们没法进修提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。是以，关键在于「进修」这个部分，重要的不是它能做什么、它已经学会了什么，而是「它若何进修新事物」提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
只要「操纵」，没有「摸索」
主持人： 好的，我们先听听 Niamh 的看法，然后是 Sendhil，最初请 Rich 回应提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。Niamh，您可以随意挑选任何您感爱好的话题停止展开提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
Niamh：也许作为一位正身处这场技术浪潮中心的人，我可以快速地重新至尾梳理一下各个门户的想法提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。我经常对一件事感应惊奇：硅谷本应是思惟自在的故里，但偶然却表示出惊人的「派系化」偏向提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。而我小我更偏向于博采众长，从各个门户中鉴戒思惟提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
理想情况下，当我们构建这些模子时，我们固然希望它们能从第一性道理动身，经过本身经历去发现和进修提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。但这存在一个「冷启动题目」提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。是以，很多人挑选了一条捷径，那就是间接吸收全部互联网的数据提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
这背后的缘由有两点：他们以为写作是我们思维机制的杰出表现，而且说话是区分我们与其他物种的关键元素提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。是以，它应当是一个充足好的起点提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
应战在于，我们在模子设想的每个环节上都走向了极端提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。例如，强化进修本应是「操纵」与「摸索」的杰出连系提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。但是，我们所做的却是在有限的经历或内置的代价函数根本上，停止纯洁的「操纵」提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这致使的成果，正如 Suzanne 所说，更多的是形式识别，而非实在的了解；更多的是模仿，而非直觉思维提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。而自回归机制自己，就像是神经收集的顺序展开，更像是一条通往激活状态的序列化途径，而不是一个可以随时候微调、真正基于方针的方针函数提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
所以我以为，我们中没有人会感觉「一个大说话模子加上一个好的提醒词」就是野生智能的未来提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。理想情况下，我们都希望迈向阿谁难以捉摸的「通用近似器」—— 它具有泛化才能、可以停止迁移进修，并具有一个像 Suzanne 提到的通用嘉奖函数提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
现在，你已经起头看到这类改变提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。人们逐步意想到大说话模子的范围性或懦弱性，并尝试缔造更多延续进修的机制提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。至于这能否意味着回归到贝叶斯方式，或是采用演变算法来实现跨越式成长，今朝尚无定论提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
其次，是关于数据自己的题目提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。数据纷歧定是有噪声的，但它能否从我们真正关心的散布中采样而来？它并非基于思维形式，而是基于写作提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。而我们写作时的思考方式，与我们在现实天下中的思考方式不尽不异提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这就是为什么我们现在看到向嵌入式系统的忽然改变，它更趋向于一种「经过理论来进修」的机制，更偏重于代价函数而非嘉奖函数，而且是一种更少基于法则、更具摸干脆的经历获得方式提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
还有一派人以为，通用野生智能将经过复制大脑来实现提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。但我不太认同这个偏向提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。我一向感觉，我们应当让计较机去做它擅长而人类不擅长的工作，而不是一味模仿人类提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。我确切以为，在「缸中之脑」这个意义上，两者存在根赋性的底层机制差别：野生智能的计较架构是简单的电子电路，而实在的生物系统是离子，它们速度慢，但效力极高提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这就引出了一个题目：说话对于智能是根本性的吗？还是说智能仅仅是相互毗连的收集？也许我们只是需要新的理论图景提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
一切这一切的焦点要素是，假如模子确实在现了这些庞大的奔腾 —— 这又回到了 Sendhil 的概念 —— 我们确切需要某种「机制可诠释性」来分解这些新设想，以了解它们能否可行以及是若何发生的提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这有点像 AlphaGo 那著名的第 37 手，对吧？你若何从中追溯其思考途径和因果效应？
关于若何建立追踪机制和因果揣度这个题目，实在最初还触及到费曼学派那种「没法构建就意味着不了解」的理念提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。确切，我们虽然构建了 CNN 处置视觉使命，用 LLM 处置说话使命，但对这些模子出现特征的了解仍很是有限提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这不由让人思考：这些工作到底有没有帮助我们真正了解神经收集？当下各类学术门户交汇之处正是思惟磨擦的焦点，但在我看来，这些穿插范畴才是最值得深耕的沃土提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
苦涩经验被极端化了解成了非此即彼的挑选机制 —— 要末全盘接管算力优先，要末完全否认提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。但复制 40 亿年进化过程是极为复杂的工程，仅完功效蝇毗连组就花费了我们数十年，更不用说松鼠级此外神经系统了提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。也许我们该临时放下狂妄，更多拥抱科学方式论与摸索精神，而不是像拿着锤子逐词处置那样机械地推动提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。固然这些话题更期待 Rich 教授的深度看法，我不外是这个范畴的过客与旁观者提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
只模仿终极表示是不够的
Sendhil Mullainathan：Richard，我发现你转发的一条推文很成心机提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。虽然你原推文提到斑胸草雀（说真话我之前底子不熟悉这类鸟），不外我可以援用 Chris 转评的内容提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。他指出你的焦点概念是：当人类停止模仿时，我们模仿的是终极表示，但必须自行摸索实现进程 —— 这个洞见简直直击题目本质提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。网上能够很多人没能了解这个精微区分，这完全可以了解，由于其中简直布满奥妙之处提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

关键在于摸索进程这个动词提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。我们与天下的联系始终逗留在表层：听到斑胸草雀的鸣叫，看到他人完成代数证实，这些都只是表象提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。我们没法间接观察到内在机制：鸟类若何变更鸣肌，解题者若何构想证实步调提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。即使是在高阶认知活动中，当有人向我们诠释某事时，那仍然只是表层信息提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。我们始终需要动用本身认知系统去探访：在物理层面这些成果究竟是若何发生的？
这个认知逻辑很是清楚提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。就像听到鸟鸣后想要模仿，我们不成能知晓鸟类具体若何控制鸣管，只能用自己的声带频频尝试提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。认知活动也是同理提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。即使是在相互诠释时 —— 不晓得你们能否听过阿谁关于冯・诺依曼的火车谜题轶事？两列相向而行的火车，有蜜蜂往返其间，要求计较蜜蜂总飞翔间隔提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。冯・诺依曼瞬间给出答案，当被问及能否用了取巧方式时，他反问道：什么巧解？实在这个题目确切存在经过洞察纪律快速求解的方式，固然也可以挑选暴力计较无穷级数 —— 虽然没人会这么做提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

这个故事之所以令我回味，是由于它揭露了一个本质：即使我们目击认知活动的功效，甚至获得具体诠释，分歧个体构建内部表征的进程仍然唯一无二提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
我之所以展开这些会商，是由于这个区分让我豁然开畅：假如强迫模子必须了解特定行动会发生何种成果，它就不能不构建行动与成果之间关系的内部表征提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。依照我的了解，这也许正是当前模子缺少杰出天下模子的关键缘由 —— 它们没有被强迫要求摸索在特定行动空间中，哪些操纵能发生我们观察到的成果（不管是说话表达还是数学证实）提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。不外我们也能观察到某些范畴它们确切建立了完善的天下模子，比如国际象棋或围棋 —— 在这些明白行动空间到成果输出的范畴，算法确切构建了从行动到成果的映照关系提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这个才能鸿沟正在延续扩大，只是与基于文本语料练习的说话模子有着本质区分提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
LLM 能够败在没法在短期内兑现许诺
Richard Sutton：感激列位，适才的会商布满了一孔之见提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。但我想夸大的是，虽然我们本质上都是科学家，习惯聚焦学术理念，但现在我们正在尝试某种冲破，我们实在是在审阅这个范畴的学术生态提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。没错，我曩昔常轻描淡写地用学术风尚来描述这类现象，但这个说法确切有失公允提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
这更像是学术社群平分歧思维形式的碰撞提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。科学史上始终存在多元思维方式，但当下情况更加特别，当某种思维范式获得统治性职位时，要晓得现在每年稀有百上千亿美圆基于特定理念投入 AI 范畴，这不成避免会改变科学研讨的本质提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
关于苦涩经验的会商，我想尝试做个总结提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。虽然我已经涉足了学术生态学分析，但这本质上是个社会学命题而非纯科学陈说提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。它揭露的是研讨群体频频堕入的思维误区提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。传统 AI 研讨始终围绕方针展开，全部范畴都聚焦于处理题目、告竣方针提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
而现在，我们进入了一个全新的阶段：出现了一个强大而占主导职位的思潮，主张我们无需设定方针，只需模仿人类行为提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这类概念以为，当模仿到达充足范围、算力与数据量级时，系统将发生量变，终极真正了解天下提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。它们不再只是机械模仿，而是获得了对天下的认知模子提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
我始终以为这是个极端主张，正如那句名言「非凡的结论需要非凡的证据」提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。当下我们见证的正是这样的非凡结论：仅经过观察人类行为样本，依靠下一个词猜测与微调，就能出现了解与推理才能（他们甚至大胆启用了推理这个术语）提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。而对峙方针导向与理论经历相当重要的传统认知，反而被视作极端概念提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
在现今以大说话模子为中心的会商中，经过之前关于苦涩经验的探讨，我想聚焦一个焦点题目：大说话模子将走向何方？这个题目我凡是没法回答，由于我努力于其他技术途径的摸索提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
实在我不应对他人的技术线路妄加批评，这几近有失礼节提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。但公众关注的焦点确切在于此：人们想晓得我能否以为大说话模子违反苦涩经验的焦点理念，终极沦为无关紧急的失利尝试？我们有需要深入思考并构成判定：它们会失利吗？这类失利一定指技术完全无效，而是指没法实现其许诺的宏伟愿景，斟酌到投入这些系统的巨额资金，比来有位教授尖锐指出：假如大说话模子和 AI 技术需要 15 年才能兑现代价，那将是场灾难提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。由于当前投入的资金范围与许诺预期，若三年内未见效果，便能够激发市场解体或泡沫破裂提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
换言之，它们在某些范畴确切具有适用代价，但终将面临泡沫破裂，由于投资回报率没法婚配巨额投入提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。用苦涩经验的视角解读：将全数筹码押注在人类常识上是危险的，由于人类常识自己不具有可扩大性提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。而当前大说话模子的成长途径恰恰重蹈了这个覆辙提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
需要说明的是，我并非大说话模子专家，精通大说话模子的研讨者也很是少提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。但我们可以观察到：它们经过模仿人类行为与说话标记停止练习，试图复现人类能够天生的文本提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。但仅凭这点没法培养优异的现代大说话模子，后续还需要大量微调与人类反应强化进修（RLHF），投入庞大工程尽力才使其成为适用工具（如摘要、翻译、问答）提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。它们能聚焦用户题目，正是由于在自然人类说话根本上附加了额外设想提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这些系统经过大量野生设想，正因如此，其成长能够受限于可扩大性，过度依靠人类输入，而互联网数据虽范围庞大，毕竟存在鸿沟提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
据此我们也答应以猜测：大说话模子终将触达互联网数据的鸿沟，继而堕入过度依靠专家微调的窘境提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这将成为苦涩经验的又一个典型案例 —— 当系统无停止地依靠野生调试时，其失利几近不成避免提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。我们的天下如此广袤复杂，永久存在未预见的场景与方式论提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
相比之下，能从经历中自立进修的系统则能发觉现实天下的各种特质，这类才能终将占据主导职位提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。即使当前基于人类模仿的系统表示不俗，但阿谁起步类似却具有经历进修才能的系统，终极会取代前者提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
虽然我开初声明不应对此颁发概念（由于这并非我的主攻范畴），但究竟证实我已构成明白判定：这极能够将成为苦涩经验的新例证提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。随着思考的深入，我以为这类情况发生的能够性正一日千里提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
AI 界的「途径依靠」
Niamh Gavin：作为范畴内的理论者，我完全附和您的概念，Rich提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。但外界能够会质疑：为何历史总在重演？为何行业总不自觉地堕入自我设限的循环？这本质上反应了焦点冲突：哪些题目该由模子智能处理，哪些能经过工程手段填补提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。优异尝试室总是兼顾研讨与工程，但这类形式的弊端在于：当模子碰到瓶颈时，工程师第一反应常常是我能修复，而非退后一步思考系统级重构提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
这类修补式迭代会致使系统日益懦弱和过拟合，正如你最初提到的，当市场贸易化浪潮囊括而来，我们常常被既定途径绑架，直到某刻个人意想到必须重构新系统 —— 出格是在当前加速演进的情况下，这正是我们堕入的恶性循环提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。但起色在于：越早触达瓶颈，就越快迫使我们重新构想技术途径提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
今朝大说话模子范畴已显现这类改变：从纯真依靠算力扩大定律、利用懦弱的 Transformer 主干，正慢慢转向更重视推理才能的方式链提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。从最初的思维链推理，到现在更多摸索强化进修情况，这类演进正在悄悄发生提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
Richard Sutton：我们都有创新者的窘境提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这就是你所说的提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。他们以一种方式做到了，他们偏向于不想尝试完全分歧的工具提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
分清模子「现在能做的」和「大师期待它能做的」很重要
Sendhil Mullainathan： 我想我在本色题目上几近完全赞成你的概念，Rich，但对于第二点有些分歧定见提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
我感觉我们需要分清两件事提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。一是这些模子被以为能做到什么，大概说大师期待它们很快能做到什么，二是这些模子现实上能做的那些了不起的工作提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
对我来说，看清这一点很有帮助：人们看到这些行为，然后就起头揣度，设想这将会看起来像是智能，大概随你怎样称号它提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
我以为这类揣度是误导性的提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。但对我来说那不是实在的悲剧提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。实在的悲剧是，它们能做的工作实在很惊人提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。我们只是需要给它起个分歧的名字，叫它此外什么提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。它有着难以置信的代价，难以置信的用处提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这是你一次又一次看到的那种情况 —— 题目不在于缺少什么提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。就像我们在互联网泡沫中看到的那样提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。互联网确切具有变化性，这毫无疑问提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。以为它不具有变化性简直是疯了提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
但题目是，那时人们对它的期待 —— 特别是对某些具体公司的期待 —— 实在是过分甚了提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。我感觉现在的情况也有点像提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
所以对我来说，全部公共会商中最使人专心的部分 —— 我说的不是我们这个圈子，而是里面的公共会商 —— 是我们一向没有好好聊聊已经发生的这个奇迹提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。纯洁的模仿居然能发生这么多非凡的特征，这是怎样做到的？我们到底获得了几多出现才能？它究竟能做什么？这些都是出格成心机的学术题目提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
是的，它不会到达实在的智能提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。可是 —— 很多了不起的创新都不是「智能」，我们还是找到了很好的用处提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。我感觉这才是最使我失望的地方提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
主持人：说到这里，我要出格表彰一下 Sendhil 自己提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。经济学界有很多人在研讨这个范畴，大大都人在论文题目和正文里都用「野生智能」这个词，但 Sendhil 不这样提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。他顿时要颁发的论文叫《算法时代的科学》之类的，他用的是「算法」这个词，不是「AI」—— 虽然他说的就是他生齿中的 AI提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
参考链接：
https://www.youtube.com/watch?v=e-sghqKZ-Mw
https://x.com/karpathy/status/1973435013875314729