|
|
当 AI 巨头们争相投入数十亿甚至上百亿美圆扶植数据中心、采购更多 GPU 来练习和运转大型模子时,一家名为 Extropic 的草创公司正在尝试一条截然分歧的门路提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这家建立于 2022 年的公司刚刚推出了首个工作硬件原型,它的焦点技术不依靠传统的 0 和 1 比特,而是经过“几率比特”来处置信息,这类怪异的方式,能够会从底子上改变 AI 计较的能效方程式提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
10 月 29 日,Extropic 公布其首个硬件 XTR-0 已托付给包括前沿 AI 尝试室、气象建模草创公司以及多国政府代表在内的合作伙伴停止测试提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
(来历:Extropic)
让噪声成为计较的燃料
Extropic 将其处置器称为“热力学采样单元”(Thermodynamic Sampling Unit,TSU),以区分于传统的中心处置器(CPU,Central Processing Unit)或图形处置器(GPU,Graphics Processing Unit)提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
传统计较机极力消除电路中的热噪声和电子波动,Extropic 却反其道而行之,将这些凡是被视为仇敌的物理现象转化为贵重的计较资本提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。他们设想的处置器 TSU 的根基组成单元不再是肯定的比特(bit),而是“几率比特”(probabilistic bit,p-bit)提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
传统的比特在任何时辰都只要两个明白的状态:0 或 1提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。而 p-bit 则操纵晶体管内在的热噪声,使其在 0 和 1 之间自然地、概任性地波动提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这类设想使得 TSU 可以原生、高效地履行几率算法,特别是天生式 AI 模子中常见的采样使命提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
(来历:Extropic)
今朝支流的 AI 模子,如大说话模子和分散模子,其焦点环节之一就是从一个复杂的几率散布中抽取样本提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。在今朝的 GPU 架构上,这一进程凡是需要大量的矩阵运算来首先计较出几率散布,然后再停止采样,全部进程不但计较麋集,而且能耗庞大提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。Extropic 的 TSU 则跳过了复杂的矩阵运算,间接经过物理进程对几率散布停止建模和采样提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
图丨相关论文(来历:arXiv)
按照 Extropic 于 2025 年 10 月 28 日在学术预印本网站 arXiv 上公布的论文《一种用于类分散模子的高效几率硬件架构》(An efficient probabilistic hardware architecture for diffusion-like models),其设想的全晶体管几率计较机,在运转他们提出的“去噪热力学模子”(Denoising Thermodynamic Model,DTM)时,相较于在 GPU 上运转的同类算法,能在到达同等性能水平(performance parity)的条件下,将能耗下降约 10,000 倍提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
从量子计较的“科学出走”到热力学计较
Extropic 的故事,某种水平上源于对量子计较远景的失望提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。开创人 Guillaume Verdon 和 Trevor McCourt 都曾是 Google 量子计较团队的焦点成员,两人在滑铁卢大学介入建立 TensorFlow Quantum 项目时了解提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
图丨Guillaume Verdon(左)与 Trever McCourt(右)(来历:X)
Verdon 是量子深度进修范畴的先驱人物,在滑铁卢大学攻读利用数学与量子信息博士学位时代,他创建了后来成为 Google TensorFlow Quantum 的项目,以后加入了 Google Quantum AI 团队提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。在 Alphabet 旗下的登月工场 X,他担任物理与 AI 团队的量子技术负责人,鞭策了一系列从感知、通讯到表征进修的量子技术利用提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
McCourt 最初是一位机械工程师,在滑铁卢大学加入 TensorFlow Quantum 项目标开创团队后,起头与 Verdon 亲近合作,配合开创了可微份量子编程软件提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。以后他转向硬件工程偏向,在 Google Quantum AI 开辟尖端装备和控制技术提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。但量子计较的可扩大性时候线不竭耽误,让这些技术精英起头寻觅新的前途提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。McCourt 随后前往麻省理工学院攻读博士,专注研讨噪声在计较和生命系统中的感化——这一研讨偏向,也成为 Extropic 焦点理念的根本提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
2022 年,Guillaume Verdon 和 Trevor McCourt 分开了量子计较范畴,创建了 Extropic提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。依照公司的说法,团队中的很多成员都履历了“量子计较的科学出走”(scientific exodus from quantum computing)提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。随着量子物理计较机的可扩大性时候表频频拉长,这些物理学家和工程师起头追求另一条通往适用物理计较的门路:一条不依靠量子力学、将噪声视为可操纵的资本而非负担、不需要器件物理学奇迹就能到达产业范围的门路提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
公司的首席架构师 Christopher Chamberland 曾在 AWS 和 IBM 量子部分带领焦点架构和线路图制定工作,被普遍以为是最精采的量子计较机架构师之一,但他终极也挑选分开量子计较范畴,加入 Extropic提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这支团队的成员此前来自谷歌 AI、AWS、Meta、IBM、英伟达等公司,他们试图在物理学与 AI 的穿插点上斥地新的能够性提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
2023 年 12 月,Extropic 公布完成 1,410 万美圆的种子轮融资,由 Kindred Ventures 领投,投资者名单中包括 Perplexity 的 Aravind Srinivas、Y Combinator 的 Garry Tan、Naval Ravikant 和 Shopify 的 Tobias Lütke 等著名天使投资人提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
从原型到下一代芯片
克日,他们已经推出了首款硬件原型 XTR-0提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。今朝公布的 XTR-0 硬件由一个现场可编程门阵列(FPGA,Field-Programmable Gate Array)芯片与两个 X-0 芯片组成,后者各包括少许 p-bit提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。虽然范围有限,但这一原型已经证实了公司方式的潜力提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。Extropic 已经将第一代芯片托付给了包括前沿 AI 尝试室、气象建模草创公司以及多国政府机构在内的早期合作伙伴提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
图丨首款硬件原型 XTR-0(来历:Extropic)
气象 AI 公司 Atmo 的 CEO Johan Mathe 是首批测试者之一,该公司利用 AI 模子停止高分辨率天气预告,客户包括美国国防部提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。Mathe 暗示,Extropic 的芯片将使更高效地计较分歧天气条件的几率成为能够提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。他已经利用了公司公布的软件库以及实在芯片停止测试,“我可以运转几个 p-bit,看到它们按预期方式运转提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。”
这个软件库名为 THRML,是 Extropic 同步公布的重要工具提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。它使开辟者可以在 GPU 上模拟 TSU 芯片的行为,从而在实在的硬件到来之前就能开辟热力学机械进修算法提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这类战略也类似于英伟达昔时经过 CUDA 软件生态系统建立合作上风的做法,即先让开辟者熟悉新的编程范式,再鞭策硬件的大范围摆设提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
公司计划于 2026 年公布的下一代芯片 Z-1 估计将包括 25 万个 p-bit提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。在比来公布的论文中,他们还具体论述了若何操纵 Z-1 芯片来建立一种新型分散模子提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
传统的基于能量的模子(Energy-Based Models,EBMs)在几率计较中面临一个根赋性困难,Extropic 将其称为“夹杂-表达性权衡”(Mixing-Expressivity Tradeoff,MET)提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。简单来说,当模子的表达才能增强时,从该模子中抽取自力样本所需的计较劲会急剧增加,致使推理本钱高昂且练习不稳定提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这就像试图在一个布满高墙的能量景观中移动,两个“山谷”之间的庞大势垒会让迭代采样器堕入障碍提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
Extropic 提出的处理计划是去噪热力学模子提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这类模子将 EBMs 与分散模子相连系,不是试图用单一的 EBM 来建模数据散布,而是经过一系列 EBMs 慢慢构建复杂性提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。每一步的能量景观都连结相对简单且易于采样,但全部链条可以表达的散布复杂度却不受限制提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这类渐进式的复杂性构建答应模子在牢固计较预算下表达更复杂的散布,从而躲避了 MET 的限制提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
现实操纵中,DTMs 经过进修一系列条件散布来逆转一个将数据散布逐步转化为简单噪声的进程,进而用于天生新数据提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。关键在于为给定题目挑选适当的步数,使得逆向进程的散布既充足复杂以获得杰出性能,又不会复杂到难以采样提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
按照论文中的数据,Extropic 团队开辟的 DTM 架构在简单图像天生基准测试上已经显现出惊人的能效提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。他们利用一个仅包括 70×70 采样单元的网格,成功天生了来自 Fashion-MNIST 数据集的低分辨率灰度打扮图像提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。论文中的对照图显现,在不异的性能水平下,DTM 在 TSU 上的能耗比在 GPU 上运转的传统方式低约一万倍提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
图丨首批量产范围 TSU 小型片断的模拟可以以远低于 GPU 的能耗运转小范围天生式 AI 基准测试(来历:Extropic)
一种能够的计较未来
不外,硬件原型的诞生还只是其迈向大范围生产和利用的一小步,从数十个 p-bits 扩大到百万甚至数十亿级别,技术难度会呈指数级增加提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。芯片制造的良率、系统集成的复杂性、软件生态的建立,每一个环节都能够成为瓶颈提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。正如 Extropic 首席技术官 McCourt 所坦言:“我们具有一个比矩阵乘法更高效的机械进修原语,但题目是,若何构建出像 ChatGPT 或 Midjourney 那样范围的工具提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。”
当前,美国企业每年在 AI 数据中心上的投入已经跨越了阿波罗登月计划经通胀调剂后的总本钱提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。到 2030 年,这些数据中心能够消耗美国 10% 的电力提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。在这样的布景下,任何可以明显进步能效的技术都具有重要意义提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。假如 Extropic 宣称的 1 万倍能效提升可以在现实利用中兑现哪怕一部分,也足以引发关注提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
散布式 AI 草创公司 Prime Intellect 的首席履行官 Vincent Weisser 以为:“他们对信息处置物理学的方式,能够在未来十年带来变化性影响,出格是当传统晶体管缩放触及根基极限时提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。”不外他也指出,“假如可以现实扩大”还是关键条件提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
现实必定比一套简单的“倾覆”叙事要更加复杂提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。Extropic 的技术能够没法周全取代传统 GPU,但可以在某些特定利用处景中供给补充提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。几率计较自然合适天生式模子的采样、不肯定性量化、贝叶斯推理等使命,但对于需要切确数值计较的场景,传统硬件能够仍然不成替换提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。就像量子计较被期待在特定题目上展现“量子上风”而非周全替换典范计较一样,热力学计较能够也会找到属于自己的生态位提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
参考材料:
1.https://extropic.ai/writing/inside-x0-and-xtr-0
2.https://extropic.ai/writing/tsu-101-an-entirely-new-type-of-computing-hardware
3.https://extropic.ai/writing/thermodynamic-computing-from-zero-to-one
4.https://arxiv.org/abs/2510.23972
5.https://www.wired.com/story/extropic-aims-to-disrupt-the-data-center-bonanza/
运营/排版:何晨龙 |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
x
|