可处置上万变量，霸占高维时序猜测困难！华人团队开源模子、基准

[db:作者]

来历：新智元
从金融市场的上千支股票，到聪明城市交通收集的上万个传感器，我们正周全进入一个由高维时候序列数据驱动的时代提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
但是，当前支流的时候序列猜测（TSF）模子，大多仍逗留在仅包括几个或几百个变量的低维情况中停止评价（Table 1）提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

当面临不计其数个变量组成的高维复杂系统时（Time-HD），则常常在效力与性能上表示出明显的范围性提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
此外，大范围数据集已被证实是多个研讨范畴获得冲破的关键支持提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
例如，CV中的ImageNet、MS COCO，NLP中的GLUE、SQuAD，以及Graph中的OGB，都在鞭策响应范畴的成长中发挥了决议性感化提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
但是，在时序猜测范畴，始终缺少同类的大范围基准，这使得研讨停顿遭到制约提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
进一步地，高维情况才能真正开释通道依靠型模子的代价提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
而在现有的低维数据集上，通道依靠型（Channel-Dependent, CD）模子相较通道自力型（Channel-Independent, CI）模子并未表示出稳定且明显的上风提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
这一现象轻易激发思疑，即显式建模通道间关系能否真的有用？
之前有研讨提出是维度数目自己限制了CD方式潜伏上风的发挥提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

经过理论分析（Theorem 1 and 2），他们证实了在高维情况下，当存在非冗余变量时，CD模子的贝叶斯风险（Bayes risk）始终低于CI模子，且这一上风会随着维度增加而不竭扩大提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
在此根本上，分解数据和实在数据的尝试进一步考证了这一结论提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
当数据维度变高时，即变量从几百个飙升到上万个时，时序猜测会面临两个应战：
复杂的层级结构： 在大范围系统中，变量之间常常显现出隐含的层级关系（例如，金融市场中从板块到行业再到具体公司的条理）提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。现有模子大多没法有用捕捉这类多标准关联 提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
效力与扩大性瓶颈：传统的依靠通道间交互的模子，在面临上千个变量时，其计较本钱和内存消耗会呈指数级增加，变得不切现实提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
埃默里大学的华人研讨团队近期提出了全新的高维时序猜测架构U-Cast，经过层级式潜查询收集高效建模多标准依靠关系，并连系满秩正则化提升特征解耦才能，在猜测精度与效力上均超越现有方式提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
为了系统评价模子性能，研讨团队同时公布了高维时序猜测基准Time-HD，为未来相关研讨供给了同一且可扩大的尝试基准提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

https://arxiv.org/pdf/2507.15119
代码链接：
https://github.com/UnifiedTSAI/Time-HD-Lib
这项研讨夸大了两个亟需冲破的偏向：设想更强大的CD模子，以及构建真正意义上的高维时序猜测基准提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
U-Cast
高效洞察层级奥秘

为应对上述两大应战，研讨者提出了U-Cast架构，其焦点设想包括以下关键组件：
层级式潜查询收集（Hierarchical Latent Query Network）：U-Cast不再依靠在一切变量间停止全局留意力计较的传统方式，而是引入一小组可进修的「潜查询」（latent queries）提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
这些潜查询如同信息提取器，可以逐层从高维变量中挑选并紧缩关键信息，从而高效建构数据的潜伏层级结构，实现对复杂多标准依靠关系的建模提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
Channel Embedding
给定输入多条时候序列
， C代表channel数目（即维度），d代表embedding dimension提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
，T是时序输入长度，先经过Linear层获得其响应的embedding
Hierarchical Latent Query Network

每一层都用一个latent query
）的目标提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
（可进修）作为query与embedding做attention来到达降维（
Hierarchical Upsampling Network
利用skip connection
作为query介入attention来指导维度重建，可以在保存原有信息的根本上增加条理结构信息提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
Output Projection
最初利用Linear层将d映照到时序猜测长度S
全秩正则化（Full-Rank Regularization）
高维时候序列普遍存在冗余性，致使模子轻易堕入进修反复或低效暗示提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
为此，U-Cast在练习进程中引入一种新奇的正则化方针，以约束暗示空间连结更高秩的多样性提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
该机制可以有用削减通道间冗余信息，促使模子进修到加倍自力且结构化的特征暗示，从而提升猜测的精度与妥当性提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

这里
优化方针（Overall Objective）

终极同时优化ground truth loss和研讨者提出的Full-Rank Regularization loss
Time-HD
为高维猜测设立新基准

为了考证U-Cast的性能并鞭策社区成长，研讨团队构建了Time-HD——首个专为高维时候序列猜测设想的大范围基准，具有以下特征：
高维多标准：16个数据集，变量数从1161到20000，范围包括4个GB级、8个百MB级和4个十MB级，支持散布式和单卡练习提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
范畴普遍：涵盖神经科学、能源、交通、金融、风行病学、云计较、气象、社会行为等10个范畴提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
来历多样：同时包括分解与实在数据提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。Neurolib与SIRS基于微分方程模拟，合适科学建模与假定检验；其他为实在观察数据，用于检验模子在现实场景的泛化才能提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
采样多频：覆盖毫秒、分钟、小时和天级采样，并采用频次相关猜测步长，更切近实在利用提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
尝试结果

精度领先：在16个数据集里，U-Cast在12个数据集的MSE目标上排名第一提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。与iTransformer相比，均匀猜测误差下降了15%


效力出众：U-Cast不但猜测得更准，还更快、更省资本提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。以下图所示，在到达最低猜测误差（MSE）的同时，U-Cast的练习速度（12ms/iter）和显存占用（0.2GB）远低于表示附近的iTransformer（20.8ms, 2.8GB）等模子提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
消融尝试：考证了每个模块对U-Cast的影响，消融掉任何一个模块城市下降U-Cast的表示提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。

满秩约束究竟能否有用？
上图展现了变量的协方差矩阵从随机初始化状态（Epoch 0）到较优收敛状态（Epoch 10）的演变进程提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
随着练习迭代，协方差矩阵的结构发生了明显变化，由浓密逐步转向稀疏提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。这表白满秩约束可以经过削减通道间的冗余，有用促进暗示的解耦提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
总结
研讨职员经过提出U-Cast模子与公布Time-HD基准，为高维时候序列猜测设立了新的标杆：
供给了性能出色、效力优越的基线模子；
为研讨社区摸索更大范围、更实在场景的时序猜测斥地了新偏向提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。
随着配套代码库Time-HD-Lib的开源，未来高维时序猜测研讨有望迎来新一轮创新浪潮，助力时序猜测迈向高维提出申请的零售商必须在新米大量上市的8月底前完成储备米销售。