米兰·(milan)中国官方网站-北交大 x 小米 EV 团队：一次关于世界模型「靠不靠谱」的系统复盘

于主动驾驶研究不停向世界模子演进的历程中，一个持久被逃避却没法轻忽的问题正逐渐凸显：模子于论文中的机能晋升，是否真的对于应着体系于真实驾驶情况中的鲁棒性晋升?

已往数年中，年夜量事情经由过程更繁杂的天生布局、更邃密的猜测方针及更进步前辈的练习计谋，使世界模子于视觉猜测与场景天生指标上取患了显著进展。然而，于工程实践中，这些看起来 reminder 的模子，往往其实不能不变支撑持久决议计划、繁杂交互及安全约束并存的真实驾驶体系。

问题其实不彻底出于模子自己，而更深层地指向了试验范式与评测方针的错位：咱们毕竟于经由过程试验验证甚么？是模子是否猜测患上更像，还有是体系是否运行患上更稳？于缺少同一使命界说、体系级闭环验证及可托评测尺度的条件下，世界模子的能力界限正于被体系性高估。

恰是于这一配景下，北京交通年夜学研究团队结合小米汽车主动驾驶与具身智能算法团队，于论文《Progressive Robustness-Aware World Models in Autonomous Driving: A Review and Outlook》中，对于主动驾驶世界模子举行了差别在传统综述的体系性审阅。

这项事情并未提出新的模子或者算法，而是基在年夜量已经有试验成果，重构了一套以鲁棒性为焦点变量的阐发框架，从天生评测、布局化空间建模、计划验证到体系级闭环举动，逐层展现了当前世界模子研究中被轻忽的要害断层，并明确指出哪些结论是被试验真正撑持的，哪些则仍逗留于指标幻觉之中。

论文地址：https://doi.org/10.36227/techrxiv.176523308.84756413/v1

假如将这篇论文视作一次严酷意义上的试验研究，那末它的试验成果其实不是某个模子于某个指标上的晋升，而是一组关在整个主动驾驶世界模子研究标的目的有用性与局限性的实证性结论。这些结论来自对于年夜量已经有试验成果的体系重组，而非主不雅揣度。

起首，于最基础的层面，论文经由过程对于最近几年来天生式世界模子试验成果的体系梳理，确认了一个外貌上乐不雅、但内涵抵牾的事实：主动驾驶世界模子于视觉猜测、场景天生等使命上的定量指标确凿于连续前进，但这类前进并未线性转化为对于驾驶安全或者体系不变性的靠得住晋升。

详细来讲，图象与视频猜测类试验显示，大都要领于诸如 FID、FVD 这种统计漫衍相似性指标上已经经到达了相称成熟的程度。一些模子天生的将来帧于视觉质量上甚至难以与真实数据区别。这一试验征象于差别论文、差别数据集上重复呈现，是以并不是偶尔。然而，当这些成果被进一步放置到时间序列维度举行审阅时，问题最先闪现。

试验成果显示，很多模子于短时间猜测窗口内体现不变，但跟着猜测时间延伸，场景布局、方针位置及运动轨迹逐渐偏聚散理规模。这类偏离往往不会于传统天生指标中被显式处罚，却于真实驾驶中对于应着潜于的碰撞危害、法则违背或者不成恢复的体系掉效。雷峰网(公家号：雷峰网)

这一试验征象自己组成了论文的第一个要害结论：当前主流天生评测系统没法充实描画主动驾驶所需的鲁棒性维度。

其次，当论文将阐发重心转向点云与 Occupancy 表征相干试验成果时，呈现了较着差别的趋向。基在三维或者四维空间表征的世界模子，于多个试验设置中体现出更强的一致性及不变性。

不管是于空间重修精度，还有是于为计划模块提供状况输入时，这种要领于多项公然基准上都揭示出相对于更靠得住的机能。这类上风并不是来历在单一指标的极致优化，而是表现于多指标、多使命前提下的总体不变性。

经由过程对于比这些试验成果，论文现实上确认了第二个主要事实：鲁棒性更易从布局化空间建模中涌现，而非从纯粹的感知级天生中涌现。

于计划相干试验中，论文进一步经由过程区别开环与闭环评测，展现了世界模子能力评估中的一个持久混合点。于开环计划试验中，即仅评估模子于给定汗青前提下猜测将来状况的能力时，多项试验成果显示，世界模子于轨迹猜测质量、情况理解一致性等方面已经经靠近甚至匹配部门强端到端体系。这申明，从世界演化建模的角度看，世界模子已经经具有相称水平的表达能力。

然而，当这些模子被嵌入闭环体系，于真正的决议计划链条中负担持续计划与节制职责时，它的能力界限便最先袒露。

体系差别在更为抱负化的开环评测，它引入了反馈机制，模子的输出会直接影响情况状况，并作为新的输入从头回到体系之中，小幅的感知与猜测误差会于这类反馈中慢慢累积与放年夜。

例如于 Bench2Drive 等闭环测评中，只有依靠专家信息的 Think2Drive 可以或许将综合驾驶患上分晋升至 92 分摆布，而不利用专家信息的 Raw2Drive 患上分仅为 71 分，大都利用世界模子要领的驾驶患上分集中于 40-60 分之间，并陪同乐成率与碰撞率的显著差异。

也正因云云，可以不雅察到一种不变存于的能力断层：于开环指标上体现优异的模子，其实不一定于闭环仿真以致真实体系中揭示出划一程度的安全性与不变性。

因而可知，开环及闭环体系并不是简朴的替换瓜葛，而应被视作是互补的两个层级，即开环重要用在验证暗示与猜测的认知准确性，而闭环则用在查验持久交互中的举动稳健性。

也许将来的要害标的目的，不仅于在继承晋升开环的猜测精度，更于在可以或许构建一个可以或许有用跟尾开环及闭环体系的练习系统，进而真正支撑体系和鲁棒性主动驾驶的实现。雷峰网

由此，论文于试验层面确认了第三个要害结论：开环机能其实不能靠得住猜测闭环体系的安全性与不变性。

于更高层级的试验归纳中，论文还有总结了一系列体系性证据，注解世界模子于某些前提下确凿可以或许为主动驾驶体系带来本色性收益。这些证据其实不集中在单一指标，而表现于可控天生、零样本泛化、跨使命迁徙以和人类主不雅评估等多个试验维度上。

这些试验成果配合指向一个结论：当世界模子被用在加强体系总体能力，而非单一使命机能时，其价值才最先闪现。

理解这篇论文的试验历程，要害于在熟悉到它采用的并不是传统意义上的“练习—测试”试验范式，而是一种跨研究事情的试验重构要领。作者并无新增模子或者数据，而是经由过程从头构造已经有试验成果，构建了一套用在查验研究标的目的自己的试验逻辑。

于试验的第一阶段，作者存眷的其实不是模子能力，而是评测东西自己。他们体系梳理了主动驾驶世界模子范畴经常使用的数据集、仿真平台与评价指标，并阐发这些东西于多年夜水平上可以或许反应真实驾驶需求。经由过程对于比差别论文的试验设置，作者发明：纵然研究方针相似，差别事情之间的评测方式也往往高度异质。这类异质性使患上试验成果难以直接比力，也使患上“机能晋升”这一结论自己变患上不不变。

这一阶段的试验阐发现实上是于对于整个范畴的试验基础举措措施举行审阅，其隐含问题是：假如评测方式自己存于体系性盲区，那末基在这些评测患上出的结论是否靠得住？

于第二阶段，作者将试验阐发的重点从评测东西转向体系举动。他们再也不试图回覆“哪一个模子更好”，而是试图回覆“哪些试验成果于体系层面仍旧建立”。为此，论文体系收拾了触及可控天生、零样本泛化及跨使命迁徙的试验事情。这些试验往往难以严酷节制变量，但正因云云，更靠近真实工程情况。

经由过程比力这些试验成果，作者发明：某些于单一使命中其实不占优的要领，于体系级试验中反而体现出更高的不变性；而一些于天生指标上体现凸起的模子，于体系集成后却难以维持机能。这类反差自己组成了一种试验发明，迫使研究者从头思索机能评估的方针。

至在第三阶段，论文并未给出完备试验成果，而是明确指出当前试验系统的缺掉。这并不是试验不足，而是作者基在前两阶段试验阐发后患上出的理性判定：于缺少同一使命界说、可注释性评测及可托闭环仿真以前，任何干在“开放世界鲁棒性”的结论都缺少试验支撑。

从试验意义上看，这篇论文的价值其实不于在它总结了几多事情，而于在它经由过程试验性阐发转变了“甚么值患上被试验验证”的尺度。

起首，它于试验层面否认了一种隐含但遍及存于的假定，即认为只要天生或者猜测机能不停晋升，体系鲁棒性就会天然改善。经由过程对于年夜量试验成果的体系阐发，论文清晰地注解，这类假定于主动驾驶场景下其实不建立。鲁棒性其实不会主动从局部机能优化中涌现。

其次，这篇论文经由过程试验拆解，夸大了体系级评测的主要性。它注解，真正成心义的试验不该只存眷模子于伶仃使命中的体现，而应存眷模子于繁杂体系中的举动。这一不雅点对于研究范式具备直接约束力：它要求研究者于设计试验时，必需明确本身所验证的鲁棒性层级。

更深层的意义于在，这篇论文将主动驾驶世界模子的研究问题，从“模子是否充足强”改变为“试验是否充足真实”。这象征着，将来的要害冲破纷歧定来自更繁杂的收集布局，而可能来自更合理的试验设计与评测系统。

贾飞阳为本文第一作者，现为北京交通年夜学计较机科学与技能专业博士研究生，研究标的目的包括主动驾驶三维方针检测、端到端主动驾驶以和主动驾驶世界模子等。

贾彩燕为本文通信作者之一，现任北京交通年夜学计较机与信息技能学院传授，并担当交通数据阐发与挖掘北京市重点试验室副主任。其重要研究标的目的包括呆板进修模子（特别是图神经收集）、虚伪信息检测、年夜模子天生内容检测与可托计较、保举算法，以和主动驾驶场景下的多模态交融方针检测与年夜模子泛化研究等。

最近几年来已经于海内外学术期刊及国际集会上发表论文80余篇，主持国度天然科学基金面上项目两项、国度天然科学基金青年基金项目一项，并主持国度重点研发规划“新一代人工智能”专项子课题一项。

雷峰网原创文章，未经授权禁止转载。详情见转载须知。