米兰·(milan)中国官方网站-卢宗青团队新作：人类先验打底，统一动作对齐，通用机器人模型正在落地

假如说已往几年年夜模子革命解决的是“呆板会不会措辞、会不会看图”，那末呆板人行业真实的问题是另外一层：呆板能不克不及于真实世界里把理解酿成步履，而且于持久、反复、带噪声的履行历程中始终不变可控。

具身智能的难点从来不于在让呆板人做出一次美丽的demo，而于在让它于换情况、换物体、换硬件、换使命链以后仍旧靠得住事情。实际中，呆板人计谋的通用化被三道布局性门坎紧紧卡住。

第一道门坎是形态割裂。机械臂、夹爪、灵巧手、人形上肢的枢纽关头界说与动作空间彻底差别，致使数据难以同享，一个模子往往只能绑定一种硬件，换平台就等在重训。

第二道门坎是数据成本与笼罩。真实呆板人数据昂贵、稀缺、漫衍窄，既难笼罩长程使命，也难笼罩繁杂交互，更难支撑跨形态泛化。

第三道门坎则来自部署体系自己。年夜量视觉语言动作模子于仿真或者离线评估中体现不错，但一上真机就会袒露出节制频率差别步、动作抖动、偏差累积、双臂互相关扰等问题，素质上不是模子不智慧，而是缺乏面向真实闭环体系的不变性机制。

是以，行业于外貌上看是于追赶更高的benchmark乐成率，但底层竞争实在正于转向另外一种能力：谁能把通用计谋练习出来，并把它不变地部署到真实呆板人上，谁就有可能率先跨过从研究走向产物的那道门坎。

于如许的配景下，智于无界开创人卢宗青团队提出论文《Being-H0.5: Scaling Human-Centric Robot Learning for Cross-Embodiment Generalization》，并给出了一条更靠近工程闭环的通用操控线路。

他们其实不是纯真依赖更年夜的模子或者更多的呆板人数据重叠机能，而是从根问题入手：经由过程以人类为中央的年夜范围操控数据成立跨形态动作先验，经由过程同一state-action空间解决差别硬件之间动作语言纷歧致的障碍，并联合更强的动作天生建模能力与面向真实体系的不变部署机制，体系性回覆通用呆板人计谋可否于多形态平台上不变事情并真正实现部署这一焦点问题。

这项事情的试验成果其实不是简朴地申明乐成率更高，而是缭绕一个焦点问题睁开：一个模子可否同时学会操控差别形态的呆板人，甚至包括人手的动作方式，而且于真实呆板人上部署时依然连结不变靠得住。

是以，研究团队将试验成果重要分为三类举行出现，别离是真实呆板人成果、仿真基准成果及溶解试验成果。

于真实呆板人试验中，研究职员设计了两种模子设置。一种是Being-H0.5-specialist专用型，重要用在某一种呆板人，举行了更强的对于齐与适配，方针是寻求最年夜机能。另外一种是Being-H0.5-generalist通用型，统一个模子需要顺应差别呆板人形态，方针是晋升泛化与迁徙能力。

总体试验结论注解，专用型模子的总体体现最佳，而通用型模子仅略低，两者于许多使命种别中的差距其实不年夜，特别是于同享技术强、动作模式近似的使命上体现很是靠近。

进一步来看，研究团队按能力需求将真实呆板人使命划分为空间类使命Spatial、长程使命Long-horizon、双臂使命Bimanual及泛化使命Generalization，并发明Being-H0.5比拟π0.5的晋升幅度最年夜呈现于Long-horizon及Bimanual两类使命中。

这一点很是要害，由于长程使命往往包罗多个步调，微小的动作偏差会不停累积，极轻易致使后续使命掉败，而双臂使命需要两只手之间连结及时协同，对于动作时序与空间耦合要求更高，是以这两类使命最能查验计谋是否真正具有可部署的不变性。

此外，研究历程中还有发明，于某些使命例如清桌子这一类容器收拾及收纳交互场景中，通用型模子甚至可能靠近或者跨越专用型模子的体现。直不雅来看，这种使命需要重复利用抓取、挪动、放置等通用子技术，而通用型模子因为于更多呆板人及更多使命中进修过近似动作布局，往往体现患上更不变，比拟之下专用型模子虽然对于单一呆板人更强，但也更易对于某些特定动作习气孕育发生过拟合。

于要害溶解试验中，研究团队重点阐发了UniHand-2.0预练习是否须要。试验结论注解，对于在专用型模子来讲，纵然没有UniHand-2.0预练习，也可以经由过程后续的呆板人微调进修到不少能力，但对于在通用型模子来讲，假如缺乏UniHand-2.0预练习则会呈现较着机能崩塌，于多呆板人混淆进修中更易体现出能力不足或者不不变。

这申明UniHand-2.0的作用其实不仅仅是扩展数据范围，而是为练习历程提供了一种跨形态同享的操控先验，使模子可以或许理解操控动作的合理漫衍，从而更有用地接收来自差别呆板人形态的动作数据。为了支撑这类跨形态操控能力进修，研究团队构建的UniHand-2.0总范围跨越35,000 hours，包罗120B tokens与400M samples，并交融了人类第一视角手部操作数据16K hours、呆板人操控数据14K hours笼罩30种呆板人形态，以和视觉语言理解数据约5K equivalent hours，为模子提供了更富厚的动作先验与语义对于齐基础。

于仿真基准试验中，Being-H0.5于LIBERO benchmark上取患了很是强的体现，平均乐成率到达98.9%，于更坚苦的长程子集LIBERO-Long上也到达了97.4%，而且仅利用224×224的RGB图象输入。

思量到LIBERO具备多使命、多场景以和较着的长程操作链特色，如许靠近99%的乐成率注解模子不仅可以或许履行动作，还有具有很强的使命不变性、闭环纠错能力以和对于序列动作布局的进修能力。

此外，于RoboCasa厨房使命中，这一基准包罗24个使命，更靠近真实家庭场景，触及多对于象、多容器以和频仍接触交互历程，Being-H0.5于总体对于比中一样领先多个基线要领，包括部门3D要领，这申明模子不仅于桌面使命上有用，也可以于更繁杂的家庭操作场景中连结较强机能，而且于RoboCasa benchmark上给出了53.9%的乐成率体现。

末了，于部署相干试验中，研究团队夸大模子的真实可用性不仅取决在练习计谋，也依靠部署体系的不变性，是以引入了MPG及UAC两个要害机制。MPG的作用是按捺分歧理动作输出，使动作连结于合理漫衍的流形四周，UAC的作用是解决感知帧率与节制频率差别步的问题。

溶解成果显示，一旦去失MPG及UAC，长程使命的机能降落最较着，双臂使命也会较着变差，更易呈现抖动、夷由或者批改过分等征象。这一成果申明，部署时的不变性机制对于长程及双臂使命的靠得住履行至关主要，而这也表现了这项事情比拟很多只存眷离线评估或者仿真乐成率的研究，更器重真实部署体系中时序及不变性问题的解决。

为了到达以上效果，研究团队重要设计了五个阶段，包括练习数据系统构建、跨形态动尴尬刁难齐、模子练习架构设计、下流评估验证以和溶解试验阐发。

起首于数据构建阶段，研究职员搭建了UniHand-2.0数据集，这套数据其实不是传统意义上只网络呆板人数据，而是交融了三类来历，包括人类第一视角手部操作数据16K hours、呆板人操控数据14K hours笼罩30种呆板人形态，以和视觉语言理解数据约5K equivalent hours。同时，UniHand-2.0的总范围跨越35,000 hours，包罗120B tokens与400M samples，为跨形态操控能力进修提供了更扎实的数据基础。雷峰网

如许设计的焦点念头是减缓真实呆板人数据昂贵、稀缺且笼罩规模有限的问题，同时使用人类手部动作数据的富厚性与天然性提供更年夜范围的操控先验，并经由过程VLM数据补齐语言理解与场景语义的能力缺口，从而形成面向操控使命的多模态预练习质料库。

其次于跨形态对于齐阶段，这项事情引入Unified State-Action Space解决差别形态动作空间纷歧致带来的练习坚苦，例如人手枢纽关头空间与呆板人枢纽关头空间不不异，差别呆板人之间action维度也存于差异，若直接拼接action举行练习会致使模子杂乱。

为此，研究职员将差别形态的状况与动作映照到同一state-action空间，使模子进修通用操控语义而非某一种硬件的枢纽关头角度，从而实现跨呆板人常识同享与迁徙。

于模子练习架构上，研究团队采用MoT与MoF的组合，使模子同时具有理解能力与动作天生能力，此中Understanding Expert卖力图象与语言信息的理解并形成使命用意暗示，Action Expert卖力持续动作输出与长序列节制，并经由过程Mixture of Flow MoF晋升动作天生的表达能力，终极形成Being-H0.5模子系统。

随后于下流评估阶段，研究职员采用真实呆板人与仿真基准相联合的方式举行验证，仿真部门于LIBERO及RoboCasa上评估以包管可复现性与横向对于比性，真实呆板人部门则用在查验闭环节制体现以和硬件噪声、时序差别步与偏差累积前提下的部署不变性，并经由过程specialist与generalist的对于比进一步权衡通用模子带来的机能价钱。

末了于溶解试验中，研究团队从三方面验证要害设计的有用性，包括去失UniHand-2.0预练习以查验human-centric pretrain对于generalist的须要性，去失MPG与UAC以评估部署不变性机制是否要害，以和经由过程冻结差别层数摸索全量更新与部门更新于机能与不变性上的差异，从而更体系地阐发模子能力来历与要害模块孝敬。

从试验意义来看，这项事情的成果为通用呆板人计谋的成长提供了要害证据。起首，它证实跨形态同一动作进修是可行的。传统呆板人进修往往一个模子只适配一种硬件，换呆板人就要重训，数据也难以同享，致使练习成本高且复用效率低。雷峰网(公家号：雷峰网)

而工试验成果注解，只要实现action space的同一并共同充足强的预练习，多呆板人同享统一套计谋是可以或许做到的，而且generalist的机能只比specialist略低，甚至于不少使命上靠近，这直接晋升了呆板人基础模子线路的实际可行性。

其次，这项事情夸大人类手部视频与动作数据其实不是辅助，而是通用计谋的底座。溶解试验显示，UniHand-2.0的人类中央预练习是generalist模子连结不变能力的要害因素，这象征着人类动作数据为计谋提供了更合理、更天然的动作先验，从而加强其泛化能力与跨呆板人迁徙能力。

同时UniHand-2.0总范围跨越35,000 hours，包罗120B tokens与400M samples，也申明这类人类中央预练习具有充足的数据支撑。

第三，事情指出了呆板人智能真正难点于在可部署的长程不变性，而不仅是离线或者仿真乐成率。很多视觉语言动作模子于仿真中体现不错，但部署到真实呆板人时轻易呈现抖动、动作发散、延迟累积掉败，甚至双臂互相关扰。

研究经由过程MPG与UAC的试验成果申明，要让foundation policy真正可部署，必需显式解决动作漫衍约束与异步节制问题，使计谋于真实体系中连结不变靠得住。

末了，研究也提供了一个较清楚的通用模子练习范式，即经由过程年夜范围人类中央数据成立操控先验，经由过程同一state-action空间实现跨形态对于齐，经由过程更强动作天生建模能力晋升节制表达，并联合不变部署机制提高真实情况下的履行靠得住性。

总体来看，它不是依赖某一个单点技巧，而是从数据、对于齐、天生到部署不变性举行了端到真个全链路构建，是以更具有可扩大性，也更靠近通用呆板人操控智能的成长标的目的。

卢宗青，北京年夜学计较机学院长聘副传授，国度青年人材，北京智源学者；重要研究强化进修、多模态年夜模子及具身智能，发表范畴顶级论文100余篇，担当ICML、ICLR、NeurIPS等呆板进修集会范畴主席；获国度天然科学基金原创摸索项目资助。

参考链接：https://z0ngqing.github.io/

雷峰网原创文章，未经授权禁止转载。详情见转载须知。