米兰·(milan)中国官方网站-对话南佛罗里达大学孙宇教授：当大语言模型用于机器人任务规划丨IJAIRR
导语：“于基在常识收集的呆板人使命计划中，呆板人没法无穷延展凌驾关闭的常识收集规模的内容，年夜语言模子的呈现为这项研究带来了新的起色。”
现代化社会，哪些事情场景最需要呆板人的帮忙？
于工业范畴，有闻名的呆板人“四各人族”——发那科、ABB、安川、库卡，颠末百余年的成长技能更加成熟，于工业场景已经经获得深切而广泛的运用。
比拟之下，糊口场景中的办事型呆板人汗青则短患上多。
例如于餐饮场景，烹调历程的尺度化水平远远不如工场流水线，这为烹调呆板人的研发带来了很浩劫度，于烹调流程、烹调方式、火候节制等环节，存于着诸多灾题。
直到最近几年来这一标的目的才逐渐有所成长。
于2022年举办的北京冬奥会上，烹调呆板人已经经进入聪明餐厅，烹调中餐、西餐的各类菜品。
按照外洋调研构造Market Research Future 发布的陈诉，2022年~2026年间，全世界呆板人烹调装备的市场范围将发展至超1亿美元，年复合增加率近20%。
南佛罗里达年夜学计较机科学与工程系传授孙宇多年来一直致力在呆板人范畴相干研究，早于2015年便已经最先测验考试将常识图谱运用在呆板人使命计划。
年夜模子技能呈现以后，为人机的协同交互带来了巨年夜的影响。
虽然与小语言模子的模子架谈判与练习方针近似，但年夜语言模子于年夜幅度扩大了模子巨细、预练习数据及共计算量（扩展倍数）后，不单可以或许更好地舆解天然语言，并按照给定的上下文（例如 prompt）天生高质量的文本，还有揭示出了一项全新的特性：涌现。
涌现为年夜语言模子带来的几种最具代表性的能力——上下文进修、指令遵照、按部就班的推理等，使其于呆板人研究阐扬出更年夜的作用，年夜语言模子最先成为呆板人使命计划研究中的一项主要东西。
自去年以来，孙宇传授最先测验考试将年夜语言模子运用于烹调呆板人使命计划之中。
近期，相干论文之一《 Consolidating Trees of Robotic Plans Generated Using Large Language Models to Improve Reliability，上线草创期刊《人工智能与呆板人研究国际期刊》（IJAIRR）。
借此契机，孙宇传授向雷峰网先容了该论文的研究历程，以和烹调呆板人研究中存于的难题。
论文链接：
https://gairdao.com/doi/10.1142/S2972335324500029
https://www.worldscientific.com/doi/10.1142/S2972335324500029
基在常识收集的呆板人使命计划呆板人使命计划即按照呆板人的能力、使命需求和情况前提等因素，为其制订一系列具体的步履方案，使其于繁杂的情况中，高效、安全、正确地完成使命。
于这一历程中，有很多繁杂的因素需要思量。
例如，呆板人的挪动路径需要顺应事情情况中障碍物的漫衍，以免碰撞；
使命履行的时间与挨次需要按照现实环境举行优化；
于交互方式上，还有需要包管呆板人的举动与指令易在理解等等。
早于2015年，孙宇传授和其团队就最先将常识收集于呆板人使命计划之中，基在收集举行烹调范畴相干常识的收罗及整合，引导呆板人履行烹调使命。
南佛罗里达年夜学孙宇传授
研究中利用的常识收集，恰是由孙宇传授所领导的呆板人观点及举动试验室（RPAL）所发现的面向功效对于象收集（Functional Object-Oriented Network，简称 FOON）。
这是一个存储功效对于象及操作信息的中央常识收集体系，可以经由过程处置惩罚于线视频、文本获取功效对于象及操作信息。
颠末必然的标注及矫正，这个常识收集可以很靠得住的提供各类烹调使命计划树。假如要求的烹调使命的功效单位（functional unit）是FOON里有的，FOON可以给出100%准确及高效的使命计划树。
假如要求的烹调使命的功效单位是FOON里没有的，但很相像，这个常识收集可以给出很是靠得住高效的使命计划树。
可是假如要求的烹调功效单位与FOON里功效单位没有任何相干，FOON就极可能给堕落误的计划树。由于常识收集是关闭的，呆板人没法无穷延展凌驾常识收集规模的内容。
直到年夜语言模子的呈现，为这项研究带来了新的起色。
怎样计划一个常识库中彻底不存于的使命？烹调呆板人怎样才能天生一个常识库中不存于的使命？
跟着年夜模子技能的成长，自去年以来，孙宇传授和其学生Sadman Sakib博士最先测验考试利用年夜语言模子技能（LLM）举行呆板人使命计划。
Sadman Sakib博士
于天然语言处置惩罚、使命计划及履行以和人机交互等方面，GPT-4揭示出强盛的能力。
论文中以烹调使命为例举行了先容。
于吸收到用户关在烹调某样食品的指令后，传统的呆板人计划要领凡是只会天生一个使命规划，而该论文经由过程GPT-4这一语言模子的提醒工程，天生了多个差别的高级使命计划，并以使命树的情势举行揭示。
这些使命树为呆板人提供了多种可能的履行方案，差别方案的资源需求、并行时间、危害各有差别。
使用Graph Merger（图形归并器）将这些使命树归并成一个同一收集后，再经由过程比力及阐发剔除了此中不成靠的组件，例如履行成本太高的节点，再将筛选出的准确、有用的组件举行集成，终极形成一个最优的解决方案，极年夜地提高了计划的正确性与总体使命履行的效率。
因为呆板人没法直接履行高级使命规划，GPT-4还有需要饰演翻译者的脚色，将这一高级使命规划从天然语言的情势转化为初级的PDDL规划，用PDDL语言来描写并求解计划使命，令人类可以理解的语言转换为呆板人可以理解的指令。
例如，当烹调呆板人收到“建造一碗包括胡萝卜、卷心菜及豆子的面条”这一使命后，GPT-4天生了多个高级使命规划，并将其归并、筛选获得一个最优的使命树，将其转化为PDDL规划，把这项事情分化成“拿起瓶子”、“将油葱瓶子中倒进锅里”等动作序列，再由呆板人履行。
值患上一提的是，孙宇团队经由过程研究注解，归并食谱可以经由过程让食谱同享信息并进修多样化的子使命要领，从而发明立异的烹调要领。
在是研究团队创立了多个食谱和其对于应的使命树，并归并为一个收集后，乐成将差别食谱中的烹调步调及技巧交融于一路，形成为了新的烹调流程。
这些交融后的使命树不仅展示了烹调使命的多样性，还有展现了差别子使命之间的潜于接洽及互补性，构建出了一个更为富厚及繁杂的烹调收集。
“也就是说，有了这个收集，不仅能实现传统菜肴的建造，还有可以或许创造出越发新奇、怪异的菜品，为烹调艺术注入了新的活气。”
孙宇传授指出，对于这项研究进一步优化后，将开发出越发高效及智能的烹调呆板人或者体系。
年夜语言模子与常识收集的彼此增补孙宇传授从事呆板人范畴的研究已经二十余年。于USF，孙宇传授领导的呆板人观点及举动试验室（RPAL）多年来缭绕呆板臂抓取及操作、人机交互、医学影像和虚拟实际、呆板触觉和力学传感节制等诸多标的目的举行了年夜量研究。
厥后于呆板人使命计划研究中获得年夜量运用的FOON这一结果，就是出自RPAL。
孙宇传授与RPAL试验室成员合照
年夜语言模子及常识收集FOON有自然的互补性。以GPT-4为代表的年夜语言模子，虽然可以或许从开放的收集情况中进修各类使命计划，但孕育发生的计划却未经把关，没法包管其准确性。
而有FOON里整合的使命计划树是颠末人工标注及验证过100%准确的，可是它是有限的及不彻底的。
以是可以用年夜语言模子来孕育发生多个不包管准确的使命树，然后用FOON的布局特色来归并这些使命树，消弭不准确的功效单位，由另外树或者FOON里准确的功效单位所代替，来提高准确率。
此外，该研究具备很好的泛化能力，其实不局限在烹调场景，只需调解极少量组件或者不调解组件，便可为很多差别事情场景中的呆板人找到最优规划。
孙宇传授指出，当前的呆板人使命计划研究中仍然存于很多挑战。
当呆板人碰到使命计划或者运动计划过错、体系妨碍等环境时，可能会致使使命掉败，怎样使呆板人使命掉败后自助改正规划过错是一项至关主要的课题。
团队将来的研究将进一步存眷情况反馈的影响，测验考试使呆板人借助视觉体系与GPT-4正确地辨认与更新情况状况，从而削减或者防止呆板人改正规划过错时的报酬干涉干与，使其自立应答使命掉败的环境。雷峰网(公家号：雷峰网)雷峰网
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
-米兰·(milan)中国官方网站
