米兰·(milan)中国官方网站-对话上交苏剑波教授：直面手语的「方言」多样性与系统「通用性」挑战｜GAIR live

作为上海交通年夜学主动化系的资深传授，苏剑波苦守着一条科研信条：研究事情需源源不停地注入活气。

他曾经阐释这一理念：“一个研究者于踏入某一科学范畴时，应拔取一个可以或许持久深耕、并跟着理论和技能前进而能不停更新研究内容的主题，这才是研究者始终能连结学术活气的底子缘故原由。”

苏传授的研究范畴笼罩了智能呆板人理论与技能、多传感器信息与智能交融、呆板进修与人机交互等科学研究连续的热门范畴。于这些范畴中，手语作为人类交流的基本方式，始终是苏传授想付与呆板人的技术之一，并成为他将理论常识与实践运用相联合的主要表现。

为什么要非分特别存眷手语？苏传授指出，“手语不仅是聋/哑人群体沟通的主要东西，也是人类信息表达的一种常见及高效的方式。”他夸大，手语的国际性及多样性是研究的焦点，由于差别地域及国度的手语存于较着差异，甚至包罗方言差异。

今朝，苏传授和其团队专注在手语辨认及情绪辨认两年夜技能范畴，他们经由过程视频捕获及阐发，深切切磋静态与动态手语的表达方式和其于差别情境下的变化。最终方针是开发出可以或许精准解读聋哑人手语/手势和正凡人的手势，并将其转化为文字或者语言体系。这一技能不仅可以或许促成与正凡人的沟通，也蕴含着巨年夜的贸易潜力。

与此同时，苏传授坦言，手语语料库的匮乏是当前研究面对的一年夜挑战。是以，他们的研究重要集中于海内聋哑人利用的尺度化手语上，而方言手语的研究是第二阶段的方针。

苏传授的学术寻求不止在理论研究，最近几年来，他踊跃将科研结果转化为现实运用。

2016年，他依托上海交通年夜学智能呆板人体系与技能研究中央，创建了上海灵至科技有限公司，该公司专注在提供人工智能技能解决方案，开发智能呆板人、聪明家居、车载主动驾驶软件等产物。2019年，灵至科技的焦点团队又结合建立了上海寻求人工智能科技有限公司，进一步深化拓展已经开发的人机交互技能及产物，为全世界残障人士提供专门化的人工智能解决方案。

谈和手语辨认产物方面的计划，苏传授暗示，今朝产物已经于特定场景如银行、病院及当局部分中获得了开端的运用，正需扩大更多的运用场景。

近期于与雷峰网-AI科技评论的对于话中，苏剑波传授从计较机视觉角度梳理了手语研究中的要害问题，也分享了敌手语辨认范畴众团队的成长建议。

3月18日（周一）20:00-22:00，雷峰网将举办主题为「AI+手语辨认，技能改造与运用远景」的线上圆桌论坛，届时苏传授将分享更多前沿不雅察。

如下为对于话（经编纂）：

雷峰网：苏传授，您是主动化身世，怎么对待手语这个细分研究标的目的及运用价值？

苏剑波：我最先手语研究最初是出在存眷正凡人利用手势来表达情绪的测验考试，随后扩大到聋哑人群体的沟通需求。

手语的特色是具备国际性及多样性，差别地域及国度的手语存于差异，甚至还有有方言之分。但从素质上看，手语是人类信息表达的一种方式，是以理解及研究手语的多样性及尺度化问题至关主要。此外，手势辨认与手语辨认有很年夜区分。

让呆板理解聋哑人的手势，并将这些手势转换成文字或者语言，以便让正凡人理解。反之亦然，当正凡人措辞时，呆板也能转换成手语将信息转达给聋哑人，实现两边的沟通。

这项事情自2016年最先，但现实上，相干的研究事情要更早。约莫是于2010年摆布，最先触及呆板人辨认人类手势并理解人类情绪的研究。

雷峰网：能再具体注释一下于手语辨认这项技能吗，也就是CV技能怎样介入得手语研究中？

苏剑波：咱们重要专注在两年夜类技能：手语辨认及情绪辨认。这些技能基本上都是基在视频的。计较机或者呆板人经由过程摄像机捕获人的手势/手语视频，再阐发视频中的手势/手语的寄义。

举个例子，手语分为静态手语及动态手语，还有触及到方言及国际化的问题。手指伸/缩或者手掌张/闭状况属在静态手语，而表达“不行”或者“过来”等手指及/或者手臂的动作则属在动态手语。咱们从视频收罗出发，研究静态及动态手语的表达方式，以和它们于差别情境下的表达差异。

咱们今朝重要针对于海内聋哑人利用的尺度化手语举行研究，并未触及太多方言，重要是受限在语料库的不足和语料收罗的差异化。

雷峰网：海内正于推广中国通用手语，会使患上之后的手语辨认研究难度变小吗？

苏剑波：中国通用手语于现实推广及履行历程中还有会碰到一些挑战的。

这是由于聋哑人群体也存于地区性差异，他们可能其实不认识通用手语。这与很多偏远地域的人们听不懂平凡话的环境近似，他们可能将平凡话视为另外一种方言。

手语一样云云，统一个手势于差别地域可能表达差别的意义，使患上制订同一尺度变患上繁杂。

国度已经经测验考试过量次推广通用手语，但效果其实不显著。假如某个处所的聋哑人不遵照这些法则，或者者他们已经经有了本身商定俗成的手语交流方式，咱们又能怎样呢？咱们不克不及责怪他们的交流方式不准确。

如许来看，推广尺度化手语的难度可能比推广平凡话要年夜患上多。

但即便云云，咱们的终极胡想还有是能于开发出一个可以或许辨认尺度化手语的体系的基础上，充实使用呆板智能天生及进化的自进修特色，完成辨认具备地域及小我私家特点的手语辨认体系，尤其是那些与当局部分交流时经常使用的手语。

咱们但愿可以或许为聋哑人提供个性化的及时翻译，好比于当局服务窗口，经由过程计较机体系将他们的手语翻译成文字，同时也为聋哑黉舍的教员提供培训。

今朝，咱们的方针是实现对于一样平常利用的约莫2000个手语辞汇的辨认，此中最经常使用的约莫500个辞汇，咱们的辨认正确率可以到达90%以上。对于在这500个辞汇之外的不太经常使用的辞汇，辨认率会因收罗的角度、光照、配景等有所降落，可能需要屡次手势才能提高辨认的正确率。

雷峰网(公家号：雷峰网)：数据是打造手语辨认体系的第一步，这个历程中，您切身履历过哪些坚苦？

苏剑波：确凿，数据的缺少是一个重要问题。由于除了了要精准捕获聋哑人手语动作，还有要思量到肖像权及隐私权的问题，这无疑增长了研究的繁杂性。

其次，与聋哑人互助拍摄视频时可能会碰到问题，好比他们可能会感应不适或者气愤。有时辰，纵然咱们有最佳的用意，也可能难以注释清晰咱们的研究目的，这可能致使一些曲解及冲突。

但不管怎样，这项事情必需继承举行，由于咱们的方针是经由过程人工智能及技能赋能，打破人与人之间交流的障碍，尤其是帮忙残疾人与当局部分等机构举行有用沟通，帮忙他们的意愿能最正确地为别人所知及理解。

雷峰网：今朝手语辨认范畴的算法及模子，是借鉴了很多其他范畴的结果，还有是专门针敌手语研究开发的？

苏剑波：于算法立异方面，咱们确凿借鉴了很多其他范畴的结果。

例如，咱们利用的卷积神经收集等东西，及特性完整化等基础算法，包括隐马尔可夫模子等，都是于语音辨认及人脸辨认等范畴已经经测验考试并证实有用的技能。

到今朝为止，我还有没有发明有专门针敌手语辨认范畴的技能，咱们今朝利用的都是通用的模式辨认东西。以是说，手语辨认范畴的研究进展相对于在其他更活跃的模式辨认范畴，还有有必然的差距。

咱们的事情重要集中于寻觅可以或许正确代表及区别差别手型或者手势的更鲁棒的特性。这是模式辨认范畴的通用方针，不管是人脸辨认还有是语音辨认，都需要找到可以或许切确描写特定寄义的特性调集。

然而，手语辨认面对的挑战于在，手势的寄义可能会由于光照、角度、速率等各类因素的影响而发生变化，存于多种滋扰。咱们的事情要害于在可以或许针对于滤除了这些差别的滋扰因素，找到最能正确代表特定手势的鲁棒不变的特性。

雷峰网：ChatGPT、Sora等年夜型语言模子于天然语言处置惩罚（NLP）范畴取患了显著成绩。这些模子暗地里的设计理念及技能路径，敌手语辨认研究有何启迪？

苏剑波：确凿，这些模子的设计理念及技能路径对于咱们的研究是有开导的，但遗憾的是，这些模子的详细实现细节往往不公然。

这于AI范畴其实不稀有，很多团队于开发进步前辈技能时，出在贸易竞争的思量，会选择保留要害信息。

例如，呆板人范畴的波士顿动力公司，他们的呆板人技能及各类呆板人原型体系成长迅速，但他们很少于国际集会或者学术刊物上公然详细的、真正的研究技能线路。咱们只能从他们的产物体现来推测可能的技能实现方式。

海内于手语辨认范畴相对于在外洋确凿存于必然的差距。例如，聋哑黉舍很是但愿引入这些技能，但因为疫情等因素的影响，相干项目曾经被迫暂停，这个历程相称盘曲。

此外，技能前进可能会对于某些职业造成打击，这可能致使一些行业从业者对于人工智能技能的接管度不高。只管他们熟悉到人工智能的潜力，但从保存的角度出发，他们可能其实不但愿人工智能代替他们的事情。这类心态于现实互助中可能会成为障碍。

雷峰网：咱们不雅察到，于海内外的年夜型赛事如亚运会、残运会时期，很多公司推出了他们本身的手语数字人。此中一些公司所利用的手语数据由一两家公司自行收罗后出售的，致使差别公司开发的数字人产物同质化，缺少冲破，并且有聋哑人反馈没法看懂这些数字人打出的手语。您怎么看这个征象？

苏剑波：这个问题很是要害。假如一个旨于为聋哑人办事的产物，连方针用户群体都没法理解，那末它的办事价值就年夜打扣头了。今朝咱们缺少一个国度权势巨子机构来鉴定这些结果的有用性，或者者提供办事的权势巨子性认证。至在办事的现实效果，很少人去穷究聋人同胞的满足度。

雷峰网：末了想请问您，由于您于上交有本身的课题团队，还有孵化了两家公司（母公司“灵至科技”、以和专门打造手语产物的“上海寻求”），那末您本年于手语辨认方面有甚么计划？

苏剑波：我及团队的重点是提高呆板辨认手语的正确率，并尽可能扩展语料库及运用场景。

从学术角度出发，呆板敌手语的辨认，不外是手语特性被呆板表达及计较的正确度及效率。咱们鼓动勉励博士生及硕士生举行立异研究，寻觅可以或许更精准、有用、快速地表达手语蕴含的主体人用意的可计较的、完整且正交的手势特性调集。咱们但愿咱们的事情不仅能于海内孕育发生影响，也能为国际偕行提供借鉴，帮忙他们于本身的范畴或者语言系统中运用咱们的研究结果。

咱们的方针是成立行业内公认的尺度，这是咱们努力的标的目的。

今朝海内从事手语辨认的团队正于增多，于这一成长势头下，咱们需要提早确立同一的测试场景，来验证手语辨认体系的实用效果，不然很难真正承认其研究价值。此外，还有要思量到聋人群体的现实需乞降接管水平，包管这些研究的运用价值。

从公司角度来讲，咱们但愿可以或许将咱们的技能运用到现实产物中，举行测试及验证。今朝咱们产物的运用水平有限，于银行、病院及当局部分等特定场景下，咱们的产物可以阐扬作用。咱们但愿将来可以或许到达一个更广泛的运用程度，但今朝还有很难说能做到甚么水平，咱们只能继承努力。

至在产物的运用区域，因为咱们于上海，以是语料及数据标注可能更偏向在江浙沪一带的方言。这可能致使咱们的产物于这些地域的病院等场景中运用患上更多。咱们但愿将来可以或许扩展运用规模，更好地办事在更广泛的聋人同胞。

同时，咱们也热切期待有更多本钱能理解手语辨认今朝从公益性向市场化成长的低级阶段属性，而义无返顾地参与，以加快手语研究及产物开发的进程，为具备中国特点的人工智能财产的成长注入新的活气。

本文作者吴彤，接待添加微信（icedaguniang），交流认知，互通有没有。

｜GAIR live 圆桌预报

3月18日，北京时间20:00-22:00，雷峰网将举办主题为「AI+手语辨认，技能改造与运用远景」的线上圆桌论坛。

本次论坛佳宾有，美国纽约都会年夜学田英利传授、上海交通年夜学主动化系苏剑波传授、上海年夜学计较机工程与科学学院方昱春传授、上海年夜学文学院倪兰传授，配合分享他们的看法及研究结果。

“全世界人工智能与呆板人年夜会”（GAIR）始在2016年雷峰网与中国计较机学会（CCF）互助创建的CCF-GAIR年夜会，旨于打造人工智能海潮下，毗连学术界、财产界、投资界的新平台，而雷峰网“毗连三界”的全新定位也于此年夜会上患上以确立。

颠末几年成长，GAIR年夜会已经成为行业标杆，是今朝为止粤港澳年夜湾区人工智能范畴范围最年夜、规格最高、跨界最广的学术、工业及投资范畴嘉会。

GAIR Live作为雷峰网旗下视频直播品牌，旨于输出新鲜、深度、原创的年夜咖访谈与对于话内容，打造辐射产、学、研、投的特点线上平台。

｜手语相干资料

1，《专访纽约都会年夜学田英利传授：用多通道、多模态的要领「看懂」手语》https://mp.weixin.qq.com/s/jgng2-6tiG9HC9C7FEbMLA

2，《Multi-Modal Multi-Channel American Sign Language Recognition https://gairdao.com/doi/10.1142/S2972335324500017

｜IJAIRR正于邀约论文及专题

《国际人工智能与呆板人研究期刊》（International Journal of Artificial Intelligence and Robotics Research，简称IJAIRR），是由新加坡GAIR研究院与世界科技出书社结合出书的国际学术期刊。

作为全世界首本专注在人工智能（AI）、呆板人技能（Robotics）以和基础科学交织研究（Research）的期刊，IJAIRR致力在成为AI与呆板人范畴研究的权势巨子发布平台。

IJAIRR接待各种研究论文、评论文章、短篇论文、书评以和专题（Special Issue）情势的投稿。

咱们尤其存眷那些于顶级AI集会上发表并现场展示，但缺少持久沉淀平台的优异论文。为了给这些论文和其作者提供一个更广泛的发表及推广渠道，IJAIRR现正踊跃邀约相干论文投稿。

（1）“假如您于本事域顶级集会上发表的文章（或者行将发表）不跨越一年，咱们将协助您稍作修改后于IJAIRR期刊上发表。

（2）假如您带领的团队于顶级集会上有多篇论文发表，并但愿于IJAIRR上缭绕特定主题筹谋一个专题（Special Issue），咱们诚挚约请您深切会商互助事宜。

（3）假如您是顶级集会的构造者，并成心与IJAIRR互助，针对于特定集会筹谋一个专题（Special Issue），咱们也期待与您详细参议互助细节。

IJAIRR期待与您联袂，配合鞭策人工智能与呆板人研究的成长。

接洽人：IJAIRR创刊主编朱晓蕊博士，xiaorui_zhu@gair.sg

关在期刊创刊主编等更多信息，可点击

https://mp.weixin.qq.com/s/gEctQolbEqqf2eVwBAkdoA

关在雷峰网、GAIR年夜会、GAIR研究院（期刊及于线社区）的具体先容，请浏览朱晓蕊传授的专访：https://mp.weixin.qq.com/s/Qn7Gc3rVijQhhK0hTSrgxw

IJAIRR期刊的主页链接为：https://gairdao.com/journals/ijairr

雷峰网原创文章，未经授权禁止转载。详情见转载须知。