米兰·(milan)中国官方网站-UIUC 李博：从技术角度实现 AI 可信，从博弈论、对抗攻击，到逻辑推理

人工智能算法于实际世界中的落地，从来都离不开两个研究领域：一是模子机能强盛可用，二是设计逻辑安全可托。

访谈｜李梅、刘冰一

作者｜李梅

编纂｜陈彩娴

2013 年 4 月 23 日的午后一点，美国各年夜生意业务所的安静被蓦地打破，办公室里一台台德律风响个不断，同时同化着事情职员暴躁的吼怒声，惊恐与不安的情绪四处窜开。

华尔街的金融精英们正于履历着他们所能想象到的最可怕的危机：

短短 5 秒内，标普市值就被抹去了 1365 亿美元！

股市忽然遭受云云疯狂的年夜跳水，其直接的导火索是美联社官方推特账户发出的一条仅包罗 12 个词的短快讯：

Breaking: Two Explosions in the White House and Barack Obama is injured.（突发：白宫发生两起爆炸，贝拉克·奥巴马受伤。）

这一重磅政治新闻给金融界投放了一颗「信息炸弹」，动静被年夜量流传后，股票市场顿时堕入一片杂乱。

然而，这场风浪从最先到竣事，只连续了约莫 4 分钟。

美联社很快声大白宫遇袭为虚伪新闻，白宫讲话人也出头具名暗示「总统平安无恙」，各路股票指数旋即回归通例程度，本钱市场迅速恢复安静。

数小时后，发布假新闻的幕后黑手也浮出了水面——一个叫做“叙利亚电子军”（Syrian Electronic Army）的、恶行累累的黑客构造黑入了美联社账号。

回看整起事务，惹人寻思的是：为什么社交媒体上的一点风吹草动就能于本钱市场激发云云猛烈的反映？

这是由于，于算法赋能金融生意业务的场景下，股票生意业务算法于社交网站上抓取到「有价值」的新闻后，会主动履行股票生意业务举动，从而激发一系列连锁反映。

对于人类而言，实在不难辨认及求证新闻的真实性，好比其时就有人提示，美联社一向的气势派头是称号「奥巴马总统」，而不是直呼其名。但对于在缺少知识信息的呆板进修模子来讲，鉴别这一点却很坚苦，以至在会于真实世界中造成巨年夜丧失。这也是咱们以「智能」取代「人工」所可能要蒙受的价钱之一。

于九年后的今天，人工智能及呆板进修于实际物理世界中的运用已经经变患上越发广泛。但 AI 远非全能，呆板进修模子于可托率性方面已经经袒露出使人忧心的问题。于咱们所糊口的世界中，不仅有没有法辨认假新闻的愚蠢的 AI，更存于着伤害的 AI。

好比于主动驾驶、聪明医疗等对于安全性要求很是高的场景中，模子的「掉之毫厘」会带来「差之千里」的伤害后果。同时，数据隐私的问题也日趋凸起。患上益在生物信息辨认技能的开发，于机场、火车站等场合，人们于呆板上刷个脸、摁个指纹，就能利便快捷地完成安检步伐。但这些海量的生物信息被收罗及存储起来，也为非法份子提供了可乘之机，黑产链生意盗用人脸信息去实行诈骗的新闻其实不稀有。

以是，人类要怎样信托 AI ？人类可以安心地把产业治理转让给算法、把生命康健拜托给模子、把隐私信息拱手交给呆板吗？

可托 AI ，恰是一个致力在让 AI 更安全、让人类对于 AI 更安心的一个研究范畴，今朝也已经经有愈来愈多的研究者意想到可托呆板进修的主要性并投入此中，李博即是此中之一，并且是傍边的一名佼佼者。

图注：李博于新加坡高校举办的学术论坛上作演讲，以2013年 AI 算法对于美国股票的颠簸影响来诠释可托呆板进修研究的主要性

从本科就读同济年夜学信息安全专业最先，李博就存眷到计较机安全问题。以后，她去美国范德堡年夜学攻读博士，呆板进修模子于真实世界中安全性不足的种种征象，让她感应呆板进修的安全问题已经经很是急迫，便毅然投身在可托 AI 范畴的研究。如今，她于伊利诺伊年夜学喷鼻槟分校（UIUC）计较机系带领着安全进修试验室，致力在解决呆板进修的可验证鲁棒性、隐私性、泛化性等问题 。

从已往到此刻再到将来，李博所要摸索的问题始终是：怎样让 AI 更安全、更可托？

1 初入「安全」门

李博出生在广东湛江，诞生人间还有没有多久，就被怙恃寄与但愿，于将来会成为一名博学之才，在是给她取名为「博」。二十七年后，李博果然拿到博士学位，成为人工智能范畴一名饶有建树的博士。

上初中后，李博的怙恃事情忙碌，有时顾不到她的糊口与进修，在是决议让李博搬到山西的外婆家。那里的亲戚都是三尺讲台上的教员，这为李博厥后的发展创造了优质的情况。于西席家庭耳闻目睹的李博，很早就造就了严谨的举动及思索习气。

李博的家人十分撑持她拓展本身的兴致喜好，好比跳体操、弹钢琴，同时还有成心去慢慢成立她的科学素养。小时辰，李博从《十万个为何》中得到科学发蒙，再年夜一些就去读霍金的《时间简史》、《果壳中的宇宙》等等。于好动的年数，李博却可以或许沉浸于书本的世界中，去摸索世界素质、思索天然道理。从科普读物中，她领略到了天然学科的美妙，特别是物理及数学。

2007年，李博进入同济年夜学电子与信息工程学院就读本科，进修信息安全专业。那时，信息安全还有算是一个比力新的学科，只管李博对于在这个范畴还有没有尤其深切的认知，但她能强烈地感触感染到这是一个很主要、颇有价值的研究标的目的。

除了了与其他计较机类专业不异的课程外，李博还有修读了一些更贴合信息安全的焦点课程，包括暗码学。作为收集安全的基石，暗码学使用算法提防潜于的歹意进犯，以保障信息的安全传输及安全存储，极年夜地吸引了李博的兴致。

而年夜二去中国台湾互换的一年，更让她于科研实践中真正见地到了关在安全研究的门道。

其时，逢甲年夜学的张朴拙传授到上海访学，就信息安全及计较秘要码学范畴的成长等话题于高校开展了学术讲座。张朴拙重要从事信息安全、暗码学及多媒体图象处置惩罚三年夜范畴的研究事情，是中国台湾信息安全界的引领人物、IEEE 及 IET 双料院士，被称为「中国台湾暗码学之父」。十几年已往，虽然李博已经经记不清其时讲座的详细内容，但她记患上本身于台下听患上津津有味、受益不浅：「其时感觉这些研究很是好玩。」

不久后，李博就看到黉舍发布了中国台湾互换生项目的选拔通知，并且还有可以申请张朴拙传授的互换生名额！在是李博绝不夷由地填了报名表，末了如愿去了中国台湾。

于中国台湾互换时期，李博与张教员试验室里的研究生及博士生们一路做研究、写论文，年夜部门时间都长短常繁忙且充分的。李博回忆，团队的成员都很努力，常常一路熬夜，彻夜赶 deadline，饿了就订一份中国台湾夜市的海鲜粥来增补能量，然后继承奋战。各人对于在科研的热忱投入让她深受打动：「觉得那样紧凑的糊口很是成心义，感觉就是本身想要的糊口。」

于介入科研的历程中，李博对于信息安全标的目的的研究有了更深切的相识，而且还有产出了科研结果，发表了一些暗码学标的目的的论文，内容触及如加解密范畴的数字水印研究（Digital water marking）、视觉暗码的加解密等。

李博于学术研究上的目光无疑也是独到且敏锐的。本科四年，李博的科研事情重要偏重在信息安全标的目的，但她也逐渐最先了对于 AI 的接触及进修，并萌发了将 AI 与安全联合起来研究的兴致及假想。虽然对于在将来的研究标的目的还有不甚明确，但她可以确定的是，本身未来想做及计较机安全相干的研究。

彼时，深度进修技能还有未突起，「可托呆板进修」这一范畴更是还没有降生，但李博已经经颇具前瞻性地预感到它的势必呈现：

安全的、可托任的 AI 才是造福人类的 AI。（公家号：雷峰网(公家号：雷峰网)）

2 AI 模子的「攻防战」

本科卒业后，李博赴美国范德堡年夜学（Vanderbilt University）攻读博士，师从 Yevgeniy Vorobeychik 传授。

于海内读本科，接着去美国读博，这是李博很早就为本身计划好的门路。申请黉舍时，李博重要思量与本身的科研兴致相匹配的黉舍。有着「南边哈佛」之称的范德堡年夜学于安全范畴的研究实力很强劲，以是李博没有太多纠结，就选择了这所黉舍。并且，以前于中国台湾互换时，她依附发表的论文，于到场一些集会时与范畴内的先辈学者有过不少交流，她的科研结果给他们留下了深刻的印象，这也为她申博乐成助推了一把。

李博的导师 Yevgeniy Vorobeychik 传授专注在匹敌呆板进修范畴的研究，特别是从博弈论的角度去解决呆板模子的安全及隐私问题，他主导的研究机构 ISIS （Institute for Software Integrated Systems）于收集物理体系安全范畴数一数二。他与德克萨斯年夜学达拉斯分校的 Murat Kantarcioglu 传授合著的Adversarial Machine Learning（《匹敌呆板进修：呆板进修体系中的进犯及防备》）一书，周全阐述了呆板进修的安全性问题，会商了各类进犯及防备技能。

图注：李博的博士导师 Yevgeniy Vorobeychik 传授

李博入学后，将呆板进修作为本身的科研标的目的，并思索选择甚么样的角度去研究。导师建议她去测验考试呆板进修安全标的目的。于其时，这个范畴还有很是小众，全世界从事该范畴研究的学者加起来也是寥寥可数。导师告诉她，假如她选择这个标的目的，以她的能力必定能做出很好的结果，但它于将来的远景怎样还有欠好判定，以是这是一个比力冒险的选择。

听完这番话，李博并无孕育发生近似的忧虑，相反，这恰是她所感兴致的研究。并且，颠末本科于信息安全方面的进修及研究，她信赖本身能将安全及呆板进修很好地联合起来，能更正确地找到呆板进修的安全痛点于哪里。她的选择颇有前瞻性，厥后深度进修的年夜火鞭策了许多技能于真实世界中的落地，安全问题变患上越发凸起。

Vorobeychik 对于在李博于科研上的进展其实不急在求成，快慰她说「第1、第二年尽管好好上课，不消太着急」，但他没想到这位中国粹生其实不想过患上太「轻松」，反而 push 起导师来。

「我其时本身实在比力着急，想要赶紧写论文、发论文。」李博没有藏着掖着，直接跟 Vorobeychik 注解本身于课程进修方面没甚么问题，想要尽快投入科研。颠末扳谈，导师相识了她的诉求，最先让她介入到科研项目中，并且是做比力难的项目。

李博最初随着导师做了很多从博弈论角度研究安全问题的项目。博弈论是其时呆板进修安全研究所采用的一个主流要领论。呆板进修模子的交互历程可以成立为一个博弈模子，于一个博弈（Game）中，有两个介入者，别离是进犯者（Attacker）及防备者（Defender）。研究职员的方针是找出一个平衡博弈状况，即最优解，让防备者博得博弈，从而提高呆板进修模子的鲁棒性。

沿着这个标的目的，李博做了一系列的研究。好比，于对于垃圾邮件及歹意软件举行检测的研究上，匹敌性情况中的进犯者凡是会存心避开用在检测它们的分类器。为相识决这个问题，李博与导师研究了进犯的方针建模算法，发明经常使用的「特性筛选」会致使模子越发轻易被进犯。为此，他们提出一个基在「Stackelberg Game」的优化进修模子，于特性筛选及匹敌规避之间举行衡量，追求最优解，从而得到鲁棒性算法。这篇论文被 NeurIPS 2014 吸收，成为厥后许多呆板进修安全研究的重要参考事情之一，至今已经被援用上百次。

论文地址：https://papers.nips.cc/paper/2014/file/8597a6cfa74defcbde3047c891d78f90-Paper.pdf

跟着研究的深切，李博于呆板进修模子的安全性方面做出了很多创始性的主要结果。比喻说，于被NeurIPS 2016 吸收的一项事情中，李博初次提出了针对于保举体系的投毒进犯。投毒进犯（Poisoning Attack），是指于呆板进修模子的练习阶段，歹意进犯者可以修改一小部门练习数据，从而使患上模子于测试阶段做出切合进犯者预期的过错判定。李博与导师以和 CMU 的学者互助，展示了对于协同过滤（Collaborative Filtering）这类体系保举技能的数据投毒进犯，并提出了响应的防备算法，于真实世界中获得了有用性验证。

论文地址：https://arxiv.org/pdf/1608.08182.pdf

今朝，投毒进犯（包括后门进犯）已经经于差别的深度进修模子中被广泛研究，而李博的这项初期研究事实上为学界后续的一系列事情奠基了深挚的理论基础。好比近来她及团队提出的针对于后门进犯的、可验证的深度进修模子鲁棒性一样是「史上初次」，为防备后门进犯的模子的鲁棒性提供了理论包管。

别的，于隐私数据掩护方面，李博开发了可扩大的隐私掩护数据天生模子，并用来天生具备隐私掩护的医疗病例数据。这项事情还有被集成于开源东西 MITRE Identification Scrubber Toolkit (MIST)中。

博士时期的李博一直连结着很是高产出的状况：25篇集会论文，11篇期刊论文，还有有各类声誉奖项。2015年，李博还有得到了赛门铁克研究试验室奖学金，该奖项全世界仅有 3 人入选，用在奖励于计较机安全范畴做出立异性事情的学者。这些成就都是李博于这五年加紧每一分每一秒努力做科研的成果，信赖「天才于在勤劳」的她，直到此刻也是连结着天天从早上九点事情到凌晨的一样平常。

2016年，名字带「博」的李博，终究正式成了一位博士。

李博筹算继承留于学术界，这也是她一直以来的计划。她认为，于学术界的利益是可以更自由地去摸索一些本身尤其感兴致的问题，纵然这些摸索可能无法很快「变现」，但从久远来看，它们可能具备很主要的价值。不外，李博也谈到于工业界做研究亦有其差别的上风，好比工业界可以提供更富厚的数据资源，也会提出更多具备现实运用价值的问题。以是，李博厥后也去踊跃地测验考试与工业界睁开一些互助。

申就教职时，李博于一个月里展转飞到美国各个都会去口试，终极得到了包括伊利诺伊年夜学喷鼻槟分校（UIUC）于内的多个年夜学的登科。

于 CS Ranking 上，UIUC 于 AI 范畴排名全世界第三，那里做呆板进修及计较机安全标的目的的年夜牛很是多，但其时做「呆板进修安全」的学者却没有几多。李博认为这实在是一个很好的时机，将来她的互助者都将是一群很是优异的科学家，必定能于科研上得到高质量产出。就如许，李博终极选择了 UIUC。

拿到教职 offer 后，李博选择花一年时间去加州年夜学伯克利分校做博士后研究，博士后的导师就是全世界知名的「计较机安全教母」宋晓冬传授（Dawn Song）。这一年，李博接触及熟悉了更多可托呆板进修的研究者，还有拓展了跟工业界的接洽，从而留意到更多真实世界中的问题。

李博与宋晓冬于匹敌呆板进修方面互助了很多主要研究，触及视觉分类的物理进犯、后门投毒进犯、GAN 天生匹敌样本、匹敌性质空间的局部内涵维度表征、空间转换的匹敌样本、物体检测器的物理匹敌、深度神经收集的黑盒进犯等等。

此中一项于鲁棒呆板进修范畴可谓为里程碑式的研究，这即是李博与宋晓冬等人互助的“Robust physical-world attacks on deep learning visual classification”。于这项事情中，他们以主动驾驶中的安全问题为切入点，最早证实了匹敌样本对于深度神经收集的进犯可以存于在物理世界中。这项事情被 CVPR 2018 吸收，于其时孕育发生了极年夜的范畴影响力，屡次被《连线》、《纽约时报》、《财富》、IEEE Spectrum 等媒体报导，论文今朝已经经被援用1800余次，是李博所有论文中被援用次数至多的一篇。

论文地址：https://openaccess.thecvf.com/content_cvpr_2018/papers/Eykholt_Robust_Physical-World_Attacks_CVPR_2018_paper.pdf

以往的匹敌呆板进修研究重要囿在对于数字世界里模子的不雅察，好比研究者可以对于图象的像素加以肉眼没法辨认的微小改动，模子就会是以被愚搞及进犯。

而李博想要知道的是，模子的匹敌进犯于实际物理世界中是否也会发生？

其时已经经有不少研究者都提出了这个主要疑难，但还有没有人真的去做验证。李博对于这个有趣又有挑战性的问题伎痒，决议拔取主动驾驶的 AI 体系对于路标的视觉辨认作为证实角度。

一般环境下，假如一个 AI 模子于年夜大都前提下都管用，比喻说 90%，那这个模子就已经经充足好了；但于人命攸关的主动驾驶场景中，90% 是远远不敷的。主动驾驶体系的安全性不足一直是这个行业的痛点，纵然进犯者没法攻破体系的「围墙」，但仍可能经由过程对于物理对于象举行物理性改动来滋扰体系，好比泊车标记牌上的图案被报酬地涂抹、粉碎后，可能会被体系过错地辨认成限速标记牌，而车辆的每一一次刹车或者加减速的决议计划都需要绝对于的安全，不然就有可能变成悲剧。

是以，搞清晰 AI 体系的易受进犯的地方，并相识它为什么会被进犯、怎样被进犯，进而提高模子的鲁棒性、终极晋升主动驾驶体系的安全度，这些都是亟待解决的难题。

然而，要想证实物理世界中的模子一样会有被进犯的潜于伤害，其实不像于数字世界中那样轻易。路标如许的物理对于象使匹敌性进犯变患上越发繁杂，路标所处情况的多变性，光照、气候、地面清洁度、间隔等因素城市影响天生物理匹敌样本的鲁棒性。是以，李博及她的团队设计了新的优化要领来完成对于黑盒 AI 体系的物理进犯。

李博带上团队里的几个博士生，去各类园地拍摄了年夜量的路派司片来练习模子。他们于泊车牌上模仿人的顺手涂鸦，贴上玄色或者白色的小块贴纸，而且不遮挡路牌上 “STOP” 或者右转向箭头的总体样式。

这些贴纸看似随便，但倒是颠末精心设计的物理滋扰，当人类司机看到如许的路牌时，基本上不会认错，但如果是一辆主动驾驶汽车向一个写着“STOP SIGN”的路牌驶近，摄像头的感知体系就会将它们误认为是 45 英里/小时的限速标记牌，而不会当即泊车。别的，右转向路牌也会被过错辨认为泊车路牌。

试验显示，不管拍摄标记牌的间隔及角度怎样，于所有场景下，对于主动驾驶车辆体系的物理进犯都是乐成的！

把握了关在这些可能存于的进犯信息后，研究者就能够制订计谋来练习出更强盛的模子。李博于进犯者及防备者之间成立博弈模子，让 AI 体系彼此匹敌，利用一个神经收集来辨认及使用另外一个体系的缝隙。如许一个历程可让方针收集的练习所具备的缺陷都显露出来，然后就能有用地去修补这些缺陷、防备潜于的进犯。

李博及她的互助者乐成地向人们注解，图象分类体系对于物理对于象的匹敌性扰动具备很强的敏感性，这类敏感性于真实世界中的潜于后果是不胜假想的。

如李博所指望的那样，这项研究唤起了人们对于物理进修体系可能面对进犯这个事实的器重。不仅于学术界引起热议，并且带来了一波工业界的研究热忱。IBM 遭到该研究开导，开发了近似的技能为其「初代 AI 界老年老」 Watson AI 体系提供安全保障。亚马逊将该研究结果应用到智能音箱 Alexa 中。还有有一些主动驾驶汽车公司，也于利用该研究来提高呆板进修模子的鲁棒性。

这项事情的影响力之年夜，还有吸引了英国伦敦科技博物馆的眼光。2019年6月，博物馆正于筹谋一次藏品展出，鉴在该研究所具备的时代意义，他们接洽到李博的团队，买下了匹敌路标什物，将其存放于永世保藏柜里。

图注：英国科技博物馆展出李博团队天生的匹敌性路标

今天，这块路牌仍旧被陈设于这座有着一百五十多年汗青的老博物馆里。于可托呆板进修的新海潮下，它恍如一朵激扬的年夜浪花，向众人警省着：AI 技能一次次地履历着使人赞叹的更新换代，但「水满则溢」，技能暗地里的安全隐患也已经经到了不克不及再伪装其不存于的田地。

「经由过程设计新要领来『愚搞』 AI ，从而使 AI 变患上更安全」，这是李博于 2020 年依附这项结果入选 MIT 科技评论「 35 岁如下的 35 位技能立异者」全世界榜单的理由。31岁的她，于匹敌呆板进修范畴已经经做出了引领性的精彩研究。

竣事了一年的博士后研究，李博回到 UIUC 正式最先执教生活生计、继承创造新的科研冲破。

于先前关在匹敌进犯计谋的研究的基础上，她提出了一系列新要领来提高 AI 体系的鲁棒性。好比使用数据的时域相干性及空间相干性来检测歹意样本。她使用时域相干性去检测歹意音频样本的事情被收录于 ICLR 2019，厥后还有被 IBM 运用于 Watson 语音辨认体系中。于使用空间相干性来检测歹意匹敌图象样本方面，李博也提出了第一个可以有用抵挡自适性进犯的歹意样本辨认算法。

图注：使用时域持续性检测歹意语音样本

图注：使用空间持续性检测歹意图象

为了天生越发有用的匹敌样本，李博进一步提出了「匹敌神经收集」，于 MNIST 匹敌进犯挑战赛（Adversarial Attack Challenge） 的排行榜上得到了 Top 1 的成就，这再次证实了她提出的「匹敌样本建模」原则的价值与可行性。同时，于视觉使命上，李博引入一种「无穷制匹敌性进犯」的要领，经由过程修改图象的颜色、纹理等细节来对于 AI 体系乐成实现了进犯，并设立了评估呆板进修体系匹敌各类进犯的鲁棒性的基准。

于呆板进修模子的隐私掩护上，李博也再次交出了「第一」的答卷。她及团队提出的 DataLens 模子第一次实现了高维持续数据的具备隐私包管的数据天生。这项事情不仅证实了天生数据满意差分隐私的要求，还有初次于理论上证实了这种天生模子的收敛性，体系地阐发了体系效率及天生数据质量之间的衡量问题。

图注：具备差分隐私包管的高维数据天生模子

相干论文地址：

https://arxiv.org/pdf/1810.05162.pdf

https://arxiv.org/pdf/1904.06347.pdf

https://arxiv.org/pdf/2103.11109.pdf

3 可托 AI的将来：引入逻辑推理

如今，“可托呆板进修/可托人工智能”成为一个热点的研究范畴，鲁棒性、隐私性、公允性、可注释性是可托呆板进修的四个焦点组成，每一个方面都有很多学者于摸索研讨。李博于 UIUC 带领的「安全进修试验室」小组也正于致力在解决这些子问题。

图注：李博与试验室的学生合影

李博的课题组今朝重要开展的事情包括：

可验证的鲁棒性呆板进修：优化呆板进修模子以匹敌歹意进犯，并提供可验证的鲁棒性。

具备隐私掩护的呆板进修及数据阐发：摸索差分隐私、同态加密及信息理论阐发等技能，于实践中实现隐私掩护。

呆板进修的泛化性：基在泛化性与鲁棒性、隐私性之间的接洽，经由过程优化其他属性来改良呆板进修的泛化机能。

于李博看来，这些问题之间慎密相干：「颠末几年研究，我深深地领会到这些子问题之间实在不是彼此自力的，它们之间有很素质的内涵接洽。」

例如，他们证实了于联邦进修中，假如模子满意差分隐私，那末它的鲁棒性也能够被暗示为隐私对于应的参数；此外，呆板进修模子的鲁棒性及模子泛化性于满意某些前提下是可以互为充实前提的。

图注：鲁棒性、隐私性、泛化性之间的瓜葛

今朝的可托呆板进修还有未对于这些子问题之间的互相干联予以太多存眷，但李博信赖，假如可以更多地掘客这些子问题之间素质性的联系关系，咱们就没必要重造车轮，而是可以使用一些子问题的研究结果来提供更多原则及理论基础，给其他可托呆板进修的子问题带来解决方案。若只零丁研究此中的每个，就会孕育发生反复性劳动，也很难发明最基础、最素质的问题。

秉持着这类研究思绪，李博对于在课题组内博士生科研标的目的的「排兵排阵」也是思量良多。兴致优先，因材施教，组里11个博士生于可托呆板进修的年夜框架下做着差别标的目的的研究，有的专攻可验证鲁棒性，有的研究天然语言处置惩罚标的目的的鲁棒性及隐私性问题，还有有的学生是从联邦进修的角度来做鲁棒性及隐私性研究，如许各人就能够睁开许多有用的互助。

图注：于李博传授的Trustworthy Machine Learning课程期末，博士生展示项目海报

近来，于可托呆板进修的研究上，李博又迈出了要害的一步。基在这几年对于相干问题的深切思索，她正于摸索一种新的要领论——基在逻辑推理的可托呆板进修。于李博看来，这就是可托呆板进修的将来。

险些没有模子不会被进犯，问题是，怎样防备进犯？最近几年来，防备进犯的事情正于面对一个难题：当咱们检测到进犯时，会研究响应的防备进犯的手腕；然而，新的进犯情势很快又会呈现，这就需要咱们再去找出新的防备要领......所谓「道高一尺，魔高一丈」，进犯防不堪防。如许的轮回何时才是终点？

李博认为，可验证的鲁棒机能够终止这类「攻防轮回」。

那末，呆板进修鲁棒性的可验证性有甚么用？

李博先容，于某些进犯前提下，可验证性素质上可以为模子的精度设置一个下限。好比针对于某种进犯的防备手腕，其下限为90%，那末就能包管模子的精度不会降落到这个数字如下。也就是说，不管进犯者使出甚么招数，只要进犯防备不跨越这个边界，就能包管模子的机能。

整体上，可验证鲁棒性有两种研究范式，一种是决议论的，另外一种是几率论的，两种角度下各有很多差别的细分路径。但总体来讲，它们仍存于一个错误谬误，即进犯的前提很是有限，今朝只能去验证很小一部门的防备要领。

图注：可验证鲁棒性的研究路径

推理，是李博提供应这个问题的解决思绪。

今朝，险些所有的呆板进修模子都是纯数据驱动的，人类的先验常识、经验、推理等信息都没有被成立模子。这类近况可以说是深度进修革命的年夜获乐成所带来的。于2019年的图灵奖演讲中，Geoffrey Hinton 曾经谈到了两种使计较机智能化的要领。其一，他称之为「智能设计」，行将特定使命的常识教授给计较机；其二，即是「进修」，即人类只向计较机提供示例。话里话外，Hinton 都表达了他对于第一种要领的否认。

但不能不认可，已经有的提高模子鲁棒性所利用的统计要领已经经碰到了一个瓶颈，有须要引入一些显性信息，如域常识、逻辑推理等。好比于“Stop Sign”这项研究中，人类基在糊口经验，很轻易就能从路牌图案的总体轮廓中判定出它是否是一个泊车标记，但模子却其实不具有这类能力。

是以，李博想到，若能利用逻辑推理来帮忙模子，就能得到更好的鲁棒性。咱们可以用常识限制进犯前提及场景，好比「于中国车辆靠右行驶」如许的糊口知识，以和「假如一小我私家于横穿马路，车辆行到跟前不断下的话，会发生甚么？」如许的因果推理常识。

李博告诉 AI 科技评论，今朝，她的团队已经经有一些正于举行的项目于实践这类方案，好比用马尔科夫逻辑收集（Markov Logic Networks）来将一阶逻辑表达出来，然后使用几率图模子（Probabilistic Graphical Models ）做推理，从而发明并主动改正纯统计型模子（Statistical Model ）被进犯的猜测。

他们的研究注解，将人的常识、推理逻辑与纯数据驱动的模子联合起来，确凿可以年夜幅度提高图象及NLP模子的可验证鲁棒性，纵然是于年夜范围数据集上效果也很是好。

图注：感知-推理示例，感知组件由用在其子使命的差别神经收集构成，推理组件是一个因子图。

可托呆板进修涵盖呆板进修的各个方面。于 NLP 使命中，可托呆板进修可以解决过错分词、过错翻译等问题；于视觉方面，可托呆板进修则旨于确保模子具备正确的猜测能力，且不会被微小的歹意扰动所进犯；于联邦进修中，可托呆板进修则更存眷怎样解决中央模子被歹意用户粉碎的问题。这些差别使命有着配合的底层逻辑，那即是预防于练习或者者判定阶段中的歹意进犯，保障模子的鲁棒性及数据的隐私性。

以是，李博对于可验证鲁棒性的存眷也天然地延长到这些差别的呆板进修使命傍边，做了一些有利的摸索。好比她的团队提出了针春联邦进修及主动驾驶中激光雷达点云辨认的可验证鲁棒性，为可验证AI提供了于真实世界场景中的可行性。

图注：联邦进修的可验证鲁棒性

图注：激光雷达点云辨认的可验证鲁棒性

于开发算法及可验证要领论的同时，李博及她的团队也为社区孝敬了各类基准来帮忙练习及评估针对于差别使命的算法。例如，他们提出了针对于天然语言的年夜型可托基准 AdvGlue、针对于强化进修算法的可验证鲁棒性基准 CROP、 COPA ，以和针对于主动驾驶真实场景的安全测试场景基准 SafeBench 等等。「currently data is the oil in the modern world，以是差别的benchmark也会更有用的提高可托AI的出产力」，李博如许注释这些事情的念头。

图注：匹敌天然语言基准（地址：https://adversarialglue.github.io）

图注：主动驾驶歹意场景基准（地址：https://safebench.github.io/leaderboard/index.html）

4 人工智能，福兮

AI 的最终归宿是运用于真实世界，造福人类，李博的研究都来历在、扎根于且落回到真实世界中。

于工业界，有很多呆板进修模子运用在真实世界，以是安全性是工业界也一样很是器重的问题。李博于这方面与工业界连结着踊跃互助，好比亚马逊的敲诈检测模子、Facebook告白保举体系的隐私掩护、EBAY的生意业务图等等。

别的，她也与海内的互联网公司如baidu、腾讯、蚂蚁等有过鲁棒性及隐私性方面的互助。好比，于与蚂蚁的可托 AI 研究团队的互助中，为了测试他们的人脸辨认体系的易受进犯性，李博团队设计较法，于蚂蚁提供的API长进行评估，发明体系果然可以被进犯。她进而提出一些防备进犯的方案，于蚂蚁的平台上实现响应的算法，以避免人脸辨认体系遭遇歹意进犯，终极收成了不错的效果。

于可托呆板进修范畴深耕数年，李博的卓着成绩已经经为她博得了很多声誉奖项，好比亚马逊收集办事呆板进修研究奖、 Facebook 研究奖、NSF CAREER 奖、英特尔新星奖等等。

本年 2 月，由于于可托呆板进修范畴的卓异事情，李博得到了具备「诺贝尔奖风向标」之称的斯隆研究奖。值患上留意的是，与她一同获奖的还有有别的三位人工智能范畴的华人女性科学家，她们别离是陈丹琦、方飞及宋舒然。

李博对于女性科研事情者的影响力不停扩展感应欣慰：「实在我的组里就有蛮多女生的，我一直感觉女生很可以或许focus，假如当真做（科研）的话，我感觉可以做患上很好，以是我蛮鼓动勉励女性学者可以或许不要于意周围的目光，如岁数年夜之类的评价，就去做本身喜欢做的工作，不要太于意他人，我感觉你就能够做患上很好。我感觉女生及男生于科研能力上没有甚么不同。」

就于上个月，身为 AI 范畴卓异青年科学家的李博，还有被授予 IJCAI 2022 年计较机与思惟奖，以表扬她于呆板进修鲁棒性方面的孝敬，包括发明 AI 鲁棒性、隐私性及泛化性之间的内涵接洽，展现各类模子的易受进犯性，以和提出数学要领来填补模子的缝隙，为呆板进修模子及隐私掩护提供鲁棒性保障。

将来，李博将继承她于可托呆板进修范畴的摸索，为 AI 于真实世界中的运用保驾护航。（公家号：雷峰网）

雷峰网原创文章，未经授权禁止转载。详情见转载须知。