米兰·(milan)中国官方网站-贝叶斯深度学习：一个统一深度学习和概率图模型的框架

人工智能（AI）的进展显示，经由过程构建多层的深度收集，使用年夜量数据举行进修，可以得到机能的显著晋升。但这些进展基本上是发生于感知使命中，对于在认知使命，需要扩大传统的AI范式。

4月9日，罗格斯年夜学计较机科学系助理传授王灏，于AI TIME青年科学家——AI 2000学者专场论坛上，分享了一种基在贝叶斯的几率框架，可以或许同一深度进修及几率图模子，以和同一AI感知及推理使命。

据先容，框架有两个模块：深度模块，用几率型的深度模子暗示；图模块，即几率图模子。深度模块处置惩罚高维旌旗灯号，图模块处置惩罚偏揣度的使命。

如下是演讲全文，AI科技评论做了不转变原意的收拾：

今天及各人分享关在贝叶斯深度进修的事情，主题是咱们一直研究的几率框架，但愿用它同一深度进修及几率图模子，以和同一AI感知及推理使命。

尽人皆知，深度进修加持下的AI技能已经经拥有了必然的视觉能力，可以或许辨认物体；浏览能力，可以或许文本理解；听觉能力，可以或许语音辨认。但还有短缺一些思索能力。

“思索”对于应推理揣度使命，详细指它可以或许处置惩罚繁杂的瓜葛，包括前提几率瓜葛或者者因果瓜葛。

深度进修合适处置惩罚感知使命，但“思索”触及到高条理的智能，例如决议计划数据阐发、逻辑推理。几率图因为能很是天然的暗示变量之间的繁杂瓜葛，以是处置惩罚推理使命具备上风。

如上图，概览图示例。使命是：想经由过程今朝草地上喷头开或者关，以和外面的气候来揣度外面的草地被打湿的几率是几多，也能够经由过程草地被打湿反推气候怎样。几率图的错误谬误是没法高效处置惩罚高维数据。

总结一下，深度进修比力擅长感知类的使命，不擅长推理、揣度使命，几率图模子擅长推理使命，但不擅长感知使命。

很不幸，实际糊口中这两类使命通常为同时呈现、彼此交互。是以，咱们但愿可以或许把深度进修的几率图同一成单一的框架，但愿到达分身其美。

咱们提出的框架是贝叶斯深度进修。有两个模块：深度模块，用几率型的深度模子暗示；图模块，即几率图模子。深度模块处置惩罚高维旌旗灯号，图模块处置惩罚偏揣度的使命。

值患上一提的是，图模块素质是几率型的模子，是以为了包管可以或许交融，需要深度模子也是几率型。模子的练习可以用经典算法，例如MAP、MCMC、VI。

给详细的例子，于医疗诊断范畴，深度模块可以想象成是大夫于看病人的医疗图象，图模块就是大夫按照图象，于年夜脑中判定、推理病症。从大夫的角度， 医疗图象中的心理旌旗灯号是推理的基础，优异的能力可以或许加深他对于医疗图象的理解。

引伸一下，影戏保举体系里，可以把深度模块想象成是对于影戏的视频情节、演员等内容的理解，而图模块需要对于用户爱好、影戏偏幸之间的相似性举行建模。进一步，视频内容理解及“爱好”建模也是相辅相成的。

详细到模子细节，咱们将几率图模子的变量分为三类：深度变量，属在深度模块，假定孕育发生在比力简朴的几率漫衍；图变量，属在图模块，及深度模块没有直接相连，假定它来自在相对于比力繁杂的漫衍；枢纽变量，属在深度模块及图模块中彼此接洽的部门。

下面先容该框架是怎样于现实运用中效果。

保举体系基本假定是：已经知用户对于某些影戏的爱好，然后但愿猜测用户对于其他影戏的爱好。

可以将用户对于影戏的喜爱写成评分矩阵（Rating Matrix），该矩阵很是稀少，用来直接建模，获得的正确性很是低。于保举体系中，咱们会依靠更多的信息，例如影戏情节、影戏的导演、演员信息举行辅助建模。

为了对于内容信息举行建模，并举行有用提纯，有三种方式可供选择：手动成立特性，深度进修全主动成立特性、采用深度进修自顺应成立特性。显然，自顺应的方式可以或许到达最佳的效果。

不幸的是，深度进修固有的自力同漫衍假定，对于在保举体系是致命的。由于假定用户及用户之间没有任何的联系关系的，显然是过错的。

为相识决上述坚苦，咱们推出协同深度进修，可以或许将“自力”推广到“非自力”。该模子有两个挑战：

1.怎样找到有用的几率型的深度模子作为深度模块。但愿该模子可以或许及图模块兼容，且及非几率型模块的效果不异。

2.怎样把深度模块毗连到主模块里，从而举行有用建模。

来看第一个挑战。自编码器是很简朴的深度进修模子，一般会被用于非监视的环境下提取特性，中间层的输出会被作为文本的暗示。值患上一提的是，中间层的暗示它是确定性的，它不是几率型的，及图模块不兼容，没法事情。

咱们提出几率型的自编码器，区分于在将输出由“确定的向量”变换成“高斯漫衍”。几率型的自编码器可以退化成尺度自编码器，是以后者是前者的一个特例。

怎样将深度模块与图模块相接洽？先从高斯漫衍中提出物品j的隐向量：

然后从高斯漫衍中，提掏出用户i的隐向量：

基在这两个隐向量们就能够从别的高斯漫衍采样出用户i对于物品j的漫衍，高斯漫衍的均值是两个隐向量的内积。

上图蓝框暗示图模块。界说了物品、用户、评分等等之间的前提几率瓜葛。一旦有了前提几率瓜葛，就能经由过程评分反推用户、物品的隐向量，可以按照“内积”猜测未知的配景。

上图是整个模子的图解，此中λ是节制高斯漫衍方差的超参数。为了评测模子效果，咱们用了三个数据集：citeulike-a、citeulike-t、Netflix。对于在citeulike是用了每一篇论文的标题及择要，Netflix是用影戏情节先容作为内容信息。

试验成果以下图所示，Recall@M指标暗示，咱们的要领年夜幅度逾越基准模子。于评分矩阵越发稀少的时辰，咱们模子机能提高幅度甚至可以更年夜。缘故原由于在，矩阵越稀少，模子会越发依靠内容信息，以和从内容提掏出来的暗示。

保举体系机能晋升可以或许晋升企业利润，按照麦肯锡咨询公司的查询拜访，亚马逊公司中35%的业务额是由保举体系带来的。这象征着保举体系每一晋升1%个点，城市有6.2亿$的业务额晋升。

小结一下，到今朝为止，咱们提出了几率型的深度模子作为贝叶斯深度进修框架的深度模块，非几率型的深度模子实在是几率型深度模子的特例。针对于深度的保举体系提出层级贝叶斯模子，试验注解该体系可以年夜幅度保举体系的效率。

给定一个图，咱们知道边，并相识节点的内容。此图假如是社交收集，实在就是暗示着用户之间的伴侣瓜葛，节点内容就是用户贴于社交平台上的图片或者者文本。这类图瓜葛，也能够暗示论文的标题、择要、援用等等接洽。

咱们的使命是但愿模子可以或许进修到节点的表达，即可以或许捕捉内容信息，又可以或许捕捉图的信息。

解决方案是基在贝叶斯深度进修框架，设计瓜葛型的几率自编码器。深度模块专门卖力处置惩罚每一个节点的内容，究竟深度进修可以或许于处置惩罚高维信息是有上风的；图模块处置惩罚节点节点之间的瓜葛，例如援用收集以和常识图谱繁杂的瓜葛。

于医疗范畴，咱们存眷医疗监测。使命场景是：家里有小型雷达，会发射旌旗灯号，设计的模子但愿可以或许按照从病人身上反射的旌旗灯号，发明病人是否定时用药、用药的秩序序是否准确。问题于在：用药的步调很是繁杂，需要理清挨次。

基在贝叶斯深度进修几率框架要领，用深度模块处置惩罚很是高维的旌旗灯号信息，用图模块对于于医疗专有常识举行建模。

值患上一提的是，纵然对于在差别运用的统一模子，内里的参数具备差别的学进修方式，例如可以用MAP、贝叶斯要领直接进修参数漫衍。

对于在深度的神经收集来讲，一旦有了参数漫衍，可以做许多工作，例如可以对于猜测举行不确定性的预计。别的，假如可以或许拿到参数漫衍，纵然数据不足，也能得到很是鲁棒的猜测。同时，模子也会越发强盛，究竟贝叶斯模子等价在无数个模子的采样。

下面给出轻量级的贝叶斯的进修要领，可以用于任何的深度进修的模子或者者任何的深度神经收集上面。

咱们的要害思绪是：把神经收集的神经元以和参数，当作漫衍，而不是简朴的于高维空间的点或者者是向量。答应神经收集于进修的历程中举行前向流传、后向流传。由于漫衍是用天然参数暗示，该要领定名为NPN（natural-parameter networks）。

#参考文献：

•A survey on Bayesian deep learning. Hao Wang, Dit-Yan Yeung. ACM Computing Surveys (CSUR), 2020.• Towards Bayesian deep learning: a framework and some existing methods. Hao Wang, Dit-Yan Yeung. IEEE Transactions on Knowledge and DataEngineering (TKDE), 2016.

• Collaborative deep learning for reco妹妹ender systems. Hao Wang, Naiyan Wang, Dit-Yan Yeung. Twenty-First ACM SIGKDD Conference on

Knowledge Discovery and Data Mining (KDD), 2015.

• Collaborative recurrent autoencoder: reco妹妹end while learning to fill in the blanks. Hao Wang, Xingjian Shi, Dit-Yan Yeung. Thirtieth Annual

Conference on Neural Information Processing Systems (NIPS), 2016.：

• Natural parameter networks: a class of probabilistic neural networks. Hao Wang, Xingjian Shi, Dit-Yan Yeung. Thirtieth Annual Conference on

Neural Information Processing Systems (NIPS), 2016.

• Relational stacked denoising autoencoder for tag reco妹妹endation. Hao Wang, Xingjian Shi, Dit-Yan Yeung. Twenty-Ninth AAAI Conference onArtificial Intelligence (AAAI), 2015.

• Relational deep learning: A deep latent variable model for link prediction.

Hao Wang, Xingjian Shi, Dit-Yan Yeung. Thirty-First AAAI Conference on Artificial Intelligence (AAAI), 2017.

• Bidirectional inference networks: A class of deep Bayesian networks for health profiling.

Hao Wang, Chengzhi Mao, Hao He, Mingmin Zhao, To妹妹i S. Jaakkola, Dina Katabi. Thirty-Third AAAI Conference on Artificial Intelligence (AAAI),

2019.

• Deep learning for precipitation nowcasting: A benchmark and a new model. Xingjian Shi, Zhihan Gao, Leonard Lausen, Hao Wang, Dit-Yan Yeung,

Wai-kin Wong, and Wang-chun Woo. Thirty-First Annual Conference on Neural Information Processing Systems (NIPS), 2017.

• Convolutional LSTM network: A machine learning approach for precipitation nowcasting. Xingjian Shi, Zhourong Chen, Hao Wang, Dit-Yan Yeung,

Wai-kin Wong, Wang-chun Woo. Twenty-Ninth Annual Conference on Neural Information Processing Systems (NIPS), 2015.

• Continuously indexed domain adaptation. Hao Wang*, Hao He*, Dina Katabi. Thirty-Seventh International Conference on Machine Learning (ICML),

2020.

• Deep graph random process for relational-thinking-based speech recognition. Hengguan Huang, Fuzhao Xue, Hao Wang, Ye Wang. Thirty-

Seventh International Conference on Machine Learning (ICML), 2020.

• STRODE: Stochastic boundary ordinary differential equation. Hengguan Huang, Hongfu Liu, Hao Wang, Chang Xiao, Ye Wang. Thirty-Eighth

International Conference on Machine Learning (ICML), 2021.

• Delving into deep imbalanced regression. Yuzhe Yang, Kaiwen Zha, Yingcong Chen, Hao Wang, Dina Katabi. Thirty-Eighth International Conference

on Machine Learning (ICML), 2021.

• Adversarial attacks are reversible with natural supervision. Chengzhi Mao, Mia Chiquier, Hao Wang, Junfeng Yang, Carl Vondrick. International

Conference on Computer Vision (ICCV), 2021.

• Assessment of medication self-administration using artificial intelligence. Mingmin Zhao*, Kreshnik Hoti*, Hao Wang, Aniruddh, Raghu, Dina

Katabi. Nature Medicine, 2021.

雷峰网(公家号：雷峰网)雷峰网

雷峰网原创文章，未经授权禁止转载。详情见转载须知。