米兰·(milan)中国官方网站-阿里李飞飞：在云计算时代，云原生数据库变得越来越重要

编译｜Ailleurs

作者｜陈彩娴

李飞飞，阿里巴巴集团副总裁、阿里云数据库产物事业部卖力人，也是达摩院的数据库首席科学家，任达摩院数据库及存储研究试验室的主任。他于插手阿里巴巴以前是犹他年夜学计较学院的传授。他的研究兴致包括数据库体系、年夜范围数据治理、数据安全、数据阐发以和用在体系机能及监控的呆板进修要领。同时，他还有是ACM Transactions on Database Systems（ACM TODS）期刊的副主编，曾经屡次担当ACM SIGMOD及ACM SIGKDD的高级区域主席，并担当过各类带领脚色（如总结合主席）及多个ACM SIGMOD集会的项目委员会成员。

近日，ACM对于李飞飞举行了一次访谈，内容重要触及李飞飞团队于阿里巴巴云基础设置装备摆设方面的方针计划、云原生数据库体系的应用、对于漫游毗连算法的先容，以和呆板进修技能于电子商务中的巨年夜影响。末了，李飞飞还有谈到了他关在学界与业界事情差异的感悟。

本文将采访编译以下：

ACM：作为阿里巴巴数据库首席科学家，您关在公司云基础举措措施设置装备摆设的整体方针是甚么？

李飞飞：咱们团队的重要方针是为阿里巴巴自身的营业运营及阿里云上企业客户构建尖真个、世界级的云原生数据库体系，例如咱们的云原生瓜葛型数据库PolarDB及云原生数据堆栈AnalyticDB（ADB）。

于云计较时代，因为对于弹性、高可用性、可扩大性的需求以和来自差别营业范畴的运用步伐对于按需利用的需求增加，云原生数据库变患上愈来愈主要。云运用步伐的这些需求为云原生数据库提供了新的时机，而传统的企业内部数据库体系没法彻底满意这些需求。经由过程摸索同享存储及彻底同享的架构（shared-everything architecture），云原生数据库使用底层云基础举措措施提供的资源池，将计较与存储分散，从而得到了精彩的弹性及高可用性。对于在要求程度扩大的高并发事情负载，云原生数据库可以进一步使用一个无同享层（shared-nothing layer）来提供漫衍式查询及事件处置惩罚能力。咱们的终极方针，为咱们的营业运营及云客户提供经济高效、易在利用且高度靠得住的数据库办事。

ACM：于阿里巴巴双11全世界购物节时期，该网站的流量于几秒钟内可激增150倍。您的团队开发了哪些东西来处置惩罚这种网站流量颠簸？您怎样对待这些技能于未来的成长趋向？

李飞飞：如上所述，于应答如许的运用场景时，乐成的要害是经由过程底层数据库体系孕育发生极高的弹性及高可用性。一眨眼间，流量就会忽然激增，可操作的数据库体系必需以经济高效的方式来抵御这类海啸般的「袭击」。对于在一个典型的、传统的当地数据库体系来讲，必需要提早提供年夜量的硬件资源，以满意峰值时的事情负载。而一旦岑岭流量于短期内削减，就可能会致使成本昂扬及资源华侈。

比拟之下，云原生数据库体系可以或许经由过程摸索同享存储及彻底同享的架构，以按需的方式来举行自顺应地、弹性地分配及开释资源。计较及存储的解耦，以和各类资源（计较机及存储资源）的同享，使患上云原生数据库体系具备自顺应性。咱们还有使用漫衍式查询及事件处置惩罚，经由过程程度分区来提供进一步的可伸缩性，从而满意高并发性的需求。

此外，Raft或者Paxos平分布式共鸣和谈获得了扩大及加强，使患上可用区（available zone，AZ）内部及可用区之间都具备高可用性，从而可以于不担忧数据丢掉及营业停机或者中止的环境下处置惩罚任何以障。同时，使用软硬件协同设计来摸索RDMA、NVMe等新硬件及DPDK等内核旁路和谈所具备的加快及优化作用。

HTAP（Hybrid Transaction and Analytical Processing，混淆事件及阐发处置惩罚）是现今云原生数据库体系寻求的别的一个趋向，它的方针是于双11购物节时，为集群用户的数据处置惩罚及阐发需求提供一站式解决方案。

末了，很主要的一点是，自驱动数据库（又称“自治数据库”）技能经由过程将呆板进修技能与云原生编排组件（如kubernetes）及各类数据库模块（如慢SQL诊断、索引保举）相联合，简化了云举措措施上云原生数据库的部署、维护及操作。例如，咱们于阿里云成立了DAS（database autonomy service，数据库自治办事），为双11运营及云客户提供办事，以确保咱们的体系尽可能具备自我修复、自我调解及自顺应能力。

ACM：您最闻名的研究事情之一“Wander Join: Online Aggregation via Random Walks”于2016年第35届ACM SIGMOD集会上得到了最好论文奖。于这项事情中，您及您的互助者提出了一种新的要领来处置惩罚繁杂毗连的于线查询。这篇论文的重要不雅点是甚么？今朝于查询处置惩罚范畴有哪些立异性摸索？

李飞飞：查询处置惩罚及优化是数据库体系最要害的构成部门之一。于这方面，JOIN（一种用来从多表数据中查询及拜候数据的SQL子句）是最多见但也最昂贵的数据库操作。采样提供的估测比计较切确成果要快患上多，这对于在查询处置惩罚及优化使命来讲很是主要。可是用JOIN来举行采样是很坚苦的，这是近20年以来数据库范畴一直面对的挑战。于这项事情中，咱们引入了新的数据采样技能，以实现类似及交互式查询处置惩罚（好比，提供于线的类似成果，并对于成果的质量举行连续地改良）。于线预计器的质量会跟着时间的推移而提高，终极它会获得正确的成果。这对于在年夜数据阐发及查询处置惩罚而言很是具备吸引力，由于用户可以按照本身的意愿来发出查询需求，并当即看到查询成果，并且输出的成果质量会逐渐提高，直到找到正确的成果为止（假如需要的话）；不然用户必需等候，不知道何时才能得到终极的正确成果。它们还有可用在查询优化（例如，预计繁杂查询项目的中间查询成果的基数）。

本文提出的漫游毗连算法经由过程于毗连图上随机游走，巧妙地实现了采样。毗连图不是详细化的，而只是经由过程细心的加权采样历程及预计中的误差调解来举行观点上的摸索。这使患上漫游毗连算法于数目级上优在现有的要领，这年夜年夜鞭策了开始进技能的成长。正如咱们于2017年ACM SIGMOD集会上被评为“研究亮点”的一篇论文中所说的，「于数据库治理体系的研究汗青中，有年夜量的研究都曾经使用采样以一种比切确计较更快的速率来预计查询成果。本文提出了一种高效的替换方案，实现了比之前开始进的技能还有要更好的计较及统计特征；经由过程Postgres中的一种开源实现来举行的试验使人信服地证实了这一点」。

漫游毗连孕育发生的是自力但不匀称的样本；但有时辰，更繁杂的阐发操作（呆板进修要领，好比撑持向量机）需要的是自力且匀称的随机样本。咱们于SIGMOD 18中的后续事情展示了怎样得到繁杂毗连的真正随机样本。这项研究还有带来了一些范畴的立异，好比基在进修的查询处置惩罚及优化要领。这些设法于“DeepDB: Learn from Data, not from Queries!” 以和“BlinkML: Efficient Maximum Likelihood Estimation with Probabilistic Guarantees”等论文中都有所概述。咱们这项事情还有开导了真实体系中的现实应用及设计问题。

ACM：呆板进修要领是怎样转变阿里巴巴等年夜型电子商务公司的？最主要的转变方式是甚么？

李飞飞：呆板进修于现代的前进已经经对于包括阿里巴巴于内的更多的构造及社会孕育发生了底子性及长期的影响。举个简朴的例子，阿里巴巴电子商务网站及运用步伐中的保举框架，要依靠颠末精心设计及微调的深度进修模子，从而为阅读网站及运用步伐的客户提供更有用的商品匹配。固然，呆板进修的影响不单单表现于保举方面。于阿里巴巴数据中央的运营中，咱们摸索并使用呆板进修技能构建了AIops这类智能监控及协调东西，以提高数据中央运营的效率及有用性。还有有很多其他的场景及例子，也均可以注解呆板进修及人工智能要领的厘革性影响，它们愈来愈成为很多体系中的要害构建组件，包括上面提到的云原生数据库体系（例如使云原生数据库体系可以或许举行自我调解）。

ACM：于插手阿里巴巴以前，您于美国犹他年夜学担当传授。与学术界比拟，于工业界事情的最显著差异是甚么？

李飞飞：于犹他年夜学计较机学院任职时期，我于计较机科学范畴的研究及工程生活生计的增加及富厚是巨年夜且难以形容的。那里拥有世界上最佳的计较机教诲及研究项目之一。我永远感激我地点的学院及黉舍。不外，于阿里巴巴如许一家伟年夜的公司事情，无疑也为我理解计较机科学提供了一个差别的、富厚的视角，这既是一门技能型学科，也是一个日趋主要的贸易范畴。为一家公司事情象征着你患上老是把营业及客户需求排于第一名，必需专注在由营业驱动的现实客户需求。这其实不必然象征着你可以没有持久的计划方针，但这些方针必需很是集中，并且要对于具备精心设计、明确论述的战略规划及贸易价值的现实运用具备价值。

这与于学术界事情大相径庭，于学术界，首要使命其实不是创造贸易价值，而是创造智力价值。终极方针往往是摸索一个未解决的问题或者挑战，纵然如许的努力终极只是一种智力训练。但恰是经由过程寻求这类好奇心，才患上以实现立异性冲破，工程上的努力终极可以或许使新技能的采用于实践中普和及扩大。

归根结柢，不管是于学术界还有是于工业界，这一切都是于为咱们整个社会及文明的优良运行创造价值，为之做出孝敬。从我今朝的角度来看，我信赖我于学术界及工业界的职业生活生计已经经获得了彼此增补及富厚了！

原文链接：https://www.acm.org/articles/people-of-acm/2022/feifei-li

雷峰网(公家号：雷峰网)

雷峰网版权文章，未经授权禁止转载。详情见转载须知。