腾讯AI开源框架Angel 3.0：超50万行代码，打造全栈机器学习平台
【导语】2019年8月22日，腾讯首个AI开源项目Angel正式发布3.0版本。Angel 3.0尝试打造一个全栈的机器学习平台，功能特性涵盖了机器学习的各个阶段：特征工程，模型训练，超参数调节和模型服务。
出品 | AI科技大本营（ID：rgznai100）
Angel 是基于参数服务器架构的分布式计算平台，致力于解决稀疏数据大模型训练以及大规模图数据分析问题，它由腾讯与北京大学联合研发，兼顾了工业界的高可用性和学术界的创新性。
项目地址：https://github.com/Angel-ML
自2016年年初在腾讯内部上线以来，Angel 已应用于微信支付、QQ、腾讯视频、腾讯社交广告及用户画像挖掘等业务。2017 年6 月，Angel 在Github 上低调开源。2018年9月，Angel 2.0版本发布，支持千亿级模型维度训练，同时算法库也更加丰富，首次引入了深度学习算法和图算法。截至目前，Angel在GitHub上Star数已超过4200，Fork数超过1000。Angel项目目前总共有38为代码贡献者，其他包括8位committer，他们总共提交了超过2000 commit。
从1.0到3.0，Angel从一个单一的模型训练平台发展到涵盖机器学习各个流程，包含自己生态的通用计算平台，代码量也超过了50万行。下面，AI科技大本营就为大家全面解读 Angel。
Angel是腾讯开源的大规模分布式机器学习平台，专注于稀疏数据高维模型的训练。目前Angel是Linux深度学习基金会孵化项目，相比于TensorFlow, PyTorch和Spark等业界同类平台，她有如下特点：
图1 Angel与业界主流平台的对比
Angel 3.0系统架构如图2所示。
图2 Angel 3.0架构
Angel自研的高性能数学库是整个系统的基础，Angel的PS功能和内置的算法内核均是在这个数学库基础之上实现的。
Angel PS提供了高效，稳定和灵活的参数存储和交换服务。在3.0版本中对Angel PS功能进行了扩展，使得它可以存储任意类型的对象，一个典型的例子是在图算法的实现过程中，使用Angel PS来存储了大量复杂的对象。
MLcore是Angel自研的一套算法内核，它支持自动求导，可以使用JSON配置文件定义和运行算法。除此之外，在3.0版本中，Angel还集成了PyTorch作为计算引擎。在计算引擎层之上是计算框架，它们可以看作计算引擎的容器，目前支持3种计算框架：原生的Angel，Spark On Angel（SONA）和PyTorch On Angel（PyTONA），这些计算框架可以使得Spark和PyTorch用户可以无缝切换到Angel平台。最上层是两个公共组件：AutoML和模型服务。
图3 Angel 3.0概览（红色的表示新增特性，白色的表示已有的但在持续改进的特性）
图3提供了一个Angel 3.0特性的整体视图。Angel 3.0试图打造一个全栈的机器学习平台，它的功能特性涵盖了机器学习的各个阶段：特征工程，模型训练，超参数调节和模型服务。
Angel的特征工程模块基于Spark开发，增强了Spark的特征选择功能，同时使用特征交叉和重索引实现了自动特征生成。这些组件可以无缝地整合进Spark的流水线。为了让整个系统更加的智能，Angel 3.0新增了超参数调节的功能，目前支持3种算法：随机搜索，网格搜索和贝叶斯优化。在模型服务方面，Angel 3.0提供了一个跨平台的组件Angel Serving， Angel Serving不仅可以满足Angel自身的需求，还可以为其他平台提供模型服务。
在生态方面，Angel也尝试将PS能力赋能给其他的计算平台，目前已经完成了Spark On Angel和PyTorch On Angel两个平台的建设。这两个平台各有优势和侧重， Spark On Angel使用的是Angel内置的算法核心，主要负责常见推荐领域的机器学习算法和基础图算法。PyToch On Angel使用PyTorch作为计算核心，主要负责推荐领域深度学习算法和图深度学习算法。
（一）自动特征工程
特征工程，例如特征交叉和选择，对于工业界的机器学习应用具有重要意义。Spark提供了一些特征选择算子，但是仍有一些局限性。Angel基于Spark提供了更多的特征选择算子：
大多数在线推荐系统经常选择线性算法，例如逻辑回归作为机器学习模型，但逻辑回归需要复杂的特征工程才能实现较高的精度，这使得自动特征合成至关重要。但是，现有的自动化的高阶特征合成方法带来了维度灾难。为了解决这个问题，Angel实现了一种迭代生成高阶合成特征的方法。每次迭代由两个阶段组成：
以下是迭代步骤：
图4 自动特征工程流程
如图4所示，这种特征合成方法线性地增加特征数量，避免了维度灾难。在Higgs数据集上的实验表明合成的特征能有效地提高模型精度（如表1所示）。
表 1 特征合成效果
（二）Spark On Angel (SONA)
在Angel 3.0中，团队对Spark On Angel做了大幅度的优化，添加了下面这些新的特性：
图5 Spark On Angel架构
除了这些大的特征，团队也在持续完善Spark On Angel的算法库：添加了一些新的算法，如：Deep & Cross Network (DCN) 和 Attention Factorization Machines (AFM)等；同时对已有的算法做了大量的优化，例如对LINE和K-Core算法进行了重构，重构后的算法性能和稳定性都有大幅度提升。
从图6中可以看出，Spark On Angel中的算法与Spark中的算法存在显著的不同，如：基于Spark On Angel的算法主要是针对推荐和图领域，然而Spark中的算法更通用。
图6 Spark与Spark On Angel算法比较
图7 Spark On Angel算法示例
图7 提供了一个基于Spark On Angel的分布式算法示例，主要包含以下步骤：
在训练完成后，Spark On Angel将会展示多种模型指标，如：准确率, ROC 曲线, AUC等。用户可以保存训练好的模型以便下次使用。
图8 Spark On Angel和TensorFlow性能比较
在两种流行的推荐算法Deep & Wide 和 DeepFM上使用了相同的资源和数据集比较了Spark On Angel和Tensorflow的性能。如图11所示，在Deep & Wide算法上Spark On Angel比Tensorflow快3倍，而在DeepFM算法上Tensorflow运行稍快一些。
（三）PyTorch On Angel（PyTONA）
PyTorch On Angel是Angel 3.0新增的特性，它主要是为了解决大规模图表示学习和深度学习模型训练问题。
在过去几年时间，图卷积神经网络（GNN）快速发展，一系列的研究论文以及相关的算法问世：例如GCN，GraphSAGE和GAT等，研究和测试结果表明，它们能够比传统图表示学习更好的抽取图特征。腾讯拥有庞大的社交网络（QQ和微信），同时拥有大量对图数据进行分析的需求，而图表示学习正是这些分析的基础，因此腾讯内部对GNN有着强烈的需求，这也是团队开发PyTorch On Angel的主要原因之一。
大规模图的表示学习面临着两个主要的挑战：第一个挑战来自于超大规模图结构的存储以及访问，这要求系统不仅能存得下，还需要提供高效的访问接口，例如需要提供高效的访问任意节点的两跳邻居的接口；第二个挑战来自于GNN计算过程，它需要有高效的自动求导模块。
通过对Angel自身状况以及对业界已有系统的分析，得到如下结论：
为了将两者的优势结合起来，基于Angel PS开发了PyTorch On Angel平台，基本思路是使用Angel PS来存储大模型，使用Spark来作为PyTorch的分布式调度平台，也就是在在Spark的Executor中调用PyTorch来完成计算。
PyTorch On Angel的架构如图9所示：
图9 PyTorch On Angel系统架构
PyTorch On Angel拥有3个主要的组件：
当然，这些细节都是封装好的，算法开发人员和用户并不需要了解。在PyTorch On Angel平台上开发新算法，只需要关注算法逻辑即可，与开发单机的PyTorch算法并没有太大区别。下面给出一个2层GCN算法的实现例子：
图10 在PyTorch On Angel上实现GCN的例子
算法开发完成后，将代码保存为pt文件，然后将pt文件提交给PyTorch On Angel平台就可以实现分布式训练了。
在PyTorch On Angel上也实现了许多算法：包括推荐领域常见的算法（FM，DeepFM，Wide & Deep，xDeepFM，AttentionFM， DCN和PNN等）和GNN算法（GCN和GraphSAGE）。在后续的版本迭代中，还会进一步丰富PyTorch On Angel的算法库。
由于结合了PyTorch和Angel的优点，PyTorch On Angel在算法性能方面有很大的优势：对于推荐领域常见的深度学习算法，性能可以达到TensorFlow的4倍以上；对于GNN算法，性能也远好于目前业界开源的同类型平台（具体的性能数据会在开源社区陆续公开）。下图是在公开的数据集criteo kaggle2014(4500万训练样本，100w特征)上做的对比测试：
图11 PyTorch On Angel和TensorFlow性能对比测试
除了性能方面的优势，PyTorch On Angel还有一个比较大的优势就是易用性好。如图12所示：PyTorch运行在Spark的Executor中，可以实现Spark图数据预处理和PyTorch模型训练的无缝对接，在一个程序中完成整个计算过程。
（四）自动超参数调节
传统超参数调节的方式有两种（如图12所示）：
图12 网格搜索和随机搜索
贝叶斯优化与传统的无模型方法不同，使用计算成本较低的代理函数（surrogate function）来近似原始目标函数。在贝叶斯优化中，代理函数生成超参数组合的概率均值和方差。然后，效用函数（acquisition function）将评估超参数组合的预期损失或改进。这样的概率解释方法使贝叶斯优化能够使用少得多的开销找到目标函数的较优解。
Angel 3.0包括传统的两种方法和贝叶斯算法优化。对贝叶斯优化，Angel实现了以下的功能：
由于每次评估目标函数的计算开销可能较大，如果观察到候选的超参数组合在开始的若干轮迭代中表现不佳，可以提前停止这些候选超参数组合。Angel 3.0版本中实现了这种早停策略。
表2是在逻辑回归算法的实验，调节的超参数是学习速度和学习速度衰减率，结果显示贝叶斯优化的性能优于随机搜索和网格搜索，而随机搜索的结果略优于网格搜索。
表2 不同超参数自动条件方法的效果对比
（五）Angel Serving
为了满足在生产环境中高效地进行模型服务的需求，在Angel 3.0中实现了Angel Serving子系统，它是一个可拓展性强、高性能的机器学习模型服务系统，是全栈式机器学习平台Angel的上层服务入口，使Angel生态能够形成闭环。图16展示了Angel Serving的架构设计。
图13 Angel Serving架构
Angel Serving主要特征包括：1）支持多种类型的API访问服务，包括gRPC和Restful 接口；2）Angel Serving是一个通用的机器学习服务框架，可插拔机制设计使得来自其他第三方机器学习平台的模型可以很容易使用Angel Serving来服务，目前已经支持三种平台的模型：Angel，PyTorch和支持PMML模型格式的平台（Spark、XGBoost等）；3）受TensorFlow Serving的启发，Angel Serving还提供细粒度版本控制策略：包括使用模型的最早，最新以及指定版本进行服务；4）Angel Serving还提供丰富的的模型服务监控指标，包括：
表3 Angel Serving和Tensorflow Serving性能对比
表3展示了Angel Serving和TensorFlow Serving性能对比结果，使用具有100万个特征的DeepFM模型，向服务发送100,000个预测请求。Angel Serving和TensorFlow Serving的总耗时分别为56秒和59秒。两个服务系统的平均响应时间都为2毫秒。Angel Serving的QPS是1,900，而TensorFlow Serving的QPS是1,800。上述结果表明Angel Serving与TensorFlow Serving性能相当，甚至更好。
如图14所示，在过去12个月，Angel在腾讯内部的任务数量有了非常明显的增长，增幅达到150%。值得一提的是，Spark On Angel的任务数增长了10倍，为了让Spark On Angel更加的易用，3.0版本对Spark On Angel做了大幅度升级。在腾讯内部，使用Angel的业务包括腾讯视频，腾讯新闻和微信等。
图14 腾讯内部Angel任务数
Angel官方维护了一个QQ群与外部开发者进行交流，对群用户的统计表明：
图15 Angel开源用户
Angel开源
图16 GitHub上Angel的统计信息以及Angel发表的论文
2017 年6 月，Angel 在Github 上低调开源。2018年9月，Angel 2.0版本发布，支持千亿级模型维度训练，同时算法库也更加丰富，首次引入了深度学习算法和图算法。
同年，Angel加入Linux旗下深度学习基金会（现已更名为LF AI 基金会(LF AI Foundation)），结合基金会成熟的运营，全面升级的Angel 2.0与国际开源社区继续深入互动，致力于让机器学习技术更易于上手研究及应用落地的目标。
目前在GitHub上Star数超过4200，Fork数超过1000。Angel项目目前总共有38为代码贡献者，其他包括8位committer，他们总共提交了超过2000个commit。
从1.0到3.0，Angel发生了巨大的变化，它从一个单一的模型训练平台发展到涵盖机器学习各个流程，包含自己生态的通用计算平台，代码量也超过了50万行。为了后续维护和使用的方便，Angel拆分成8个子项目，统一放在Angel-ML目录下（https://github.com/Angel-ML）：angel，PyTorch On Angel，sona，serving，automl，mlcore，math2和format，这些子项目会在下文详细介绍。
一：腾讯短视频推荐
图 17 短视频推荐数据处理流程
上图所示是腾讯短视频部门的一个使用案例。用户的视频播放日志和上下文信息被实时转发给Kafka，流数据引擎Storm订阅Kafka的数据。Storm是一个实时的特征生成器，它从一个离线的key-value存储中获得用户画像和视频信息，将两者拼接起来生成特征。生成的特征被传输到在线训练系统中来更新在线模型；同时，这些特征也被转存到HDFS作为离线训练的输入。离线模型通常用来初始化在线训练系统，当出现异常时，离线模型还可以用来重置在线系统。本案例用到的推荐算法是FM，训练样本24亿条，特征维度为63611，在Spark上训练耗时10多个小时，应用Angel后减少至1小时。
二：金融反欺诈
图 18 金融反欺诈数据处理流程
金融欺诈检测是大规模图学习的常见案例，其网络数据是异构的，包含几种不同类型的边：
金融诈骗者通常共享设备和Wi-Fi，通过扩展边缘关系生成社区。Angel上的fast unfolding算法可以有效地发现这些社区。下游的欺诈风险模型可以将这些社区的用户画像和网络特征作为输入来学习和推到反欺诈策略。该图数据包含15亿个节点和200亿条边，基于Spark GraphX的实现耗时20小时，而Angel仅需5小时。
本文主要介绍了Angel在腾讯内外的使用情况和3.0版本的新特性。
Angel 3.0新特性：
Angel在腾讯内外的使用情况：
(*本文为 AI科技大本营原创文章，转载请联系微信 1092722531)
