分布式表示学习

研究目标

1. 基于PyTorch底层API，设计容纳翻译模型（Trans系列）的分布式表示学习算法，以支持大规模知识图谱分布式表示学习
2. 权衡计算通信代价，优化训练过程，在准确率不降低（或少量降低）的前提下，减少训练时间，提升效率
3. 在真实知识图谱（DBpedia，Wikidata等）上进行对比实验，验证算法的准确性、高效性和可扩展性

相关论文

综述：

1. Knowledge Graph Embedding: A Survey of Approaches and Applications (TKDE 2017)

模型：

1. Translating Embeddings for Modeling Multi-relational Data (NIPS 2013)
2. Knowledge Graph Embedding by Translating on Hyperplanes (AAAI 2014)
3. Learning Entity and Relation Embeddings for Knowledge Graph Completion (AAAI 2015)
4. Knowledge Graph Embedding via Dynamic Mapping Matrix (IJCNLP 2015)
5. Differentiating Concepts and Instances for Knowledge Graph Embedding (EMNLP 2018)

系统：

1. Scaling Distributed Machine Learning with the Parameter Server (OSDI 2014)
2. 可扩展机器学习的并行与分布式优化算法综述 (软件学报 2017)
3. Angel: a new large-scale machine learning system (National Science Review 2018)
4. PYTORCH-BIGGRAPH: A LARGE-SCALE GRAPH EMBEDDING SYSTEM (SysML 2019)
5. PSGraph: How Tencent trains extremely large-scale graphs with Spark? (ICDE 2020)
6. AliGraph: A Comprehensive Graph Neural Network Platform (KDD 2019)
7. PyTorch Distributed: Experiences on Accelerating Data Parallel Training (VLDB 2020)
8. 图嵌入算法分布式优化 (软件学报 2020)
9. EDGES: An Efficient Distributed Graph Embedding System on GPU clusters (TPDS 2020)
10. DGL-KE: Training Knowledge Graph Embeddings at Scale (SIGIR 2020)
11. TORCHKGE: KNOWLEDGE GRAPH EMBEDDING IN PYTHON AND PYTORCH (Arxiv 2020)

State of the art工作

• PyTorch-Biggraph

github 教程 手册

• PS-Graph

• Angel

基于参数服务器（Parameter Server）理念开发的高性能分布式机器学习和图计算平台，它基于腾讯内部的海量数据进行了反复的调优，并具有广泛的适用性和稳定性，模型维度越高，优势越明显。 Angel的核心设计理念围绕模型。它将高维度的大模型合理切分到多个参数服务器节点，并通过高效的模型更新接口和运算函数，以及灵活的同步协议，轻松实现各种高效的机器学习和图算法。 Angel基于Java和Scala开发，能在社区的Yarn上直接调度运行，并基于PS Service，支持Spark on Angel，集成了图计算和深度学习算法。 github

• AliGraph

github

• DGL-KE

github 教程

工具包

1. PyTorch github 教程
2. OpenKE github
3. TorchKGE github
4. DGL github

国内外相关课题组

1. 北京大学 崔斌教授组 : 主页链接