分布式表示学习
Contents
研究目标
- 基于PyTorch底层API,设计容纳翻译模型(Trans系列)的分布式表示学习算法,以支持大规模知识图谱分布式表示学习
- 权衡计算通信代价,优化训练过程,在准确率不降低(或少量降低)的前提下,减少训练时间,提升效率
- 在真实知识图谱(DBpedia,Wikidata等)上进行对比实验,验证算法的准确性、高效性和可扩展性
相关论文
综述:
模型:
- Translating Embeddings for Modeling Multi-relational Data (NIPS 2013)
- Knowledge Graph Embedding by Translating on Hyperplanes (AAAI 2014)
- Learning Entity and Relation Embeddings for Knowledge Graph Completion (AAAI 2015)
- Knowledge Graph Embedding via Dynamic Mapping Matrix (IJCNLP 2015)
- Differentiating Concepts and Instances for Knowledge Graph Embedding (EMNLP 2018)
系统:
- Scaling Distributed Machine Learning with the Parameter Server (OSDI 2014)
- 可扩展机器学习的并行与分布式优化算法综述 (软件学报 2017)
- Angel: a new large-scale machine learning system (National Science Review 2018)
- PYTORCH-BIGGRAPH: A LARGE-SCALE GRAPH EMBEDDING SYSTEM (SysML 2019)
- PSGraph: How Tencent trains extremely large-scale graphs with Spark? (ICDE 2020)
- AliGraph: A Comprehensive Graph Neural Network Platform (KDD 2019)
- PyTorch Distributed: Experiences on Accelerating Data Parallel Training (VLDB 2020)
- 图嵌入算法分布式优化 (软件学报 2020)
- EDGES: An Efficient Distributed Graph Embedding System on GPU clusters (TPDS 2020)
- DGL-KE: Training Knowledge Graph Embeddings at Scale (SIGIR 2020)
- TORCHKGE: KNOWLEDGE GRAPH EMBEDDING IN PYTHON AND PYTORCH (Arxiv 2020)
State of the art工作
- PyTorch-Biggraph
- PS-Graph
- Angel
基于参数服务器(Parameter Server)理念开发的高性能分布式机器学习和图计算平台,它基于腾讯内部的海量数据进行了反复的调优,并具有广泛的适用性和稳定性,模型维度越高,优势越明显。 Angel的核心设计理念围绕模型。它将高维度的大模型合理切分到多个参数服务器节点,并通过高效的模型更新接口和运算函数,以及灵活的同步协议,轻松实现各种高效的机器学习和图算法。 Angel基于Java和Scala开发,能在社区的Yarn上直接调度运行,并基于PS Service,支持Spark on Angel,集成了图计算和深度学习算法。 github
- AliGraph
- DGL-KE
工具包
国内外相关课题组
- 北京大学 崔斌教授组 : 主页链接