課程簡介
之前深度學(xué)習(xí)主要關(guān)注例如文字的序列結(jié)構(gòu)、例如圖片的平面結(jié)構(gòu),現(xiàn)在處理這些數(shù)據(jù)的做法也比較成熟,關(guān)注序列任務(wù)的NLP領(lǐng)域多用RNN、Transformer、CNN對數(shù)據(jù)進(jìn)行Encoder,而關(guān)注平面結(jié)構(gòu)的CV領(lǐng)域更多使用CNN及其各種變體對數(shù)據(jù)進(jìn)行Encoder。在現(xiàn)實(shí)世界中更多的數(shù)據(jù)表示并不是序列或者平面這種簡單的排列,而是表現(xiàn)為更為復(fù)雜的圖結(jié)構(gòu),如社交網(wǎng)絡(luò)、商品-店鋪-人之間的關(guān)系、分子結(jié)構(gòu)等等。
圖(graph)是一個(gè)非常常用的數(shù)據(jù)結(jié)構(gòu),現(xiàn)實(shí)世界中很多很多任務(wù)可以描述為圖問題,比如社交網(wǎng)絡(luò),蛋白體結(jié)構(gòu),交通路網(wǎng)數(shù)據(jù),以及很火的知識圖譜等,甚至規(guī)則網(wǎng)格結(jié)構(gòu)數(shù)據(jù)(如圖像,視頻等)也是圖數(shù)據(jù)的一種特殊形式,因此圖是一個(gè)很值得研究的領(lǐng)域。
目標(biāo)收益
1. 從基礎(chǔ)開始,理解圖數(shù)據(jù)結(jié)構(gòu)特點(diǎn)和特征向量表示
2. 了解圖的應(yīng)用領(lǐng)域和應(yīng)用方法
3. 由淺入深學(xué)習(xí)圖神經(jīng)網(wǎng)絡(luò)的構(gòu)建、分類
4. 掌握圖神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和訓(xùn)練方法
5. 以GNN為基礎(chǔ)學(xué)習(xí)知識圖譜的表示和推理
6. 進(jìn)階學(xué)習(xí)圖生成網(wǎng)絡(luò)、圖對抗訓(xùn)練和圖模型的規(guī)?;?/p>
培訓(xùn)對象
對GNN算法原理和應(yīng)?感興趣,具有?定編程(Python)和數(shù)學(xué)基礎(chǔ)(線性代數(shù)、微積分、概率論)的技術(shù)?員。
課程大綱
圖和圖神經(jīng)?絡(luò)發(fā)展 |
1.1.為何需要圖 復(fù)習(xí)/了解圖數(shù)據(jù)結(jié)構(gòu),以及如何在圖數(shù)據(jù)上應(yīng)?機(jī)器學(xué)習(xí) 1.2.圖神經(jīng)?絡(luò)應(yīng)? 介紹圖神經(jīng)?絡(luò)的應(yīng)?場景和?式 1.3.圖的表示 Graph Representation |
圖神經(jīng)?絡(luò)基礎(chǔ) |
2.1.傳統(tǒng)基于特征的?法:節(jié)點(diǎn) 2.2.傳統(tǒng)基于特征的?法:邊 2.3.傳統(tǒng)基于特征的?法:圖 |
圖嵌?向量 Graph Embedding |
3.1.節(jié)點(diǎn)嵌?向量 Node Embeddings 3.2.節(jié)點(diǎn)嵌?的隨機(jī)游??法 Random walk approaches for node embeddings 3.3.圖整體的嵌?向量 Embedding entire graphs |
使?矩陣?具研究圖 |
4.1.PageRank:問題和?案 4.2.PageRank:如何解決 4.3.帶重啟的隨機(jī)遍歷 Random walk with restarts 4.4.矩陣分解和節(jié)點(diǎn)嵌? Matrix factorizing and node embedding |
圖神經(jīng)?絡(luò)預(yù)備 |
5.1.消息傳遞和節(jié)點(diǎn)分類 Message passing and node classification 5.2.關(guān)系和迭代分類 Relational and iterative classification5.3.集體分類 Collective classification |
圖神經(jīng)?絡(luò)?? |
6.1.圖神經(jīng)?絡(luò)介紹 6.2.深度學(xué)習(xí)基礎(chǔ) 6.3.圖的深度學(xué)習(xí) Deep learning for graph |
圖神經(jīng)?絡(luò)概述 |
7.1.對GNN的?般觀點(diǎn) 7.2.單層GNN A single layer of a GNN 7.3.多層GNN Stacking layers of a GNN |
圖神經(jīng)?絡(luò)設(shè)計(jì)和訓(xùn)練 |
8.1.GNN的圖擴(kuò)展 Graph augmentation for GNNs 8.2.訓(xùn)練圖神經(jīng)?絡(luò) 8.3.?圖神經(jīng)?絡(luò)作預(yù)測任務(wù) Setting up GNN prediction tasks |
圖神經(jīng)?絡(luò)理論 |
9.1.圖神經(jīng)?絡(luò)的表達(dá)? How expressive are GNN 9.2.如何設(shè)計(jì)強(qiáng)表達(dá)?圖神經(jīng)?絡(luò) |
知識圖譜 |
10.1.異構(gòu)和知識圖譜嵌? Heterogeneous and knowledge graph embedding 10.2.知識圖譜KG完全?法 Knowledge graph KG completion 10.3.多種知識圖譜完全?法 Knowledge graph completion |
知識圖譜推理 |
11.1.在知識圖譜上進(jìn)?推理 Reasoning in knowledge graphs 11.2.回答預(yù)測性查詢 Answering predictive queries 11.3.在知識圖譜上進(jìn)? Query2box 推理 Query2box reasoning over KGs |
?圖問題 |
12.1.快速神經(jīng)?圖匹配和計(jì)數(shù) Fast Neural Subgraph Matching & Counting 12.2.神經(jīng)?圖匹配 Neural subgraph matching 12.3.查找頻繁?圖 Finding Frequent Subgraphs |
?絡(luò)社區(qū) |
13.1.?絡(luò)中的社區(qū)檢測 Community Detection in Networks 13.2.?絡(luò)中的社區(qū) Network Communities 13.3.Louvain 算法 13.4.檢測重疊社區(qū) detecting overlapping communities |
圖?成模型 |
14.1.圖?成模型介紹 Generative Models for Graphs14.2.Erdos Renyi隨機(jī)圖 Erdos Renyi Random Graphs 14.3.?世界模型 The small world model 14.4.Kronecker 圖模型 |
深度圖?成模型 |
15.1.深度圖?成模型 Deep generative models for graphs 15.2.圖 RNN ?成逼真的圖 Graph RNN Generating Realistic Graphs 15.3.規(guī)?;驮u估圖?成 Scaling up and Evaluating Graph Gen 15.4.深度圖?成模型應(yīng)? |
圖模型的局限性和對抗訓(xùn)練 |
16.1.圖模型的局限性 16.2.節(jié)點(diǎn)位置感知的圖神經(jīng)?絡(luò) Position aware GNN 16.3.身份感知的圖神經(jīng)?絡(luò) Identity-Aware Graph Neural Networks 16.4.圖神經(jīng)?絡(luò)的健壯性(相對于對抗攻擊) Robustness of Graph Neural Networks |
圖模型的規(guī)?;? |
17.1.將圖形神經(jīng)?絡(luò)擴(kuò)展到?圖 Scaling up Graph Neural Networks to Large Graphs 17.2.GraphSAGE 鄰?采樣 GraphSAGE Neighbor Sampling 17.3.集群 GCN 規(guī)?;瘓D神經(jīng)?絡(luò) Cluster GCN Scaling up GNNs 17.4.通過簡化圖神經(jīng)?絡(luò)實(shí)現(xiàn)規(guī)?;?Scaling up by Simplifying GNNs |
圖和圖神經(jīng)?絡(luò)發(fā)展 1.1.為何需要圖 復(fù)習(xí)/了解圖數(shù)據(jù)結(jié)構(gòu),以及如何在圖數(shù)據(jù)上應(yīng)?機(jī)器學(xué)習(xí) 1.2.圖神經(jīng)?絡(luò)應(yīng)? 介紹圖神經(jīng)?絡(luò)的應(yīng)?場景和?式 1.3.圖的表示 Graph Representation |
圖神經(jīng)?絡(luò)基礎(chǔ) 2.1.傳統(tǒng)基于特征的?法:節(jié)點(diǎn) 2.2.傳統(tǒng)基于特征的?法:邊 2.3.傳統(tǒng)基于特征的?法:圖 |
圖嵌?向量 Graph Embedding 3.1.節(jié)點(diǎn)嵌?向量 Node Embeddings 3.2.節(jié)點(diǎn)嵌?的隨機(jī)游??法 Random walk approaches for node embeddings 3.3.圖整體的嵌?向量 Embedding entire graphs |
使?矩陣?具研究圖 4.1.PageRank:問題和?案 4.2.PageRank:如何解決 4.3.帶重啟的隨機(jī)遍歷 Random walk with restarts 4.4.矩陣分解和節(jié)點(diǎn)嵌? Matrix factorizing and node embedding |
圖神經(jīng)?絡(luò)預(yù)備 5.1.消息傳遞和節(jié)點(diǎn)分類 Message passing and node classification 5.2.關(guān)系和迭代分類 Relational and iterative classification5.3.集體分類 Collective classification |
圖神經(jīng)?絡(luò)?? 6.1.圖神經(jīng)?絡(luò)介紹 6.2.深度學(xué)習(xí)基礎(chǔ) 6.3.圖的深度學(xué)習(xí) Deep learning for graph |
圖神經(jīng)?絡(luò)概述 7.1.對GNN的?般觀點(diǎn) 7.2.單層GNN A single layer of a GNN 7.3.多層GNN Stacking layers of a GNN |
圖神經(jīng)?絡(luò)設(shè)計(jì)和訓(xùn)練 8.1.GNN的圖擴(kuò)展 Graph augmentation for GNNs 8.2.訓(xùn)練圖神經(jīng)?絡(luò) 8.3.?圖神經(jīng)?絡(luò)作預(yù)測任務(wù) Setting up GNN prediction tasks |
圖神經(jīng)?絡(luò)理論 9.1.圖神經(jīng)?絡(luò)的表達(dá)? How expressive are GNN 9.2.如何設(shè)計(jì)強(qiáng)表達(dá)?圖神經(jīng)?絡(luò) |
知識圖譜 10.1.異構(gòu)和知識圖譜嵌? Heterogeneous and knowledge graph embedding 10.2.知識圖譜KG完全?法 Knowledge graph KG completion 10.3.多種知識圖譜完全?法 Knowledge graph completion |
知識圖譜推理 11.1.在知識圖譜上進(jìn)?推理 Reasoning in knowledge graphs 11.2.回答預(yù)測性查詢 Answering predictive queries 11.3.在知識圖譜上進(jìn)? Query2box 推理 Query2box reasoning over KGs |
?圖問題 12.1.快速神經(jīng)?圖匹配和計(jì)數(shù) Fast Neural Subgraph Matching & Counting 12.2.神經(jīng)?圖匹配 Neural subgraph matching 12.3.查找頻繁?圖 Finding Frequent Subgraphs |
?絡(luò)社區(qū) 13.1.?絡(luò)中的社區(qū)檢測 Community Detection in Networks 13.2.?絡(luò)中的社區(qū) Network Communities 13.3.Louvain 算法 13.4.檢測重疊社區(qū) detecting overlapping communities |
圖?成模型 14.1.圖?成模型介紹 Generative Models for Graphs14.2.Erdos Renyi隨機(jī)圖 Erdos Renyi Random Graphs 14.3.?世界模型 The small world model 14.4.Kronecker 圖模型 |
深度圖?成模型 15.1.深度圖?成模型 Deep generative models for graphs 15.2.圖 RNN ?成逼真的圖 Graph RNN Generating Realistic Graphs 15.3.規(guī)?;驮u估圖?成 Scaling up and Evaluating Graph Gen 15.4.深度圖?成模型應(yīng)? |
圖模型的局限性和對抗訓(xùn)練 16.1.圖模型的局限性 16.2.節(jié)點(diǎn)位置感知的圖神經(jīng)?絡(luò) Position aware GNN 16.3.身份感知的圖神經(jīng)?絡(luò) Identity-Aware Graph Neural Networks 16.4.圖神經(jīng)?絡(luò)的健壯性(相對于對抗攻擊) Robustness of Graph Neural Networks |
圖模型的規(guī)模化 17.1.將圖形神經(jīng)?絡(luò)擴(kuò)展到?圖 Scaling up Graph Neural Networks to Large Graphs 17.2.GraphSAGE 鄰?采樣 GraphSAGE Neighbor Sampling 17.3.集群 GCN 規(guī)?;瘓D神經(jīng)?絡(luò) Cluster GCN Scaling up GNNs 17.4.通過簡化圖神經(jīng)?絡(luò)實(shí)現(xiàn)規(guī)模化 Scaling up by Simplifying GNNs |