本篇文章給大家分享的是有關(guān)如何實現(xiàn)圖神經(jīng)網(wǎng)絡(luò)在TTS中的應(yīng)用，小編覺得挺實用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

堅守“ 做人真誠 · 做事靠譜 · 口碑至上 · 高效敬業(yè) ”的價值觀，專業(yè)網(wǎng)站建設(shè)服務(wù)10余年為成都雨棚定制小微創(chuàng)業(yè)公司專業(yè)提供企業(yè)網(wǎng)站建設(shè)營銷網(wǎng)站建設(shè)商城網(wǎng)站建設(shè)手機網(wǎng)站建設(shè)小程序網(wǎng)站建設(shè)網(wǎng)站改版，從內(nèi)容策劃、視覺設(shè)計、底層架構(gòu)、網(wǎng)頁布局、功能開發(fā)迭代于一體的高端網(wǎng)站建設(shè)服務(wù)。

1. GNN 概念

1.1. 圖神經(jīng)網(wǎng)絡(luò)概念

1. G = {V, E}, 有向, 無向, 加權(quán), 非加權(quán), 同構(gòu), 異構(gòu)(不同結(jié)構(gòu)/意義的邊/點)

2. 為什么要用? 數(shù)據(jù)有非歐幾里的距離的信息含義

3. 歐幾里得距離: 比如識別貓圖片的 CNN, 就是可以通過簡單的距離就可以描述(不需要建邊)

4. 圖神經(jīng)網(wǎng)絡(luò): 學(xué)習(xí)一個包含鄰居節(jié)點信息的狀態(tài)特征(state embedding), 表征鄰居的就是邊, 有了邊, 也就升級成為了圖

1.2. GNN具體結(jié)構(gòu)

1. 引入迭代函數(shù) F, (最終可以讓圖穩(wěn)定狀態(tài), 也可以不穩(wěn)定, 流動是關(guān)鍵), H 就代表了 general 的圖的信息

2. 圖神經(jīng)網(wǎng)絡(luò)分為: 傳播步, 輸出步

3. loss 可以訓(xùn)練點的值, 邊的值, 并且邊的值和點的值都和整幅圖有信息溝通

2. GraphTTS-1

2.1. GraphTTS 的目標

1. 建模韻律

2. 與 NLP 引入復(fù)雜特征類似

3. 圖的結(jié)構(gòu)和專家知識對文本的分析一致, GNN 更合適

4. 直接替換原本 Encoder 結(jié)構(gòu)

2.2. GraphTTS 結(jié)構(gòu)

1. 定義文本中的點和邊: 英文字母是點, 虛擬點是詞點和句子點.   順序邊, 逆序邊, 父節(jié)點詞邊, 父節(jié)點句子邊

2. 與 # 標簽的區(qū)別就是, 利用結(jié)構(gòu)的便利, 顯示的使用了詞邊界信息

3. 代碼角度是, Encoder 中的 RNN 變 GCN, 有傳播步, 輸出步

3. GraphTTS-2

3.1. GAE

1. 保留 Tacotron 的 Encoder, 單獨設(shè)計 GAE 模塊建模語法與韻律的信息關(guān)系

2. GAE 的輸入是邊界信息 + 文本, 輸出作為 Attention 的 Memory(可以與 Encoded Output 拼接, 做一個信息殘差)

4. 兩個結(jié)構(gòu)的實驗結(jié)果

1. 使用圖, MOS 就會好

2. GGNN 比 GCN效果更好

3. 使用圖, attention 會容易錯, 所以 GAE 各方面都最好

4. 但事實上, GAE 模型中, GAE 模塊天然結(jié)構(gòu)和 input 利于捕捉韻律信息, 同時和 Encoder 一起表示發(fā)音信息, 其實不是特征解耦的思路, 而是一個 post-net 殘差的思路, 多了這個結(jié)構(gòu), 強化下就可

5. 疑惑

style sequence 和 style embedding 在哪里拼接到 Encoder 的特征上

6. GraphSpeech

6.1 核心工作

1. Relation Encoder, 建模兩個單詞的語法關(guān)系, 表征他們的語法依存樹 -> 語法依存圖(單向邊變成雙向, 并且權(quán)重不同); 圖中節(jié)點之間的最短路徑代表兩個單詞的關(guān)系(因為距離是差距的直觀度量); 單詞之間的距離確定了(自己與自己建一條 self 邊), char 級別就是所屬單詞之間的距離. 最終可以得到任意兩個字之間的依存關(guān)系 (N * N - 1)  個序列, Rij, Rii -> Cij, Cii;  N * N - 1 個序列 N * N-1通過 同一個Bi-GRU, 計算出來 Cij

2. Graph Encoder, 把 Transformer 改進為基于語法來做一個 Attention, Cij 改進 dot-score 或者 add-score; 相當于更精準的 Positional Encoding

7. Idea

7.1 GCN 在 TTS 中的簡化

根據(jù)逸軒的思路, 逸軒想要用 GCN 直接使用詞依存關(guān)系, phoneme + bert_out + 依存關(guān)系 -> linguistic feature (但是這種方式比GraphSpeech更難, 是訓(xùn)練不出來的)

只有詞父節(jié)點信息的 GCN 就已經(jīng)不好調(diào)了, 因此這種方法需要簡化 GCN 的結(jié)構(gòu)和權(quán)重

1. 確定邊的總類, 再確定同一類下共享邊(相同邊)是哪些, 由于文本的語法依存很規(guī)則, 很統(tǒng)一, 可以利用這個來簡化圖神經(jīng)網(wǎng)絡(luò)的 edge weights

2. 詞的詞性也要體現(xiàn)在 node 上, 有一定 dim 的共享

3. 這個可以叫 TTS-Simplify-GCN, 類比于 TTS 的 Attention 并不需要那么強大

8. 實現(xiàn)細節(jié)

8.1. GNN 庫

1. PyG

2. DGL

以上就是如何實現(xiàn)圖神經(jīng)網(wǎng)絡(luò)在TTS中的應(yīng)用，小編相信有部分知識點可能是我們?nèi)粘９ぷ鲿姷交蛴玫降摹ＯＭ隳芡ㄟ^這篇文章學(xué)到更多知識。更多詳情敬請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

當前文章：如何實現(xiàn)圖神經(jīng)網(wǎng)絡(luò)在TTS中的應(yīng)用
網(wǎng)頁地址：http://jinyejixie.com/article10/jjpodo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、搜索引擎優(yōu)化、用戶體驗、定制開發(fā)、電子商務(wù)、自適應(yīng)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)