該模型在編碼器和解碼器中使用梅爾編碼器了一系列標準梅爾編碼器的Transformer自注意力“塊”為了產(chǎn)生輸出標記序列梅爾編碼器，該模型使用貪婪自回歸解碼輸入一個輸入序列梅爾編碼器，將預測出下一個出現(xiàn)概率最高的輸出標記附加到該序列中，并重復該過程直到結束 MT3使用梅爾頻譜圖作為輸入對于輸出，作者構建了一個受MIDI規(guī)范啟發(fā)的token詞匯；#160 #160 最近在實踐語音文件神經(jīng)網(wǎng)絡自動編碼器encoder時一直創(chuàng)建語音文件不成功，經(jīng)過幾天學習發(fā)現(xiàn)進入了一個誤區(qū)，輸入神經(jīng)網(wǎng)絡的數(shù)據(jù)不能是原始的wav文件數(shù)據(jù)samples，而是應該做特征工程，提取梅爾語譜圖下面是摘抄的一些關鍵信息，然后在此基礎上在此訓練encoder#160#160#160#160。

TTS的核心組件包括文本處理聲學模型和聲碼器文本處理模塊接收文本輸入，提取語言學特征，如音素，并將其傳遞給聲學模型聲學模型進一步解析為聲學特征，如梅爾譜，然后傳遞給聲碼器聲碼器將聲學特征轉換為波形文件，實現(xiàn)文本到語音的轉換在深度學習的背景下，TTS模型的架構變得更為復雜且高效一個；特征提取從預處理后的音頻中提取特征，常用的特征包括梅爾頻譜系數(shù)Melfrequency cepstral coefficients， MFCC等模型訓練使用深度學習模型，如循環(huán)神經(jīng)網(wǎng)絡Recurrent Neural Network， RNN或變分自編碼器Variational Autoencoder， VAE，對提取的特征進行訓練可以采用監(jiān)督學習的方式，將輸入的特征與。

Tacotron模型通過文本輸入，經(jīng)過編碼器和解碼器結構，輸出Mel Spectrogram，再使用GriffinLim算法生成波形模型包含預處理層CBHG模塊和解碼器，其中預處理層通過減少計算量提升模型泛化能力，CBHG模塊用于高層次特征提取，解碼器則結合注意力機制和上下文向量生成Mel譜Tacotron2是在2017年由Google Brain提出。

梅爾編碼器與亨士樂的區(qū)別

1、文本音素首先通過編碼器獲得編碼輸出，為適應解碼器輸入長度，模型引入了長度調節(jié)器，通過智能填充使編碼輸出長度與梅爾譜圖一致論文采用1D卷積代替了Transformer中的全連接網(wǎng)絡，這一設計基于音素和梅爾譜圖序列中相鄰隱藏狀態(tài)更緊密相關的原則長度調節(jié)器設計進一步細化，通過預測每個向量的復制次數(shù)實現(xiàn)。

2、DurIAN架構的輸入是文本序列，輸出是梅爾頻譜圖DurIAN的架構如上圖所示，其中包括編碼器的輸入是文本韻律符號序列 ，輸出是隱狀態(tài)序列 ，其中 是包括輸入文本和韻律的序列的長度， 是不包含韻律信息的輸入文本的長度時長預測模型的作用是預測每個音素的發(fā)聲時長，輸入是音素序列以及對應時長，輸出。

3、字節(jié)的序列表示計算機中的字符，通過編碼統(tǒng)一處理不同的語言，實現(xiàn)語言無關性獲取語音特征的方法從簡單到復雜依次是波形頻譜圖濾波器輸出和梅爾頻率倒譜系數(shù)MFCC波形是原始音頻信號，頻譜圖顯示音頻的頻率成分，濾波器輸出提供頻率的加權表示，而MFCC是用于語音識別的標準化和壓縮特征語音識別網(wǎng)絡。

梅爾編碼器型號

wav2vec通過無監(jiān)督學習方式，為語音識別提供了一種有效的表示方法，這類表示可用于語音活動檢測AST情感識別等任務它利用噪聲對比學習的方法，預測給定音頻信號未來某些采樣點，通過將每個采樣點轉化為向量表示，再基于此預測某個后續(xù)采樣點，以此訓練模型模型包括兩個網(wǎng)絡編碼器網(wǎng)絡用于將輸入音頻。