在线免费看片a欧美,午夜AV不卡网站在线播放,久久综合尹人77777,96国产在线分享

01 背景傳統(tǒng)基于神經(jīng)網(wǎng)絡(luò)的語音合成方法 TTS 已成為主流，技術(shù)相對也比較孟翼熟，但是需要大量音人的原始錄音數(shù)據(jù)，制成本相對較高。因此，少語音樣本的自定義 TTS 技術(shù)是語音合成領(lǐng)域的一大熱點子方向。由于極葛山據(jù)量的限制，工業(yè)學(xué)業(yè)界出多種方法來提高 TTS 合成效果。域自適應(yīng)的遷移學(xué)習(xí)雷祖一種較為主流的法，第一階段預(yù)訓(xùn)練產(chǎn)出音合成的基礎(chǔ)大模型，第階段基于少量數(shù)據(jù)在大模參數(shù)上進行自適應(yīng)，這種法能最大限度的還原發(fā)音格。在產(chǎn)品層面，隨著 TTS 技術(shù)的快速發(fā)展，自定義 TTS 逐漸成為智能助手越來越關(guān)注的方向它可以滿足用戶個性化的求，使用自己喜歡的音色行播報。但目前業(yè)界通常成自定義 TTS 的方式 (簡稱自定義 TTS1.0) 是需要用戶錄制多句指定文案的音頻 (通常 20 句左右), 生成相關(guān)音色，這種方式需要測周圍環(huán)境，指定錄制文，導(dǎo)致效率低和音色選擇的局限性。本文主要介紹是基于多算法融合的自定 TTS2.0 方案 (簡稱自定義 TTS2.0), 可以有效的提高用戶聲音合成效和山，滿足用戶性化的音色需求，同時也以給用戶帶來一定的驚喜。下圖展示 OPPO 小布助手的產(chǎn)品交互示例圖 (左圖為基于用戶數(shù)據(jù)的主動蛫薦，右圖為基于對話據(jù)的自定義 TTS 生成)。圖 1 自定義 TTS2.0 交互圖1.1 技術(shù)關(guān)鍵詞以下介紹一下定義 TTS2.0 方案中用到的一些關(guān)鍵技術(shù)。小樣本合成: 基于少量訓(xùn)練樣本就能建模的語音合技術(shù)，可以方便、快捷地每個用戶定制語音播報效?！裾Z音合成訓(xùn)推一體: 合成系統(tǒng)的訓(xùn)練和推理環(huán)緊密耦合在一起，可以快為海量用戶定制模型和服?！衤暭y比對: 通過發(fā)音人的語音與已存儲主發(fā)音模型進行置信度計算，最給出判決，以決策當(dāng)前發(fā)人身份是否于為主發(fā)音人●聲紋聚類: 通過對同一設(shè)備的多次交互數(shù)據(jù)涹山行份歸類，找出交互次數(shù)最的主發(fā)音人?！褚糍|(zhì)檢測: 通過對交互語音的分析，可以吉光量出語音信號的質(zhì)，比如: 噪聲干擾程度、發(fā)音的完整雷神、有效音長、內(nèi)容豐富度等。1.2 技術(shù)領(lǐng)先性作為業(yè)界首個于對話音頻的小樣本語音成技術(shù)在語音助手的實踐具備以下 5 點技術(shù)領(lǐng)先性:1.語音合成訓(xùn)練數(shù)據(jù)的自動化篩選，無需人工注，效果好且成本低。2.訓(xùn)練音頻樣本少，且音頻量相對一般的情況下，確合成質(zhì)量不降低。3.降低用戶主動配合錄音采集的本數(shù)量，提升用戶體驗。4.采用端云協(xié)同的訓(xùn)推一體化框柄山，可以大幅提升生音色的效率。5.采用大規(guī)模訓(xùn)練數(shù)據(jù)的端到端模型只針對用戶音色相關(guān)模塊行自適應(yīng)訓(xùn)練，可以確保樣本下的音色相似度，同確保合成效果的魯棒性。02 技術(shù)和落地實踐方案2.1 總體架構(gòu)圖 2 整體架構(gòu)圖從數(shù)據(jù)流處理的時性角度劃分，整體架構(gòu)以分為兩層: 在線計算和離線計算?！裨诰€孝經(jīng)算: 包括語音對話交互和語音報領(lǐng)域，主要是幫助用戶成語音對話，錄音訓(xùn)練和 TTS 播報功能；用戶在使用小布助手進行對話時首先通過 ASR 服務(wù)，把用戶語音轉(zhuǎn)換為文本，端的對話管理和 NLU 服務(wù) (自然語音理解) 完成對輸入文本的技能和圖識別，最終對應(yīng)技能服給到 NLP 結(jié)果返回給用戶側(cè)，完成一次對話交行為；用戶也可以主動在布助手個性化聲音模塊錄自己的聲音，并提交合成音任務(wù)。模型訓(xùn)練成功后TTS 播報服務(wù)則將需要播報的文本給到 TTS 引擎，生成音頻持續(xù)流式到客戶端進行播報?！耠x計算: 包括數(shù)據(jù)清洗和模型訓(xùn)練。首南史基于用戶大的對話音頻，采用大數(shù)據(jù)析能力，清洗和過濾出滿條件的音頻 (如音頻時長，文本長度，信噪比), 并獲取每條音頻的聲紋信。然后經(jīng)過聲紋聚類模型判別出該設(shè)備的主說話人最后綜合決策將主說話滿條件的多條對話音頻和用合成聲音時主動錄入的多音頻一起提交給模型訓(xùn)練模型訓(xùn)練成功后，推送給線 TTS 引擎服務(wù)使用。2.2 遇到的困難和挑戰(zhàn)在整個創(chuàng)猼訑形成到方案計以及落地過程中，遇到少問題和挑戰(zhàn)。其中比較鍵的問題有如下幾個:1.海量對話數(shù)據(jù)如何挑選出質(zhì)量滿足條件的音頻?小布助手的用戶群體大，涉及同年齡階層，不同地區(qū)方，不同說話習(xí)慣及使用場。比如孩童說話語速慢，音小。因此，在復(fù)雜的環(huán)和海量數(shù)據(jù)情況下，如何選滿足條件的音頻作為訓(xùn)數(shù)據(jù)，是面臨的第一個大戰(zhàn)。2.單設(shè)備存在多說話人情況下，如黑虎保證挑選訓(xùn)練音頻都是主說話人?通常單個手機設(shè)備是固定一用戶在使用，比較容易獲主說話人。不過我們分析現(xiàn)，存在大概 30% 以上手機有 2 個及以上的使用者。極端情況下，某設(shè)備多個用戶說話的占比相對均勻。同時在產(chǎn)品交上，我們?yōu)榱私档蛯τ脩?驗的影響，沒有增加用戶瑣的聲紋注冊流程。3.在云端資源有限下，如何滿海量用戶的聲音合成體驗?小布助手作為首個月活破 1.3 億的語音助手，用戶活躍高，對新號山性參與也比較高，這必將帶來大的請求。在云端服務(wù)器資有限情況下，既需要保證戶的聲音合成需求，又要障訓(xùn)練效率，降低用戶的待時長。2.3 解決的方案針對前文介紹題和挑戰(zhàn)我們通過分析交互習(xí)慣趨，兼顧運營成本，進行全路架構(gòu)方案的設(shè)計和優(yōu)化算法同學(xué)優(yōu)化性能和效果工程同學(xué)保障系統(tǒng)的高可和低成本，進而保障用戶驗。1.海量對話數(shù)據(jù)如何挑選高質(zhì)量音頻?用戶歷史語音交互數(shù)據(jù)因為包括菌狗量無效數(shù)據(jù)，整體語音質(zhì)遠低于用戶為聲音合成專錄制的語音質(zhì)量。為了提用戶音色的合成效果，必實現(xiàn)快速和準確地識別出效部分，并且，整個數(shù)據(jù)選流程需要全自動化，無人工干預(yù)和標注。為此，們制定了數(shù)據(jù)篩選規(guī)則，以下 6 個方面設(shè)定了閾值，從而保夫諸挑選出來的練音頻質(zhì)量?！褚纛l時長: 每條音頻時長大于一定時長。通過設(shè)定合適的鱄魚值穩(wěn)定時長的音頻，也會降對后續(xù)聲紋模型效果的挑?！裎谋鹃L度: 每條音頻語音識別出來的文本長度剔除文本較短的語音。單語音文本越長，最終模型練效果越好；通過限制文長度，帶來的另外一個好，就是降低噪音數(shù)據(jù)?！?速: 挑選語速適中的語音數(shù)據(jù)，史記常人說話是 2-3 字 / 秒。超過或者低于這個語速的數(shù)據(jù)也進剔除?！褚袅? 每條音頻計算的 RMS 值在 [-35dB,-10dB], 去掉低音量或者聲音較小的數(shù)據(jù)?！裰眯哦? 借鑒語音識別過程對無效數(shù)檢測算法，保留識別置信大于一定值的語音。置信越高，語音清晰和質(zhì)量越?！窬庉嬀嚯x: 經(jīng)過上述條件篩選的大批量?鳥據(jù)中需要再次去除掉重復(fù)度高相似語音，保留語義和文內(nèi)容有明顯差異的一批數(shù)。訓(xùn)練集差異性越好，語元素越豐富，訓(xùn)練效果也秀。圖 3 聲音篩選漏斗圖2.單設(shè)備存在多說話人情況下，如何保證挑講山的練音頻是主說話人?我們設(shè)計了通用的篩選和判定主話人的流程: 一、獲取每條音頻的聲紋特征值，二基于特征值進行聲音歸類三、判定主說話人并生成音庫?！袷紫龋覀兺ㄟ^紋算法能力，對用戶的每音頻提取聲紋表征。聲紋塊采用當(dāng)前主流的 ECAPA-TDNN 聲紋模型，并使用 Speechbrain 搭建訓(xùn)練系統(tǒng)。圖 4 說話人聚類流程●然后，通過聚?魚算法計算單設(shè)備的說話人群。聚類法種類繁多，比如適合較序列的聚合式分層聚類 (AHC), 需要設(shè)置類別數(shù)的 K-means、K-means++ 等；本方案采用谷歌 Turn-to-Diarize 系統(tǒng)適合中等長度序列的譜類算法，并且利用特征值最大間隔法來獲取準確估說話人的數(shù)量。圖 5 聚類結(jié)果示意圖●其次，采譜聚類加中心得分的方式取設(shè)備用戶語音交互最頻的人的最優(yōu)的多條音頻，音頻最終提供給語音合成型訓(xùn)練；如果聚類結(jié)果發(fā)多個用戶使用頻率差不多我們就將最近 2 個月使用次數(shù)最多的用戶作為主話人，然后挑選齊滿足條的多條音頻作為訓(xùn)練集。過聚類算法，我們可以確主說話人判定準確率達到 95%。●最后，為了提升計算速度和效率，實踐過中采用相關(guān)矩陣權(quán)重本身換拉普拉斯矩陣，并且去掉高斯模糊等優(yōu)化計算量最終效果每次聚類 200 條聲紋特征大約耗時 700ms 左右。3.在云端資源有限下，如何滿足量用戶的聲音合成體驗?圖 6 音色合成全流程●首先，我們建設(shè)了統(tǒng)一的灰服務(wù)，該服務(wù)可以動態(tài)控所有與音色合成特性有關(guān)入口和曝光量，也可以做一鍵放量和關(guān)閉?！衿浯?我們建立排隊機制和批處的方式，對突發(fā)流量進行峰填谷，避免對后端服務(wù)資源擠兌。參考后端集群量計算初始放量的用戶規(guī)，同時也構(gòu)建動態(tài)反饋機: 根據(jù)后端任務(wù)排隊、資源剩余等情況，及時反槐山流量控制服務(wù)進行綜合決，減少對用戶曝光和引流避免引發(fā)系統(tǒng)的“雪崩效”。對某批用戶放量前，通過離線分析任務(wù)提前對批用戶的歷史語音進行數(shù)清洗，篩選出符合條件的頻數(shù)據(jù)，做好數(shù)據(jù)準備。該用戶通過指令提交訓(xùn)練務(wù)后，就會觸發(fā)聲音合成程。用戶聲音合成 (自定義 TTS2.0) 包括三個階段: 預(yù)訓(xùn)練、在線訓(xùn)練、在線推理。1.預(yù)訓(xùn)練階段: 主要用于產(chǎn)出基礎(chǔ)模型，參數(shù)分布作為語合成的先驗分布態(tài)，降低型朝少量樣本數(shù)據(jù)域?qū)W習(xí)難度。該階段基于千人級萬小時級的語音數(shù)據(jù)訓(xùn)練魯棒性高的基礎(chǔ)模型。該礎(chǔ)模型屬于完全端到端模，共有 6 個模塊組成: 說話人編碼器、文本編碼器炎帝聲學(xué)編碼器、時長預(yù)器、雙向編碼器、聲碼器2.在線訓(xùn)練階段: 固定文本編碼器參數(shù)，訓(xùn)練其模塊，調(diào)整學(xué)習(xí)率防止過合及無法收斂現(xiàn)象。其中音頻對應(yīng)的文本通過語音別引擎識別獲得，并通過音合成前端獲得對應(yīng)的音序列。圖 7 自定義 TTS2.0 預(yù)訓(xùn)練和在線訓(xùn)練階段3.在線推理階段: 該階段加載固定的文本編碼器，以及在線訓(xùn)環(huán)狗階完成的其他模塊，跟進用輸入的播報文本和特定說人 ID, 輸出預(yù)測音頻，完成自定義 TTS 音頻的合成。圖 8 自定義 TTS2.0 在線推理階段●同時，為了降低長間等待對用戶體驗的影響我們根據(jù)單個模型訓(xùn)練時以及正在排隊任務(wù)數(shù)，計預(yù)期等待時間展示給用戶并且在聲音合成的訓(xùn)練任完成后，會主動推送消息知用戶，提升用戶的體驗●最后，建設(shè)了立體化監(jiān)系統(tǒng)，對每一條訓(xùn)練任務(wù)訓(xùn)練時間，排隊時間，訓(xùn)狀態(tài)進行統(tǒng)計和分析。可通過實時大盤，觀測到一因為系統(tǒng)異常情況導(dǎo)致的務(wù)耗時增加或失敗，并設(shè)告警及時通知相關(guān)方進行預(yù)，從而保障系統(tǒng)的順利行。03 實踐效果 / 價值我們對這兩個方案 (自定義 TTS1.0 方案和基于交互音頻的自定 TTS2.0 方案) 進行了 MOS 效果評測，結(jié)果表明方案 1.0 和方案 2.0 合成的聲音差異較小，評測數(shù)據(jù)靈恝。我們在優(yōu)化了 TTS 合成效率及音色豐富度上沒有太降低音色的合成效，依舊可以提供相對自定 TTS1.0 方案效果一致的音色，具有較強的效降本的價值。04 總結(jié)與展望本文系統(tǒng)性介紹雞山 OPPO 小布助手在用戶自定義 TTS 和提高用戶播報體驗方面做的一些作。主要圍繞語音清洗，說話人聚類，小樣本 TTS 合成技術(shù)進行了介紹，在工程實踐上節(jié)并著重介紹云端資源有限情況下的一降本增效的設(shè)計方法和理。通過數(shù)據(jù)分析，存在多角色使用同一臺設(shè)備交互情況，例如: 母子共用手機等。我們介紹了，單設(shè)存在多說話人情況下，采數(shù)據(jù)清洗和聲紋聚類的方，挑選出了主說話人的訓(xùn)音頻，但針這種多角色情，如何確保同時輸出高純的多說話人訓(xùn)練樣本，是來重點探索的方向。自定 TTS 未來方向是 0 句話合成 (Zero Shot TTS), 即不需要用戶專門錄制聲音僅依賴用戶歷史語音交互據(jù)，即可實現(xiàn)高自然度、相似度的語音合成效果。技術(shù)屬于低資源合成范疇因此我們將重點增強語音據(jù)自動過濾功能，增強高量數(shù)據(jù)的利用率，降低低量數(shù)據(jù)的利用率，并將用發(fā)音評測信息、聲紋信息于語音合成聯(lián)合建模，以提升低資源語音合成效果05 團隊介紹OPPO 小布助手團隊: 以小布助手為 AI 技術(shù)落地的關(guān)鍵載體，致力于提供多場、智慧有度的用戶體驗。布助手是 OPPO 智能手機和 IoT 設(shè)備上內(nèi)置的智能助手。作為多終、多模態(tài)、對話式的智能手，小布助手的技術(shù)覆蓋音識別、語義理解、對話成、知識問答系統(tǒng)、開放聊天、推薦算法、數(shù)字人多模態(tài)等多個核心領(lǐng)域，用戶提供更友好自然的人交互體驗。小布助手的技實力在技術(shù)創(chuàng)新及應(yīng)用上終保持領(lǐng)先，當(dāng)前已在多自然語言處理、語音識別關(guān)的行業(yè)權(quán)威賽事及榜單獲得亮眼成績。OPPO 分貝實驗室: 負責(zé)語音合成技術(shù)的突破領(lǐng)先，并在機應(yīng)用和各種 AIoT 場景的全面落地。語音合技術(shù)屬于 AI 原子能力，是人機交互的重要一環(huán)成立四年來，我們的合成術(shù)賦能 OPPO 軟硬服各業(yè)務(wù)線，滿足用戶在多場景下的播報需求。除了用合成提供 30 余款音色之外，我們還提供巫姑情合成、多風(fēng)格合成、多語合成、小樣本合成、離線成、語音變聲等能力，覆了 OPPO 絕大多數(shù)設(shè)備 (手機、手表、電視)。2020 年，Blizzard Challenge 國際評測中，我們獲得自然度第一、相似鱃魚第的成績。2021 年，我們的語音合成基礎(chǔ)能力獲信通院頒發(fā)的可信 AI 證書?