總部動(dòng)態(tài) 子公司動(dòng)態(tài)

AI語音交互新維度：金科湯姆貓投資的西湖心辰旗下「心辰Lingo」的全面能力探索

2024.08.21

數(shù)字化時(shí)代語音技術(shù)已成為人機(jī)交互的重要橋梁，從簡(jiǎn)單的文本到語音轉(zhuǎn)換到復(fù)雜的端到端語音交互系統(tǒng)，技術(shù)的進(jìn)步不斷推動(dòng)著我們與機(jī)器溝通方式的革新。

金科湯姆貓投資的西湖心辰旗下心辰Lingo端到端語音大模型自問世以來，迅速吸引了公眾和行業(yè)媒體的廣泛關(guān)注。大家關(guān)心的莫過于端到端的語音技術(shù)與TTS最大的差異在哪，是否真的像傳聞中那樣神奇，又會(huì)對(duì)大眾的工作生活會(huì)產(chǎn)生什么樣的影響。

端到端語音技術(shù)：心辰Lingo三大核心優(yōu)勢(shì)

TTS是一種將書面文本轉(zhuǎn)換為口語化語音的技術(shù)，它使得機(jī)器能夠“說話”，雖然解決了語音輸出的問題，但它并不涉及語音識(shí)別與對(duì)話理解。

端到端語音大模型則是一種更為全面的技術(shù)，它不僅可以語音識(shí)別，還集成了自然語言處理、意圖識(shí)別、對(duì)話管理以及語音合成等多個(gè)環(huán)節(jié)，實(shí)現(xiàn)了從語音輸入到語音反饋的完整交互過程，極大地豐富了人機(jī)交互的深度和廣度。

心辰Lingo端到端語音大模型，作為國內(nèi)首個(gè)能力追齊GPT-4o語音能力的模型，技術(shù)能力上具備以下三個(gè)顯著特點(diǎn)：

原生的語音理解：作為端到端模型，心辰Lingo不僅能夠識(shí)別語音中的文字信息，還能精確捕捉其他重要特征，如情感、語氣、音調(diào)，甚至環(huán)境音，幫助模型更全面地理解語音內(nèi)容，從而提供更加自然和生動(dòng)的交互體驗(yàn)。

多種語音風(fēng)格表達(dá)：心辰Lingo可以根據(jù)上下文和用戶指令，自適應(yīng)調(diào)整語音的速度、高低、噪聲強(qiáng)度，并能夠生成對(duì)話、歌唱、相聲等多種風(fēng)格的語音響應(yīng)，有效提升了模型在不同應(yīng)用場(chǎng)景下的靈活性和適應(yīng)性。

語音模態(tài)超級(jí)壓縮：心辰Lingo采用具有數(shù)百倍壓縮率的語音編解碼器，能夠?qū)⒄Z音壓縮至極短的長度，在顯著降低計(jì)算和存儲(chǔ)成本的同時(shí)幫助模型生成高質(zhì)量語音內(nèi)容。

技術(shù)賦能應(yīng)用：Lingo多場(chǎng)景多領(lǐng)域探索

基于上述的能力特質(zhì)，心辰Lingo完全可以替代現(xiàn)有TTS的應(yīng)用場(chǎng)景，并且給出更優(yōu)質(zhì)正向的互動(dòng)反饋。以智能家居為例，當(dāng)前的智能音箱多數(shù)調(diào)用TTS技術(shù)，只能聽取語音指令并執(zhí)行。

想象一下，當(dāng)你在廚房忙碌時(shí)，環(huán)境噪聲使得智能音箱播放的音樂及其他訊息變得難以聽清，你必須大聲呼喊去下達(dá)提高音量的指令，也許還會(huì)出現(xiàn)指令識(shí)別錯(cuò)誤或者失敗的情況。

那么同樣的情況發(fā)生在心辰Lingo身上，它會(huì)怎么做？

無需下達(dá)指令，心辰Lingo可以智能識(shí)別廚房的嘈雜環(huán)境，并自動(dòng)提高音量，甚至?xí)鲃?dòng)跟你溝通，是否需要再調(diào)整音量以滿足個(gè)性化需求，確保你能聽清且不錯(cuò)過有用訊息。一旦環(huán)境重新歸于寧靜，它又會(huì)自動(dòng)降低音量，為你提供舒適的聽覺體驗(yàn)。

心辰Lingo的落地場(chǎng)景遠(yuǎn)不止這一點(diǎn)，端到端語音技術(shù)正以其強(qiáng)大的交互能力和智能化處理方式，不斷地拓展在各行各業(yè)的應(yīng)用邊界。

具身智能融合

心辰Lingo可以扮演不同的助手角色，根據(jù)用戶的需求和指令，提供個(gè)性化的語音服務(wù)。當(dāng)其與具身智能技術(shù)的深度融合，心辰Lingo的潛力將得到全面釋放，智能機(jī)器人的溝通理解能力也能得到躍升。

當(dāng)你說“地好像有些臟了”，掃地機(jī)器人便會(huì)主動(dòng)出擊迅速打掃地面；而當(dāng)你說“今天的陽光好刺眼”，智能窗簾控制器也能及時(shí)響應(yīng)，自動(dòng)調(diào)整遮光簾。無需復(fù)雜的指令，借助心辰Lingo的能力，智能機(jī)器也能像只貼心的“蛔蟲”，敏銳捕捉到您語音背后的意圖，帶來真正無感的智能家居體驗(yàn)，讓您在享受智能生活帶來的便捷之余，更能感受到科技的溫情與貼心。

心理療愈

在心理健康應(yīng)用中，心辰Lingo可以根據(jù)用戶的情感狀態(tài)，模擬“朋友”以及“親人”的溝通方式，通過定制語音提供安慰和鼓勵(lì)，幫助你緩解壓力和焦慮；也可以模擬心理咨詢師，用專業(yè)且溫暖的態(tài)度與你進(jìn)行語音交流，提供傾聽、理解和引導(dǎo)，幫助你走出情緒低谷。

客戶服務(wù)

在客戶服務(wù)場(chǎng)景中，心辰Lingo卓越的即時(shí)響應(yīng)能力，能確保在與用戶交流時(shí)提供無任何體感延時(shí)的語音服務(wù)。它不依賴于傳統(tǒng)的決策樹結(jié)構(gòu)，避免了因未預(yù)見情況而導(dǎo)致的響應(yīng)障礙，無論用戶提出何種問題，Lingo都能憑借其先進(jìn)的算法和強(qiáng)大的語言理解能力，提供恰當(dāng)且及時(shí)的答復(fù)。

當(dāng)然它也能精準(zhǔn)識(shí)別客戶煩躁、生氣、高興、舒緩等不同情緒，快速地調(diào)整語音語調(diào)、聲音大小，以提供更具人性化和同理心的語音服務(wù)。

兒童教育

兒童陪伴與教育是最考驗(yàn)?zāi)Ｐ湍芰Φ模⒆犹祚R行空的想象力和并不完善的語義表達(dá)都增加了人機(jī)溝通的難度。

但這難不倒咱們聰慧的Lingo，它可以通過分析上下文、語氣、語調(diào)等深入理解兒童語音內(nèi)容，圍繞“愛商教育”理念，以積極的鼓勵(lì)和表揚(yáng)與孩子們建立情感聯(lián)系，激發(fā)他們的表達(dá)能力。此外它還能用說唱的方式來講述故事情節(jié)與知識(shí)，增加學(xué)習(xí)的趣味性和吸引力，真正做到寓教于樂。

歲月檔案

人類大腦的存儲(chǔ)空間是有限的，有些記憶經(jīng)歷歲月的洗禮便會(huì)被遺忘。心辰Lingo作為端到端AI語音大模型，具備長期記憶的能力，能為你提供記憶無限存儲(chǔ)服務(wù)。

只要你跟它聊過相關(guān)話題，它便會(huì)幫你記錄存檔，有需要時(shí)可隨時(shí)提取。若將這些記憶數(shù)據(jù)與AI克隆復(fù)活技術(shù)相結(jié)合，便能讓永遠(yuǎn)無法再見面的親友與你同頻“交流”完全成為現(xiàn)實(shí)。它擁有你們之間共同的回憶，能更好地與你共情對(duì)話。

從智能家居到醫(yī)療健康，從客戶服務(wù)到教育輔助，再到記憶存檔，端到端語音系統(tǒng)正以其便捷性、高效性和個(gè)性化服務(wù)，引領(lǐng)人機(jī)交互進(jìn)入一個(gè)全新的時(shí)代。隨著技術(shù)的不斷成熟和創(chuàng)新，我們可以預(yù)見，該技術(shù)將在未來的智能世界中扮演更加核心和關(guān)鍵的角色，為人們的生活和工作帶來更多的便利和可能。

心辰Lingo端到端語音大模型的問世，是心辰在語音技術(shù)領(lǐng)域深耕細(xì)作的成果，也是我們探索智能語音應(yīng)用的一次重要里程碑。我們堅(jiān)信，這只是心辰在語音技術(shù)領(lǐng)域創(chuàng)新旅程的起點(diǎn)。未來，心辰將繼續(xù)與各界合作伙伴攜手并進(jìn)，深化合作，以期為人類社會(huì)的發(fā)展貢獻(xiàn)更多的智慧和力量。

上線預(yù)告

9月5日

inclusion·外灘大會(huì)

心辰Lingo端到端語音大模型將正式上線！

開放試用申請(qǐng)！

不見不散！

上一篇：開啟人機(jī)交互新紀(jì)元！金科湯姆貓投資的西湖心辰旗下「心辰Lingo」語音大模型即將上線下一篇：金科湯姆貓?jiān)俣壬习瘛?024胡潤中國元宇宙潛力企業(yè)榜”