產(chǎn)品概述
智能語(yǔ)音調(diào)度系統(tǒng)由智能語(yǔ)音機(jī)器人、智能語(yǔ)音調(diào)度系統(tǒng)、系統(tǒng)應(yīng)用服務(wù)器、虛擬數(shù)字人引擎驅(qū)動(dòng)服務(wù)器、定向麥克風(fēng)等組成，聚焦數(shù)智化場(chǎng)景語(yǔ)音交互與信息調(diào)度需求，打造從語(yǔ)音采集、指令解析到智能反饋、可視化播報(bào)的全流程能力，適配政務(wù)服務(wù)、應(yīng)急指揮、企業(yè)宣講、智能咨詢等多場(chǎng)景，為指揮調(diào)度中心、數(shù)智大廳等場(chǎng)景提供高效、智能的交互調(diào)度解決方案。
模塊 1：AI 能力引擎
本系統(tǒng) AI 能力引擎具備語(yǔ)音識(shí)別、意圖分析、指令理解及語(yǔ)音合成播報(bào)核心能力，可實(shí)現(xiàn)說話人實(shí)時(shí)語(yǔ)音到文本的精準(zhǔn)轉(zhuǎn)換，將業(yè)務(wù)講解內(nèi)容、操作執(zhí)行結(jié)果通過語(yǔ)音合成完成反饋輸出；同時(shí)支持 2D 真人標(biāo)準(zhǔn)形象的合規(guī)授權(quán)接入，為數(shù)字人全場(chǎng)景交互提供底層能力支撐。
模塊 2：數(shù)字人能力引擎
2.1 基礎(chǔ)能力與場(chǎng)景適配
支持 2D 真人標(biāo)準(zhǔn)形象的合法授權(quán)使用，從源頭規(guī)避形象應(yīng)用合規(guī)風(fēng)險(xiǎn)，保障業(yè)務(wù)落地安全性；
提供虛擬數(shù)字人云渲染畫面輸出、視頻流實(shí)時(shí)推流能力，無(wú)縫適配數(shù)智大廳 LED 大屏、指揮調(diào)度中心顯示終端等多類硬件載體，實(shí)現(xiàn)數(shù)字人畫面高清呈現(xiàn)與穩(wěn)定傳輸。
2.2 靈活控制與參數(shù)配置
支持播報(bào)文本自定義編輯，搭配數(shù)字人動(dòng)作精準(zhǔn)控制功能，實(shí)現(xiàn)播報(bào)內(nèi)容與肢體動(dòng)作精準(zhǔn)協(xié)同，貼合業(yè)務(wù)表達(dá)需求；
支持場(chǎng)景背景快速切換，可根據(jù)政務(wù)服務(wù)、應(yīng)急指揮、企業(yè)宣講等場(chǎng)景靈活調(diào)整視覺呈現(xiàn)風(fēng)格；
支持視頻流分辨率、幀率、碼率等核心參數(shù)自定義設(shè)置，可根據(jù)網(wǎng)絡(luò)帶寬、顯示設(shè)備性能動(dòng)態(tài)調(diào)優(yōu)，兼顧畫面輸出質(zhì)量與傳輸效率。
2.3 數(shù)字人合成技術(shù)與標(biāo)準(zhǔn)化流程
2D 虛擬人合成自然度 MOS 評(píng)分達(dá) 4.8，在神態(tài)模擬、肢體動(dòng)作、語(yǔ)音輸出等維度實(shí)現(xiàn)類真人表現(xiàn)，提升人機(jī)交互自然度與沉浸感。數(shù)字人形象視頻素材制作分三步標(biāo)準(zhǔn)化執(zhí)行：
AI 照片生成：按目標(biāo)形象編寫提示詞，核心規(guī)范：全身像添加 “全身正面站立、正面全身像”；半身像添加 “正面站立半身像”；真人風(fēng)格添加 “寫實(shí) / 超寫實(shí)風(fēng)格”；卡通風(fēng)格添加 “卡通風(fēng)格”；無(wú)張嘴效果規(guī)避笑相關(guān)詞匯，用 “面部柔和” 替代（效果不佳可多次生成）；帶配飾需添加具體描述詞匯。
視頻素材生成：進(jìn)入 “視頻生成” 菜單，選首尾幀模式并選取歷史首尾幀圖片；復(fù)用標(biāo)準(zhǔn)化提示詞（固定鏡頭，人物位置固定，僅允許微動(dòng)作，表情不變，視線正對(duì)鏡頭，背景靜止，光線色調(diào)恒定，整體畫面穩(wěn)定）；點(diǎn)擊 “立即生成”，預(yù)覽后通過 “無(wú)水印” 功能下載。
數(shù)字人克隆：在 2D 數(shù)字人平臺(tái)進(jìn)入 “克隆數(shù)字人” 菜單，選 “自定義形象”；上傳視頻素材，配置數(shù)字人基礎(chǔ)信息后點(diǎn)擊 “開始克隆”；等待數(shù)秒，跳轉(zhuǎn)至 “我的數(shù)字人” 頁(yè)面即克隆成功。
2.4 數(shù)字人應(yīng)用構(gòu)建與管理
應(yīng)用新建：多入口創(chuàng)建（“數(shù)字人應(yīng)用” 模塊按鈕、“數(shù)字人廣場(chǎng)”/“我的數(shù)字人” 目標(biāo)數(shù)字人懸浮窗入口）；完成命名后配置核心參數(shù)（選數(shù)字人形象；選配 holar_tts（輕量型，合成快、資源低）/holar_tts_pro 語(yǔ)音合成服務(wù)；從已配置智能體列表選大語(yǔ)言模型；選 “官方 asr (默認(rèn))” 語(yǔ)音識(shí)別服務(wù)（需在 “大模型管理” 中啟動(dòng)）；輸入開場(chǎng)白并回車保存）；點(diǎn)擊保存完成創(chuàng)建。
應(yīng)用預(yù)覽：點(diǎn)擊 “預(yù)覽” 新開標(biāo)簽頁(yè)，進(jìn)入界面后點(diǎn)擊 “聊天”，實(shí)現(xiàn)與數(shù)字人實(shí)時(shí)交互測(cè)試。
應(yīng)用刪除：點(diǎn)擊 “刪除” 按鈕，確認(rèn)操作后完成應(yīng)用刪除。
2.5 交互播報(bào)與情感表達(dá)
支持 3 類播報(bào)模式配置（交互模式、嚴(yán)謹(jǐn)播報(bào)模式、靈動(dòng)播報(bào)模式），可按業(yè)務(wù)場(chǎng)景靈活切換，實(shí)現(xiàn)合成效果與場(chǎng)景訴求精準(zhǔn)匹配；
支持 3 種情感類型配置，覆蓋數(shù)字人形象與語(yǔ)音輸出的情感化表達(dá)，增強(qiáng)信息傳遞親和力與感染力。
2.6 核心合成性能指標(biāo)
網(wǎng)絡(luò)正常時(shí)，虛擬人合成接口請(qǐng)求響應(yīng)時(shí)間≤200ms，實(shí)現(xiàn)指令快速響應(yīng)與畫面實(shí)時(shí)生成；
合成服務(wù)全年運(yùn)行穩(wěn)定性達(dá) 99.99%，降低服務(wù)中斷概率，保障業(yè)務(wù)連續(xù)運(yùn)行；
語(yǔ)音合成、視頻合成成功率均達(dá) 99%，確保信息播報(bào)完整性與可靠性。
模塊 3：語(yǔ)音識(shí)別能力引擎
3.1 多維度精準(zhǔn)識(shí)別能力
近距離拾音識(shí)別：近距離麥克風(fēng)收音、中文普通話場(chǎng)景下，實(shí)時(shí)語(yǔ)音識(shí)別準(zhǔn)確率達(dá) 99%，精準(zhǔn)捕捉語(yǔ)音細(xì)節(jié)，保障指令準(zhǔn)確采集；
中英文混合識(shí)別：支持中文語(yǔ)境下中英文混合輸入識(shí)別，自動(dòng)完成語(yǔ)言切換，無(wú)需人工干預(yù)，消除語(yǔ)言差異識(shí)別偏差；
特殊字符識(shí)別：優(yōu)化數(shù)字串、字母聽寫專項(xiàng)能力，精準(zhǔn)轉(zhuǎn)寫整數(shù)、小數(shù)、電話號(hào)碼、編號(hào)及單個(gè)字母、英文縮寫等，確保關(guān)鍵信息無(wú)遺漏；
方言普通話兼容：支持四川話（川普）、陜西話（陜普）、北京話等常見方言普通話識(shí)別，打破地域語(yǔ)言壁壘，擴(kuò)大應(yīng)用覆蓋范圍。
3.2 內(nèi)容安全管控
支持用戶自定義屏蔽詞列表，引擎實(shí)時(shí)檢測(cè)語(yǔ)音輸入內(nèi)容，匹配到敏感、不文明等違規(guī)內(nèi)容時(shí)自動(dòng)過濾屏蔽，保障識(shí)別結(jié)果合規(guī)性與場(chǎng)景適配性。
3.3 響應(yīng)效率指標(biāo)
實(shí)時(shí)語(yǔ)音識(shí)別服務(wù)響應(yīng)時(shí)間≤600ms，快速返回識(shí)別結(jié)果，確保數(shù)字人及時(shí)處理指令，保障人機(jī)交互流暢性與實(shí)時(shí)性。
3.4 語(yǔ)音采集與全流程處理
語(yǔ)音預(yù)處理：支持音頻流前后端點(diǎn)檢測(cè)（可動(dòng)態(tài)設(shè)超時(shí)時(shí)間或關(guān)閉，實(shí)現(xiàn)長(zhǎng)音頻聽寫）；具備高效噪音消除能力，適配復(fù)雜環(huán)境語(yǔ)音采集；
文本后處理：基于對(duì)話語(yǔ)境智能分析識(shí)別結(jié)果，實(shí)現(xiàn)智能斷句、標(biāo)點(diǎn)自動(dòng)預(yù)測(cè)，支持?jǐn)?shù)字規(guī)整、自定義替換列表，優(yōu)化結(jié)果可讀性；
中間結(jié)果返回：支持實(shí)時(shí)聽寫中間結(jié)果返回，減少輸出時(shí)間間隔，實(shí)現(xiàn)結(jié)果動(dòng)態(tài)修正，提升交互視覺流暢度；
前端語(yǔ)音處理：通過信號(hào)處理完成語(yǔ)音檢測(cè)、降噪，核心實(shí)現(xiàn)端點(diǎn)檢測(cè)，精準(zhǔn)判定說話起止時(shí)間，實(shí)現(xiàn) “邊說邊識(shí)別”；
后端識(shí)別處理：支持?jǐn)?shù)萬(wàn)條語(yǔ)法規(guī)模大詞匯量、與說話人無(wú)關(guān)的識(shí)別，適配不同年齡、地域、信道、終端及噪聲環(huán)境；返回結(jié)果同步輸出置信度參數(shù)，為業(yè)務(wù)處理提供支撐；支持多候選結(jié)果按置信度降序輸出，提供二次選擇可能；搭載熱詞識(shí)別，實(shí)時(shí)檢測(cè)特定關(guān)鍵詞 / 短語(yǔ)，提升關(guān)鍵信息識(shí)別效率。
模塊 4：語(yǔ)義理解能力引擎
4.1 四大核心支撐能力
知識(shí)編譯與解析：對(duì)海量知識(shí)庫(kù)標(biāo)準(zhǔn)化處理，構(gòu)建結(jié)構(gòu)化語(yǔ)義資源庫(kù)；將輸入文本解析為 JSON 等標(biāo)準(zhǔn)化可調(diào)用數(shù)據(jù)結(jié)構(gòu)，實(shí)現(xiàn)與數(shù)字人執(zhí)行系統(tǒng)無(wú)縫對(duì)接，確保指令快速轉(zhuǎn)成可執(zhí)行邏輯；
語(yǔ)音信號(hào)處理：精準(zhǔn)提取原始語(yǔ)音信號(hào)特征參數(shù)，通過語(yǔ)音 - 音節(jié)、音節(jié) - 字概率計(jì)算模型，構(gòu)建穩(wěn)定語(yǔ)義轉(zhuǎn)換體系，從信號(hào)層面保障理解準(zhǔn)確性；
多輪交互記憶：自動(dòng)緩存交互上下文與歷史數(shù)據(jù)，搭載智能匹配機(jī)制，精準(zhǔn)關(guān)聯(lián)多輪內(nèi)容，避免重復(fù)提問，保障對(duì)話連貫性，適配復(fù)雜業(yè)務(wù)咨詢、多步驟指令執(zhí)行；
高效語(yǔ)義響應(yīng)：通用語(yǔ)義理解正確率達(dá) 95%，精準(zhǔn)識(shí)別用戶潛在需求與核心指令，減少理解偏差；平均交互響應(yīng)時(shí)間≤200ms，快速反饋結(jié)果，避免用戶等待。
4.2 智能體管理與大模型對(duì)接
支持多大模型連接創(chuàng)建，僅適配 OPENAI 接口協(xié)議，實(shí)現(xiàn)本地大模型與第三方大模型快速對(duì)接，操作與配置規(guī)范：
核心參數(shù)配置：連接名稱（自定義，無(wú)校驗(yàn)）；接口協(xié)議（固定選 OPENAI）；BaseURL（填寫大模型接口官方 URL）；API key（訪問鑒權(quán)秘鑰，本地大模型為必填）；ModelName（模型唯一標(biāo)識(shí)，與提供商命名完全一致）；描述（填寫模型功能、適用場(chǎng)景等說明）；
第三方模型對(duì)接：在模型廣場(chǎng)選取目標(biāo)模型，復(fù)制標(biāo)準(zhǔn)名稱（部分模型有免費(fèi)試用次數(shù)）；按參數(shù)要求填寫后，點(diǎn)擊 “測(cè)試連接”，驗(yàn)證通過即完成對(duì)接。
模塊 5：語(yǔ)音合成能力引擎
5.1 核心合成技術(shù)體系
深度融合中英文語(yǔ)法與韻律知識(shí)，構(gòu)建多算法協(xié)同合成體系：通過語(yǔ)法與語(yǔ)義分析算法，精準(zhǔn)解析文本語(yǔ)言邏輯、語(yǔ)義關(guān)聯(lián)及表達(dá)意圖，確保合成語(yǔ)音符合語(yǔ)言規(guī)范；搭載最佳路徑搜索 + 語(yǔ)音單元挑選調(diào)整算法，篩選最優(yōu)語(yǔ)音單元組合并精細(xì)化調(diào)優(yōu)，實(shí)現(xiàn)語(yǔ)音停頓、重音、語(yǔ)速自然化；融合語(yǔ)音數(shù)據(jù)編碼技術(shù)，在保障質(zhì)量的前提下優(yōu)化數(shù)據(jù)傳輸與存儲(chǔ)效率，實(shí)現(xiàn)質(zhì)量與性能雙提升。
5.2 合成效果指標(biāo)
采用行業(yè)通用 MOS 評(píng)分，中文語(yǔ)音合成自然度 MOS 評(píng)分達(dá) 4.5，在語(yǔ)調(diào)、韻律、流暢度等維度實(shí)現(xiàn)類真人發(fā)聲，消除機(jī)械感，提升用戶聽覺體驗(yàn)。
5.3 全流程交互閉環(huán)
支持日常業(yè)務(wù)講解文本流暢合成播報(bào)，同時(shí)具備操作結(jié)果類文本語(yǔ)音反饋能力；數(shù)字人完成指令后，將處理結(jié)果同步推送至引擎，通過語(yǔ)音清晰反饋執(zhí)行狀態(tài)（如 “操作已完成”），構(gòu)建 “指令接收 - 執(zhí)行 - 反饋” 全流程閉環(huán)。
5.4 高效文本處理能力
單小時(shí)可高效處理文本量達(dá) 1500 萬(wàn)字，具備高并發(fā)、大批量文本合成能力，滿足數(shù)字人高頻率交互、連續(xù)化播報(bào)等場(chǎng)景需求，確保合成輸出穩(wěn)定高效，無(wú)延遲卡頓風(fēng)險(xiǎn)。
模塊 6：文件解析平臺(tái)
6.1 核心基礎(chǔ)能力
集高效轉(zhuǎn)換、精準(zhǔn)解析、靈活管理于一體，為 AI 大模型訓(xùn)練、企業(yè)知識(shí)管理、自動(dòng)化辦公提供端到端文檔預(yù)處理解決方案，支持多格式、多元素解析，兼顧高性能與企業(yè)級(jí)管理需求。
6.2 多格式解析支持
支持 PDF（含掃描件）、Word（doc、docx）、PPT（ppt、pptx）、圖片（png、jpeg、jpg）向 MarkDown 格式轉(zhuǎn)換；
上傳規(guī)范：PDF/PPT/Word 單文檔≤200M 或 600 頁(yè)，圖片單張≤10M，單次上傳均≤20 個(gè)文件。
6.3 多元素與多模態(tài)處理
多元素精準(zhǔn)識(shí)別：識(shí)別提取標(biāo)題、正文、OCR 文本等文本類元素，圖像主體 / 標(biāo)題 / 腳注等圖像類元素，表格主體 / 標(biāo)題 / 腳注等表格類元素，行內(nèi) / 行間公式等公式類元素及頁(yè)眉、頁(yè)腳等廢棄內(nèi)容；
智能文檔處理：智能內(nèi)容清理（刪除頁(yè)眉、頁(yè)腳、頁(yè)碼等無(wú)關(guān)內(nèi)容）、閱讀順序優(yōu)化（適配單 / 多欄復(fù)雜排版）、文檔結(jié)構(gòu)保持（完整保留標(biāo)題、段落、列表）；
多模態(tài)內(nèi)容處理：公式自動(dòng)轉(zhuǎn)換為 LaTeX 格式；各類表格（有線 / 無(wú)線 / 嵌套 / 模糊）高精度解析并轉(zhuǎn)換為 HTML 格式；精準(zhǔn)提取圖像、圖片描述及表格附屬信息。
6.4 高性能解析處理
搭載輕量級(jí)視覺模型（參數(shù)＜1B），解析精度超越傳統(tǒng) 72B 級(jí)視覺語(yǔ)言模型（VLM）；
單張 RTX 4090 顯卡實(shí)現(xiàn) 10000 token/s 吞吐量，支持批量文檔秒級(jí)解析；
單模型集成多語(yǔ)言混排、潦草手寫、復(fù)雜版面、表格數(shù)據(jù)、數(shù)學(xué)公式、內(nèi)容閱讀順序六大解析能力，無(wú)需多模型切換。
6.5 API 集成與任務(wù)管理
支持文件 API 接口對(duì)接，樹狀結(jié)構(gòu)實(shí)現(xiàn)任務(wù)組分級(jí)管理，可對(duì)解析任務(wù)增、刪、改、查及啟停；
解析記錄可視化，支持實(shí)時(shí)預(yù)覽效果，一鍵調(diào)用 JSON 數(shù)據(jù)接口；
開放標(biāo)準(zhǔn)化 API，支持二次開發(fā)與業(yè)務(wù)系統(tǒng)靈活對(duì)接。
6.6 企業(yè)級(jí)管理能力
區(qū)分本地上傳與 API 對(duì)接任務(wù)記錄，支持按任務(wù)名稱快速篩選檢索；
搭建多維度權(quán)限管理體系，實(shí)現(xiàn)用戶角色分級(jí)管理，精準(zhǔn)控制功能訪問權(quán)限。
6.7 解析結(jié)果操作與編輯
支持解析結(jié)果實(shí)時(shí)預(yù)覽，可對(duì)比 MD 格式結(jié)果與原始文檔；
支持二次編輯，所有修改實(shí)時(shí)自動(dòng)保存，提供自動(dòng)換行、全屏預(yù)覽、單獨(dú)下載修改后 MD 文件等便捷功能；
可下載包含結(jié)構(gòu)化文件、MD 文件、提取圖像資源的壓縮包，也可單獨(dú)刪除解析記錄（刪除后不可恢復(fù)）。