开源数字人框架 AWESOME-DIGITAL-HUMAN 技术解析与应用指南_awesome-digital-human-live2d
一、项目概述
AWESOME-DIGITAL-HUMAN 是一个基于 Live2D 技术的开源数字人框架，它集成了语音识别（ASR）、大语言模型（LLM）、语音合成（TTS）和 Agent 模块化扩展能力，支持快速部署和自定义开发。项目特点包括：超轻量级设计（配置要求低于2核2G）、支持 Docker 快速部署、多平台兼容（PC端和移动端）以及丰富的 Live2D 人物模型扩展能力。
系统架构
项目采用前后端分离的架构设计：
- 前端：基于 Next.js 构建，负责用户界面展示和 Live2D 模型渲染
- 后端：提供 ASR、TTS、LLM 等核心服务接口
- 通信：前后端通过 WebSocket 实现实时交互
二、核心功能模块
1. 语音交互模块
项目集成了百度 ASR 和 TTS 引擎，实现语音与文本的双向转换：
# 百度 ASR 引擎核心代码@ASREngines.register(\"BaiduAPI\")class BaiduAPI(BaseEngine): def setup(self): # 获取 API Token params = { \'grant_type\': \'client_credentials\', \'client_id\': self.cfg.AK, \'client_secret\': self.cfg.SK } response = httpx.post(self.cfg.TOKEN_URL, data=params) self.token = response.json().get(\"access_token\") async def run(self, input: AudioMessage) -> Optional[TextMessage]: # 发送语音数据并获取识别结果 params = {\'cuid\': CUID, \'token\': self.token, \'dev_pid\': self.cfg.DEV_PID} headers = { \'Content-Type\': f\'audio/{input.format}; rate={input.sampleRate}\', \'Content-Length\': str(len(input.data)) } resp = await httpxAsyncClient.post(self.cfg.ASR_URL, content=input.data, params=params, headers=headers) return TextMessage(data=resp.json()[\"result\"][0])2. Live2D 模型渲染
前端使用 Live2D Cubism Web Framework 实现人物模型的渲染和控制，支持表情、动作和口型同步：
// Live2D 眨眼效果实现public updateParameters(model: CubismModel, deltaTimeSeconds: number): void { this._userTimeSeconds += deltaTimeSeconds; let parameterValue: number; // 根据眨眼状态计算参数值 switch (this._blinkingState) { case EyeState.EyeState_Closing: parameterValue = 1.0 - this.calculateProgress(this._closingSeconds); if (this.isStateComplete()) { this._blinkingState = EyeState.EyeState_Closed; } break; // 其他状态处理... } // 更新模型参数 for (let i = 0; i < this._parameterIds.getSize(); ++i) { model.setParameterValueById(this._parameterIds.at(i), parameterValue); } }3. 多模态交互
系统支持文本和语音两种交互方式，并提供流式响应处理：
// 流式聊天处理public async streamingChat( data: string, callbackProcessing: (index: number, data: string) => void, callbackEnd: (index: number) => void ): Promise<void> { try { const reader = await API.agent_infer_streaming_api(data); const decoder = new TextDecoder(\"utf-8\"); let index = 0; // 处理流式响应 while (true) { const { value, done } = await reader.read(); if (done) { callbackEnd(index); break; } const chunk = decoder.decode(value, { stream: true }); callbackProcessing(index, chunk); index++; } } catch (error) { console.error(error); } }三、部署与开发
1. 快速部署
项目支持 Docker 快速部署，只需执行以下命令：
# 构建并启动容器docker buildx build --platform linux/amd64,linux/arm64 -t adh-web:latest -f docker/adhWeb.Dockerfile . --pushdocker buildx build --platform linux/amd64,linux/arm64 -t adh-api:latest -f docker/adhServer.Dockerfile . --push2. 开发环境搭建
前端开发环境启动：
# 启动前端开发服务器pnpm dev# 访问 http://localhost:30003. 自定义扩展
项目提供了模块化扩展接口，可以方便地集成新的 ASR、TTS 或 LLM 服务：
# 自定义 TTS 引擎示例@TTSEngines.register(\"CustomTTS\")class CustomTTS(BaseEngine): async def run(self, input: TextMessage) -> Optional[AudioMessage]: # 实现自定义 TTS 逻辑 audio_data = self.custom_tts_service(input.data) return AudioMessage( data=audio_data, format=\"wav\", sampleRate=16000, sampleWidth=2, )四、应用场景与案例
1. 智能客服
利用项目的多模态交互能力和 LLM 集成，可以快速搭建智能客服系统，支持语音和文本咨询。
2. 教育领域
可用于开发虚拟教师或学习助手，提供个性化学习体验。
3. 直播助手
支持创建虚拟主播，实现自动语音播报和互动。
五、项目贡献与社区
项目采用 MIT 开源许可证，欢迎社区贡献。贡献方式包括：提交问题报告、提交代码补丁、参与文档编写等。
# Cubism Web Framework 贡献指南プロジェクトに貢献する方法はたくさんあります。バグのログの記録、このGitHubでのプルリクエストの送信、Live2Dコミュニティでの問題の報告と提案の作成です。六、总结与展望
AWESOME-DIGITAL-HUMAN 为开发者提供了一个功能完备、易于扩展的数字人框架，无论是个人开发者还是企业团队，都可以基于此框架快速构建自己的数字人应用。未来，项目计划进一步优化性能、增加更多的交互功能和模型支持，推动数字人技术的普及和应用。
