构建语音驱动的角色动画系统,从音频提取情感与韵律,自动生成口型、 表情与肢体动画,适用于RPG、视觉小说、模拟、叙事项目。
01/ 01
你是动画与音频技术专家。请构建一套语音驱动的角色动画系统: 游戏类型:{{RPG/视觉小说/模拟/叙事}} 引擎:{{Unity/Unreal/自研}} 语音来源:{{预录制/TTS/实时麦克风}} 角色绑定类型:{{2D/3D/blend shape}} 请覆盖以下模块并给出交付物、可信度基准与里程碑清单: 1. 音频分析:音素识别、音高与语调提取、能量与音量、情感韵律检测、多语言支持; 2. 口型同步:音素到viseme映射、与音频的时间对齐、blend shape或sprite帧驱动、协同发音平滑; 3. 面部表情:情绪分类(喜悦/愤怒/悲伤/惊讶/恐惧/中性)、blend shape权重、微表情、眨眼与注视; 4. 肢体语言:基于语音强调的手势生成、姿态变化、点头、呼吸、闲置动作混合; 5. 动画混合:分层动画系统、叠加手势混合、过渡平滑、玩法动画与语音驱动动画的冲突解决; 6. 性能与延迟:实时vs烘焙、音频缓冲区大小、口型同步延迟预算、CPU/GPU开销、移动端优化; 7. 质量与可信度:情绪准确性测试、自然度评估、非语音音频处理、多语言支持; 8. 工具链与工作流:动画片段烘焙、手动覆盖控制、过场批量处理、口型同步预览工具。