豆包大模型Unity调用

一、工程地址工程地址：

DoBaoProject@onejay@cloud.cn

二、工程场景（包含八个）

1. DoBaoBotChat：实现与角色对话
2. DoBaoChat：实现与豆包大模型对话
3. DoBaoBotChat_Android：安卓上与角色对话并实现语音输出
4. DoBaoTTS：文字转语音
5. XuFeiASR：讯飞语音转文字
6. AutomaticRecord：通过麦克风音量自动获取输入语音
7. DoBaoBotChat_Android_uLip：在DoBaoBotChat_Android的基础上添加小水滴形象并同步唇形
8. Scene_XiaoHai：使用小水滴形象，并添加麦克风获取语音输入、参数调整界面

相关使用

1. 在场景中添加预制体：DoBaoMessage

2. 脚本功能
   Chat.cs ：实现对话功能
   BotChat.cs ：实现角色对话功能
   TTS.cs ：实现文字转语音功能
   ASR.cs ：实现语音转文字功能
   MicRecord.cs ：实现麦克风获取语音输入功能
   ChatPrefab.cs ：控制文字输入输出对话框
   DoBaoMessage.cs ：实现相关API的调用

3. 使用时先进行初始化(Init函数，传递相关参数)，接着根据需要发送数据内容，在回调函数中处理相关信息

三、小水滴场景使用(Scene_XiaoHai)

右上角进入设置界面

• 选择背景颜色：是否使用黑色背景
• 显示输出：是否显示当前运行的Debug
• 当前音量：当前设备麦克风获取到的音量
• 录音开启音量值：当麦克风音量超过该值时，视为有语音输入
• 录音关闭音量值：当麦克风音量小于该值时
• 等待语音结束：录音开启后，麦克风识别到的音量持续小于关闭音量值次数达到该值时，视为停止语音输入

注意：

• 录音开启音量值应大于录音关闭音量值
• 实际使用参数应根据现场环境和设备进行调整

四、uLip(唇形同步)配置

1. 使用的模型面部，要包含唇部相关的BlenderShapes
   

2. 在模型上挂在AudioSource、ULipSync、ULipSyncBlendShapes

3. 在ULipSyncBlendShapes中，选择模型的SkinnedMeshRenderer，并配置正确的blendshape
   

4. 在ULipSync中，选择配置文件
   

5. 在AudioSource中，AudioClip为空，PlayOnAwake、Loop为False，Priority为128
   

其他：

1.密钥生成

通过API Explorer获取，有效时间最长为30天

https://api.volcengine.com/api-explorer?action=GetApiKey&data=%7B%7D&groupName=%E5%9F%BA%E7%A1%80%E6%A8%A1%E5%9E%8B&query=%7B%7D&serviceCode=ark&version=2024-01-01

2.模型ID

根据调用模型填写
https://console.volcengine.com/ark/region:ark+cn-beijing/endpoint?current=1&pageSize=10

3.测试使用，每天语音识别有效次数为500次
注册讯飞并开通语音识别服务后，可以在该网址查询到使用的asr_APIKey、asr_APISecret、asr_APPID