Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
插件下载地址:http://www.wemakexr.cn/plugins/DoubaoUEPugins/DoubaoSDK.zip
1、解压后复制到你的项目根目录Plugins文件夹(没有就创建一个),另外此插件依赖RuntimeAudioImporter插件,从Github下载对应版本一起复制到Plugins文件夹,Github地址:
https://github.com/gtreshchev/RuntimeAudioImporter/releases
经测试4.27和5.1版本,安卓和Win都能正常运行。
2、复制完成后右键项目的.uproject文件,选择Generate Visual Studio project files,将插件导入工程。成功后双击打开上面的.sln文件,在解决方案栏右键,点重新生成,耐心等待下方提示重新生成成功。
(提示:UE插件通用操作,若改变了整个插件结构,如删除插件,新增插件等,都需要右键.uproject生成;若改变了插件内部的代码,则需要右键解决方案重新生成dll,这两个操作都要关上UE界面,完成后再打开)
3、生成成功后打开UE,在DoubaoSDK内容文件夹中可以找到MyDoubaoChat蓝图,将蓝图拖入场景,可以运行示例。
4、这里设计了两个UI,下面的按钮说话测试整个AI对话流程,上面的按钮单测TTS长文本功能。
5、流程解释:按住说话按钮进行录音,说话完后松开,此时会发送SendASRRequest请求,完成后触发ASRResponse语音识别事件,识别完成后会发送AI对话(SendChatRequest),对话结果会触发ChatResponse事件,将返回的对话结果发送给文字转语音(SendTTSRequest),最后触发TTSResponse事件将返回的语音结果读出。
AI对话,语音转文字,文字转语音这三部分也可拆开单独调用,这里只是提供一个运行示例,可以根据示例逻辑自己设计触发事件。
6、这一部分蓝图是收集录音传给语音识别模块,参数是固定的,不要变动,照抄即可。
7、在开始运行时首先应该调用InitDoubaoChat函数进行初始化,由于apiKey最多只能一个月,每次到期可以询问殷乐或贾一新的key,这里设置key可以写一个动态读取配置文件,本插件没有实现。
8、当游戏退出时可以调用ClearTTSCache清除TTS缓存,示例中没有调用,可以在Content文件夹看到TTS接收到的mp3缓存。