Tuya Developer Forum

【Wukong AI】T5 tuyaos_demo_ai_toy 中有没有将拾音数据和云端下发的数据处理的接口暴露出来。我们现在尝试其他方案的拾音与播放。能否实现？

你好

1. 你说的拾音数据是具体是指哪个部分，需要获取底层原始mic音频？，自己做音频前端处理？
2. 云端下发的数据处理目前暂未暴露，但是可以在后续版本中支持

周末好！感谢解答！
我们使用了你们的整套AI方案，目前是WuKong SDK T5 3.12.13开发。我们已经把成品做出来了，1米内效果很好，超过2米后效果不理想，不能达到量产，主要体现在打断大模型讲话。
当前我们想更换拾音和播放部分，由启英泰伦CI1303芯片拾音处理PCM音频数据完成音频前端处理，然后通过串口发送到T5模组，然后将拾音的音频流数据发送到云端大模型，云端处理后下发的音频流数据再通过串口发送到CI1303芯片完成播放，云端大模型还是使用你们的方案。（我们需要这两个数据流的接口，能否实现？）
目前启英这边已经完成开发，协议传输解析已完成。拾音数据已经可以正确发送到T5模组。tuya/Projects/T5_TuyaOS-3.12.13/software/TuyaOS/vendor/T5/tuyaos/tuyaos_adapter/src/misc/ty_vad_app.c下的int ty_vad_frame_put(unsigned char *data, unsigned int size)接口是否可以将拾音数据发送至大模型。
云端下发的数据处理目前暂未暴露，但是可以在后续版本中支持。 方便给个预期的时间区间吗？以便计划我们当前的项目

你好

1. 从产品上看，比如玩偶毛绒玩具之类的，1m范围内是比较合适的

2. 你们是打算用外部芯片做音频前端处理，通过串口T5芯片交互，从T5芯片上可以关闭前端处理&以及唤醒这部分，释放更多cpu，达到更好的效果

3. ty_vad_frame_put这个函数是检测VAD的，将拾音数据上报大模型是下面的接口

   Code: Select all

           rt   = ty_ai_proc_event_send(ai_toy->llm, AI_PROC_AUDIO_EVENT, msg->data, msg->datalen);
           rt |= ty_ai_proc_event_send(ai_toy->llm, AI_PROC_FINSH_EVENT, NULL, 0);
   

   可以参照demo ai_toy_audio_recoder_cb里的用法

4. toy demo中audio_recoder已经考虑了外部音频芯片的，你们需要自行处理VAD/ASR（wakeword)这部分，可以去适配audio_recoder这部分代码，或者你们有更好的方法

5. 关于大模型音频数据下发接口，可提供应用自行替换，我们周一会评估，预计会在下个版本发布，大约1-2 week

好的，非常感谢解答