前言
当下智能语音产品技术迭代很快,很多开发者朋友更想结合自己的应用服务做出个性化的智能硬件,这篇实操用CSK6大模型开发板零代码接入小聆AI实现大模型情感语音交互,。
实操+详细讲解篇幅较长,会按以下流程步骤分享:
步骤一:在聆思平台自建应用,实现小聆AI大模型语音自有应用链路接入;
步骤二:设置个性化AI机器人的人设;
1、 直接使用系统模板或通过提示词文字描述自定义名称、性格、爱好、回复风格;
2、 设置发音人音色,可以直接选择系统提供的20多个发音人,也可以使用【声音克隆】功能克隆真人声音;
3、 给AI机器人增加专属知识,可以使用【角色知识库】功能,上传文档即可生效。
步骤三:大模型语音开发板绑定自建应用
另外小聆AI还支持【长期记忆】、【声纹识别】、【联网搜索】、【文字生产图片】、【图片内容理解】,也可以通过【MCP服务】接入高德地图、航班信息等公开的互联网服务和自建的MCP服务,这些功能实操讲解会陆续发布和大家分享。
一、通过聆思平台自建小聆AI大模型语音应用
1、点击应用模板中心,在简易配置标签下选择大模型语音交互模板点击添加应用按钮。给应用命名后点击确认创建应用。
2、 输入名称,其他保持默认点击确定,就完成自己的小聆AI应用创建了
二、设置个性化AI机器人的人设和功能
点击进入小聆AI的应用配置页,我们可以在本配置页对大模型功能进行配置。
1、自定义名称、性格、爱好、回复风格
● 我们可以通过修改角色描述调整大模型的人设,如:约定AI助手的名称、性格、爱好
● 约定AI助手回复风格,这里可以自由配置更多个性化的人物设定
2、 设置发音人
做完【角色设定】就可以进行机器人的音色设定,如下图所示,点击选择想使用的系统发音人。
如果不想用系统提供的声音,也可以参考下图使用【声音复刻】功能录制克隆真人音色作为回复的音色。
克隆完成后,就可以在发音人选择栏选择克隆的真人声音
3、 给机器人增加专属知识库
如果想让AI机器人具备自己的经历认知范围或专业知识,我们可以通过在应用中增加知识库,让大模型优先根据专属知识库的人设背景内容进行回答。
3.1 创建知识库
点击知识库,在知识库页面中点击右上角+创建知识库按钮
创建完成后,上传知识库文件,等待系统自动处理,片刻后可看到文件处于启用状态。
3.2 完善知识库信息
要提升知识库匹配准确性,我们操作的时候要注意以下几点:
1.明确知识库名称:名称需要准确反映知识库主题,避免使用“测试、文件1”等模糊词。
2.补充知识库描述:摘要必须覆盖所有文档的核心内容,不能只描述其中一部分,可使用系统提供的【智能摘要】功能辅助总结。
3.3 关联知识库
完成知识库创建后在应用配置中,点击关联知识库按钮,在弹出的窗口中,选中刚才创建的知识库,最后点击保存。
三、大模型开发板接入自建小聆AI链路
云端配置成功后,接下来需要把配置好人设的云端大模型应用链路跟指定开发板绑定。
1、云端应用设备列表加入硬件设备ID
1.1 读取设备id
设备ID是一个产品下的唯一设备标识,我们需要获取当前设备ID方便后续在云端配置,才能让设备鉴权通过实现端云交互,读取方式:
1.打开cskburn desktop,点击串口下拉框;
2.选择连接开发套件后识别到的串口编号,点击获取信息;
3. 得到设备ID (
4. 这里需要安装cskburn desktop,这是是一款聆思推出的桌面工具,下载地址:https://docs2.listenai.com/x/oo2_KzYFd)
1.2、加入设备列表
a、在【我的应用】的【智能硬件】栏选择自建的【应用名】,按序号依次打开后,选择【导入设备ID】
b、在弹出的界面选择【文本导入】,写入开发板的设备ID,然后点击【导入】即可。
注:开发板ID信息参考下一步读取设备ID部分内容获得
2、CSK6开发板设备端写入云端产品服务配置
云端配置设备id后,还需将产品ID写入开发板固件中,才能让设备在运行时找到正确的云端产品服务完进行鉴权,鉴权完成就可以进行大模型语音交互了。
配置方式如下:
2.1、先在聆思平台打开已经配置好的产品,展示出右侧的接入二维码:
2.2、然后在开发板的首页下滑调出菜单,点击设置图标 →再点击应用,切换到应用信息查看页:
2.3、点击右下角扫码接入按钮调出相机,将 LSPlatform 待接入的产品二维码置于屏幕绿色扫描框内,完成扫描后,请在应用配置信息处检查product_id和secret_id是否已更新:
注:屏幕亮度和反光会影响扫码识别,可以把二维码的网页放大200%以上再扫码。
四、语音交互验证
用小聆小聆唤醒,并提问你是谁,语音回复预先设置的人设和知识库信息即验证成功。至此,可以确认自定义AI人设配置接入成功。
五、其他资料
本文使用的聆思CSK6大模型开发板的详细信息可参考线上文档。https://docs2.listenai.com/x/nTn9kMMCU
上手大模型硬件开发可以参考:https://docs2.listenai.com/x/Bt46JnBA0
ESP32 小智语音硬件想接入体验的话,可以参考开发者eric贡献的开源代码 :https://gitee.com/eric0008/xiaoling-esp32/tree/ab2748af51845e57c9640ca921a1d230e51a78a3