让 AI 开口不难, 让它说话顺耳很难

11 min

项目叫 AI 女友, 真正搭起来以后, 我花了很多时间在听她哪里说得不对.

有时声音偏低, 有时语气机械. 好不容易听着像了, 又觉得少了点感情. 画面里的人已经会动, 嘴也跟着声音张合, 我却还在反复听一小段音频, 想弄清那一点别扭到底从哪里来.

最初想试的东西其实不复杂: 对着麦克风说话, 屏幕里有人回答, 不用一直打字. 我拿现成部署包作为起点, 把语音和数字人接到家里的 Windows 电脑上, 再一点点处理实际使用时冒出来的问题.

后来发现, 每一部分单独看都能工作, 连在一起还得重新听一遍.

先让她听得见, 也说得出来

家里那台电脑有一张 RTX 3060 12GB. 我们在 WSL 里安排好运行环境, 让语音识别和声音合成在本机完成, 回答内容则交给 Xiaomi MiMo API.

所以这套东西并非完全离线. 麦克风里的话先在本地转成文字, 文字再送给模型生成回答, 回答回来后合成语音. LiveTalking 负责让预制人物的口型跟上音频, 最后由浏览器播放.

屏幕里的画面也不是每说一句话, 就重新生成一段完整视频. 人物有准备好的素材, 说话时再驱动口型. 我没有在这一步另搭一套图生视频系统.

听起来顺着走就行, 但最初连开始对话都过了几道坎.

页面能打开, 麦克风却还没接通. 配好 HTTPS 之后, 又遇到浏览器需要的 SDK 文件缺失. 原本在 Docker 构建里会做的安装步骤, 到这套裸机安装流程里漏掉了. 背景人物已经出现在屏幕上, 点开始时, 才发现还有东西没装齐.

把这些补上以后, 链路才继续往前走.

双向中文语音可用后, 对着耳机讲话已经能得到中文回答. 对音色的不满意, 是在这之后开始的另一轮调整.

声音不对, 先别急着换模型

有一回, 声音听起来低沉, 拖慢, 很不对劲.

查到最后, 问题落在音频的交接处: 实际送出来的是 24 kHz 音频, 桥接代码却把它包装成了 16 kHz 的 WAV.

前面判断采样率时, 看到了内部处理用的 16 kHz, 就以为出口也是这个数. 后来沿着实际代码再查, 才发现出口会按会话协商重采样, 两处并不一样.

这样一来, 原本一秒的采样, 被播放器按一秒半来读. 语速慢了, 音调也跟着低了. 我听见的是一个变了调的结果, 却很容易先怀疑音色或者模型.

修正 WAV 的采样率标记后, 才能继续谈声音本身的好坏.

这件事后来也影响了我的调试顺序. 听着奇怪时, 先检查音频有没有被正确送到耳朵里. 不然换再多参考声音, 比较的也可能都是被同一处错误处理过的版本.

我还没说完, 它已经接话了

另一种不舒服, 来自对话的节奏.

语音助手如果接话太晚, 会让人等得着急. 但过早也不行, 尤其是你才说了半句, 后面的意思还没交代, 它就开始回答.

这次查到的原因, 是一段提前送入的语音片段被识别后端当成了最终输入. 等完整句子后来到达, 又因为这一轮已经结束而被丢弃.

离线回归里, 那段早到的输入只有约 0.8 秒, 完整输入却有约 11.6 秒. 这个差别比反复修改人设提示词直观多了: 它拿到的就不是整句话.

后来在启动参数里关闭了这条提前转写的路径, 让完整输入能够留下来. 那次隔离测试验证了这个问题的修复, 但真实对话仍然要等断句和已有的判定过程, 不能因此许诺所有识别都从此准确.

要接得自然, 首先得允许我把话说完.

那句满意, 只属于一段样音

链路走通后, 我开始折腾参考声音.

先从素材中分离人声, 避开背景音乐的残留, 再截取片段, 配好对应文字. 后来又把参考收短到一句完整话后的停顿处, 修正了两处转写错误, 用同样的文本生成样音来比较.

有一段离线样音, 我听完很满意.

但切回网页继续对话, 又觉得不一样. 声音已经能听出相似的特点, 回答却还是机械, 缺少我想要的语气和情绪.

这两件事当时还被混到了一起. 我对那段样音说满意, 差点被理解成整个项目已经验收完成. 后来重新说清楚: 满意的是那个音频文件, 网页实际说话的感觉还没到那里.

一小段固定文本可以反复听, 反复比较. 真正对话时, 文字长短变了, 停顿变了, 上一句和下一句的关系也变了. 音色接近, 并不能替这些细节一起过关.

我想要的成熟和松弛, 也不等于把音高压低, 再故意拖长每一个字. 真那样做, 很容易越调越累.

连标点和待机动作, 都有自己的麻烦

继续往下查时, 找到一个不起眼的问题: 回答文本进入语音合成之前, 一层过滤会把中文标点删掉.

字还在, 句子里的停顿线索却少了.

我们把这些标点转换成过滤规则能够保留的形式, 再交给后面的语音合成. 这一步至少让原本写出来的停顿不至于平白消失, 但也不能把它说成情绪表达已经解决了.

我还试着调整回答方式, 少一些书面长句, 用更自然的中文短句. 实际使用的语音后端, 当时又不支持给那条声音克隆路径直接加入情绪指令. 提示词可以改回答的措辞, 却不能凭空补上底层没有开放的控制能力.

画面也有类似的错位.

那段待机素材原本是 16 fps, 播放链路却按 25 fps 逐帧送出. 同样一组动作被更快放完, 人就显得有些急. 计算下来, 是原来的 1.5625 倍速度.

后来把素材按正确时长转换到 25 fps, 重新生成对应人物数据, 才让这段约五秒的动作仍然占用约五秒. 不是去改所有输出的时钟, 而是把接进去的素材先处理对.

做到这里, 已经不能只用模型好不好概括体验. 声音怎样包装, 句子留下哪些标点, 视频帧按什么速度播放, 每一处都会影响听感和观感.

后来, 我换回了原来的音色

最后一次调整, 我选回了安装包原来的参考音色, 再让播放稍微慢一点.

这次用的是保留音高的变速处理, 目标速度为原来的 0.9 倍. 音频先处理好, 再同时用于播放和口型推理, 避免嘴和声音各走各的. 它也和前面误写采样率造成的变调不同.

自定义参考声音留着, 没有删. 当时我想先换回原来的声音, 听听稍微放慢以后会怎样.

处理脚本和音频检查通过了, 服务也能启动. 但最后这版网页里的实际听感, 当时还没有确认.

那轮结束后, 我停掉服务, 关了电脑. 双向对话已经可用, 声音仍有不满意的地方, 等下次再调.


本文根据截至 2026-09-05 的部署记录和实际反馈整理. 写作时未启动服务或重新采集语音, 不代表当前运行状态. 私有访问地址和认证信息已省略, 参考音视频未随文发布.

↑ 回到顶部