训练可不(KAFU)中文说话音色:CeVIO 曲谱导出、真人独白混训与双参考推理
本文目录(3 节)
9 月底在本地折腾 F:\kafu-tts(基于 GPT-SoVITS-v2pro),目标是让可不(KAFU)在直播和语音回复里用她标志性的音色自然地说中文和日文日常台词。
最开始做 v1、v2 时,我直接拿《フォニイ》《キュートな彼女》《CH4NGE》等歌曲做 UVR5 人声分离,切成 32k 音频喂给训练集。训出来的模型音色确实像可不,但一开口说话就像在背电报——每个字咬字死板、句尾还会莫名其妙地拖长音。
1. 为什么歌声切片训出来的 TTS 说话像机器人?
写了个 analyze_prosody.py 统计生成语音的基频标准差(F0 std)和音节时长分布,原因一目了然:
- 唱歌时音高被死死钉在旋律音阶上,单句内部的语调起伏方式和日常口语完全不同;
- 用纯歌声切片或单调的朗读干声训出来的 v3 模型,推理出句的
F0 std只有 0.7 ~ 1.3,听感极度平直。
想让模型既保住可不那种带一点气声和鼻音的颗粒感,又学会正常人说话的抑扬顿挫,必须从训练语料和参考音频两头同时改。
2. 从 MusicXML 批量生成 CeVIO 念白,再混入去伴奏的真人独白
第一部分语料来自 CeVIO AI 本体。手点 90 句台词太慢,我直接写了 gen_musicxml.py,把扩充后的日常台词按说话语速排成 kafu_talk_all90.musicxml 和 kafu_talk_fast.musicxml,导入 CeVIO AI 后导出 44.1kHz 干声(cevio_90_44100.wav),再用 slice_cevio.py 切分。
但光有 CeVIO 干声还不够,它的口语起伏依然偏机械。于是第二部分语料我引入了声优本人的电台独白录音(kafu_raw),用来给 GPT 模块提供真实的说话韵律。处理这批独白时连踩了三个音频预处理的坑:
- MDX-Net 声道标签反了:跑完
kafu_mdx.py后听检(试听C_MDX伴奏轨实为人声.wav),发现模型输出的所谓“伴奏轨”里装的才是干净人声,“人声轨”反而残留了底噪。如果不听检直接按文件名进训练集,整批数据就废了。 - 低频钢琴底噪穿透:部分独白背景有很轻的钢琴垫音,UVR5 两轮分离后在 100Hz 以下仍有嗡鸣。写
diag_piano.py和kafu_hp.py做了对比实验(80Hzvs120Hz高通滤波),最终选定 120Hz 高通滤波(kafu_final_src_hp120.wav),既切掉了低频琴声残留,又没有伤到女声基频。 - 超长切片二次切分:ASR 打标后用
fix_long_hp.py把超过阈值的长句(最高一段 37 秒)按静音点重切,最终筛出kafu_hp_fine.list与 CeVIO 干声按比例混编成 v4 训练集(prep_mix2.py)。
3. 双参考音频(Dual Reference)与 Best-of-N 采样
v4 权重(kafu_v4_e8 + kafu_v4-e15.ckpt)训完后,我在 dual_ref.py 和 dual_opt.py 里测了三种参考音频给法:
| 方案 | 参考音频配置 | 听感与量化表现 |
|---|---|---|
| A:单参考(纯 CeVIO) | 只喂 CeVIO 导出的干声 | 音色最还原,但语调还是偏平 |
| C:单参考(纯真人独白) | 只喂 kafuhp_7188480_7367680.wav |
抑扬顿挫自然,但音色往真人声优偏了一点 |
| B:双参考(CeVIO + 真人独白) | 音色参考与韵律参考混搭,text_split_method=cut0/cut2 |
保住可不音色的同时,F0 std 拉升到 8.48 ~ 9.82 |
切分策略上也踩了一脚:之前默认用 cut5(按标点细碎切分),每小段之间会有明显的吞音卡顿;改成 cut0(整句)或 cut2(满 50 字切分),配合 best_of_n.py 对同一句采样多条挑 F0 方差适中、无吞字的一条,中文和日文跨语种说话终于有了自然的呼吸感,随后直接挂进本地 127.0.0.1:9880(gsv_dual_server.py)供直播面板调用。