Search

文档站首页

训练新的声线转换模型

训练新的声线转换模型

准备数据集

清晰干净的人声

高质量的歌声模型需要干净且干燥的歌声样本:

  • 没有任何混响、延迟、合唱效果
  • 没有背景噪音
  • 没有伴奏或任何非人类声音
  • 没有任何和声或人声叠加

建议提供30-100分钟的歌唱声乐样本。提供的样本越多,AI能够学习的歌唱细节就越多,但超过120分钟后,额外样本的效益会逐渐减少。

房间混响

在带有大量房间混响的环境中录制的人声可能会导致识别错误,从而引发模型性能的异常表现。

分离出的人声

使用人声移除工具或音轨分离器提取人声时,输出质量可能会过低,不适合训练。为了获得更高质量的歌声模型,请有选择地使用音轨分离器提取的人声。

录制样本

  1. 高品质麦克风与音频接口
    1. 专业麦克风搭配音频接口可以带来高质量的人声。您需要录音软件与音频接口连接,用于录制、编辑和混合人声。

      在为歌声模型录音时,请避免使用不适合歌唱的麦克风:

    2. 手机或笔记本电脑麦克风
    3. 领夹式或头戴式麦克风
    4. 卡拉OK麦克风
    5. 耳机麦克风或蓝牙耳机(如AirPods,这些通常用于电话通话)
  2. 录音环境
  3. 不必要的背景噪音可能包括人声谈话、电流嗡嗡声和嗡鸣声、交通和室外噪音,以及配件或物品的移动。为了防止这些噪音干扰您的录音,选择一个安静的地点非常重要。请选择一个可以尽量减少或消除意外噪音干扰的地方。

    由于硬质、平整的表面存在,声音反射可能会导致录音中出现混响或回声。这可能会使您的音轨听起来空洞或遥远,削弱所需的亲密感和清晰度。

    尝试在房间内用力拍手并仔细聆听。如果您听到扑动声或持续的回声,这表明存在混响问题。

    为了解决这一问题,可以加入能够吸收声音的柔软材料。考虑使用地毯、地垫或厚窗帘来显著减少反射。覆盖硬质地板,并尽可能在窗户上挂窗帘,同时在房间内放置带有织物覆盖的家具,这些都可以起到一定作用。

    避免使用硬质表面,因为它们会加剧问题。如果无法负担专业的声学面板,可以利用日常物品,如画布画作、挂毯或泡沫板来打破这些表面。

    在设置麦克风时,请注意其摆放位置。避免将麦克风放置在离墙太近或角落的位置。相反,尽量将其放置在房间的中央,或尝试不同的位置,以找到混响最小的最佳点。

  4. 耳机漏音
  5. 在录音过程中,尤其是在录制人声时,耳机的音频泄漏到麦克风是很常见的。当耳机音量设置过高或使用开放式耳机时,就会出现这种问题。在录制歌曲时,这可能是可以接受的,但在为歌声模型录制时,应尽量避免这种音频泄漏。

  6. 麦克风摆放
  7. 对于正常音量,建议将自己与麦克风的距离保持在约2英寸左右。然而,对于较高音量的乐句或高声演唱时,建议将距离增加到约4-6英寸。需要注意的是,为了保持最佳音频捕捉效果,始终应确保与麦克风的距离不超过12英寸。

    为高声歌唱创造空间

    在使用爆发力唱法时,重要的是要给自己留出足够的空间,包括麦克风的距离和所处房间的大小。过度的声音隔离,比如被限制在衣柜或录音棚中,或者用泡沫围住麦克风,可能会导致麦克风胶囊过载。如果不确定,建议在演唱高亢句段时可以通过让环境声音(房间的自然混响)更多地进入录音中,来避免声音过于干涩或失真。

语言

对于声线转换模型,你不需要将所有样本都保持为一种语言。

唱歌或讲话

对于声线转换模型来说,语音样本和歌唱样本之间并没有太大区别。但对于歌声声线转换模型来说,使用歌唱样本进行训练会更合适。

文件质量设置

您的样本音频质量会直接影响歌声模型的质量。

我们建议您将音频质量设置为:

  • 位深度 = 16位
  • 采样率 = 44.1kHz 或 48kHz
  • 无损文件格式(.wav 或 .flac)

后处理

为了保持目标声音的自然特性和清晰度:

  • 避免重叠:多层人声会增加AI分析的复杂性。避免重叠的录音,坚持使用单一的人声轨道,以确保AI能够准确处理并学习您的样本。
  • 避免硬切:硬切会导致突兀的开头或结尾,这在自然的歌声中并不常见,且可能引入点击声或爆破音。在人声片段的开头和结尾使用平滑的淡入淡出,以实现更自然的过渡。
  • 避免重复段落:重复的段落对训练没有帮助。您的歌声模型需要表演中的自然变化来提升效果。
  • 控制音量:确保您的样本音量保持在音量表的30%-50%之间。使用音量推子或自动化工具确保整个数据集的音量水平一致。目标是保持录音的整体音量一致,同时保留段落内的动态变化。

训练您的声线转换模型

定制槽位

您可以在一个槽位中定制一个声线转换模型。

点击一个槽位开始上传您的样本。

image

所有样本上传完成后,训练将自动开始。您可以通过刷新网页来检查其状态。

image

当页面跳转回槽位列表并加载新的训练模型时,一切准备就绪。

点击“在 ACE 中打开”以打开 ACE Studio,并使用您的新训练模型。

image