准备数据集
清晰干净的人声
高质量的歌声模型需要干净且干燥的歌声样本:
- 没有任何混响、延迟、合唱效果
- 没有背景噪音
- 没有伴奏或任何非人类声音
- 没有任何和声或人声叠加
建议提供30-100分钟的歌唱声乐样本。提供的样本越多,AI能够学习的歌唱细节就越多,但超过120分钟后,额外样本的效益会逐渐减少。
房间混响在带有大量房间混响的环境中录制的人声可能会导致识别错误,从而引发模型性能的异常表现。
分离出的人声使用人声移除工具或音轨分离器提取人声时,输出质量可能会过低,不适合训练。为了获得更高质量的歌声模型,请有选择地使用音轨分离器提取的人声。
录制样本
- 高品质麦克风与音频接口
- 手机或笔记本电脑麦克风
- 领夹式或头戴式麦克风
- 卡拉OK麦克风
- 耳机麦克风或蓝牙耳机(如AirPods,这些通常用于电话通话)
- 录音环境
- 耳机漏音
- 麦克风摆放
专业麦克风搭配音频接口可以带来高质量的人声。您需要录音软件与音频接口连接,用于录制、编辑和混合人声。
在为歌声模型录音时,请避免使用不适合歌唱的麦克风:
不必要的背景噪音可能包括人声谈话、电流嗡嗡声和嗡鸣声、交通和室外噪音,以及配件或物品的移动。为了防止这些噪音干扰您的录音,选择一个安静的地点非常重要。请选择一个可以尽量减少或消除意外噪音干扰的地方。
由于硬质、平整的表面存在,声音反射可能会导致录音中出现混响或回声。这可能会使您的音轨听起来空洞或遥远,削弱所需的亲密感和清晰度。
尝试在房间内用力拍手并仔细聆听。如果您听到扑动声或持续的回声,这表明存在混响问题。
为了解决这一问题,可以加入能够吸收声音的柔软材料。考虑使用地毯、地垫或厚窗帘来显著减少反射。覆盖硬质地板,并尽可能在窗户上挂窗帘,同时在房间内放置带有织物覆盖的家具,这些都可以起到一定作用。
避免使用硬质表面,因为它们会加剧问题。如果无法负担专业的声学面板,可以利用日常物品,如画布画作、挂毯或泡沫板来打破这些表面。
在设置麦克风时,请注意其摆放位置。避免将麦克风放置在离墙太近或角落的位置。相反,尽量将其放置在房间的中央,或尝试不同的位置,以找到混响最小的最佳点。
在录音过程中,尤其是在录制人声时,耳机的音频泄漏到麦克风是很常见的。当耳机音量设置过高或使用开放式耳机时,就会出现这种问题。在录制歌曲时,这可能是可以接受的,但在为歌声模型录制时,应尽量避免这种音频泄漏。
对于正常音量,建议将自己与麦克风的距离保持在约2英寸左右。然而,对于较高音量的乐句或高声演唱时,建议将距离增加到约4-6英寸。需要注意的是,为了保持最佳音频捕捉效果,始终应确保与麦克风的距离不超过12英寸。
为高声歌唱创造空间在使用爆发力唱法时,重要的是要给自己留出足够的空间,包括麦克风的距离和所处房间的大小。过度的声音隔离,比如被限制在衣柜或录音棚中,或者用泡沫围住麦克风,可能会导致麦克风胶囊过载。如果不确定,建议在演唱高亢句段时可以通过让环境声音(房间的自然混响)更多地进入录音中,来避免声音过于干涩或失真。
语言
基础定制槽位
在基础定制槽位中训练的歌声模型仅支持一种演唱语言。
专业定制槽位
您专业定制槽位中的歌声模型可以支持多语言。
您样本中的语言
在训练过程中,每个样本文件将被单独处理,并视为单一语言文件。请务必避免在同一样本文件中混合不同语言的短语。
上传样本时,请确保将它们放置在相应的语言标签下。即使是为基础定制槽位上传样本,您也可以根据需要上传不同语言的样本。按语言分类整理样本有助于保持清晰性并改进训练过程。
即将推出的语言
我们正在不断开发新的歌唱语言,用于定制歌手功能。
针对您的新歌声模型:
- 新语言将通过新的专业定制槽位支持。
- 新语言将成为新的基础定制槽位支持的选项之一。
针对您的现有歌声模型:
- 在重新训练您的专业定制槽位时,新语言将获得支持。
- 在重新训练您的基础定制槽位时,新语言将作为可选项。
唱歌或说话
歌唱样本和语音样本都可以用于训练您的歌声模型。
您的歌声模型可以:
- 从您的歌唱样本和语音样本中学习音色,但请注意:对于一个人来说,讲话的音色可能与歌唱的音色不同,通常无法代表真实的歌唱表现。
- 从您的歌唱样本中学习歌唱风格。
您的歌声模型无法:
- 从您的语音样本中学习歌唱风格。
文件质量设置
您的样本音频质量会直接影响歌声模型的质量。
我们建议您将音频质量设置为:
- 位深度 = 16位
- 采样率 = 44.1kHz 或 48kHz
- 无损文件格式(.wav 或 .flac)
后处理
为了保持目标声音的自然特性和清晰度:
- 避免重叠:多层人声会增加AI分析的复杂性。避免重叠的录音,坚持使用单一的人声轨道,以确保AI能够准确处理并学习您的样本。
- 避免硬切:硬切会导致突兀的开头或结尾,这在自然的歌声中并不常见,且可能引入点击声或爆破音。在人声片段的开头和结尾使用平滑的淡入淡出,以实现更自然的过渡。
- 避免重复段落:重复的段落对训练没有帮助。您的歌声模型需要表演中的自然变化来提升效果。
- 控制音量:确保您的样本音量保持在音量表的30%-50%之间。使用音量推子或自动化工具确保整个数据集的音量水平一致。目标是保持录音的整体音量一致,同时保留段落内的动态变化。
训练你的歌声模型
定制槽位
基础定制槽为您提供单语音模型,共有5个版本。
专业定制槽为您提供多语音模型,共有5个版本。
点击一个空位开始上传您的样本。
所有样本上传完成后,训练将自动开始。您可以通过刷新网页查看状态。
当训练页面切换到模型管理页面时,您的模型已成功设置。它将显示在ACE Studio的歌声合成库中。如果未看到,请尝试重新启动ACE Studio。
专业提示
如果您希望为声线定制独特的表现力和个性化特征,比如在不同音域或情感上的最佳效果,那么将样本分为多个歌声模型会更好。
以下是一个例子:
Mike是一位专业歌手,他希望定制属于自己的歌声模型。他既擅长男高音,也擅长男低音。因此,最好训练两个歌声模型:
- 基于大多数高音且富有力量的演唱样本,训练一个高音&有力的模型。
- 基于大多数低音乐句的样本,训练一个低音模型。