【MoeSS】 一个文本转语音、音色转换和歌唱合成的工具
工具

【MoeSS】 一个文本转语音、音色转换和歌唱合成的工具

4.5k 字 · 约 14 分钟
2023年2月3日
9905 阅读
0 点赞
0 收藏
6 评论

软件概述

写在前面,防止一些不必要的麻烦 软件是绝对100%免费的 与Maple的美化工具一致 未来也没有收费的打算

技术实现

软件基于Maple的MiaoUI编写 所以开发者并不是我一个人,而是我和Maple
AI的转换部分使用了OnnxRuntime 比起PyTorch不需要几个G的依赖 所以更加轻量 而且CPU上的推理速度也非常可观

主要功能

本软件致力于简单便捷的TTS以及VC 省去了繁琐且容易出问题的Python依赖安装环节 而UI方便了非控制台用户的使用。

支持的项目

  • Tacotron2 文本转语音 (TTS)  不包含CharacterEmbedding 项目地址:DeepLearningExamples
  • Vits 文本转语音 (TTS) 包含CharacterEmbedding项目地址:Vits
  • SoftVits 说话人转换 (VC) 包含CharacterEmbedding项目地址:SoftVits
  • DiffSvc 说话人转换 (VC) 包含CharacterEmbedding项目地址:DiffSvc
  • EmotionalVits 文本转语音 (TTS) 包含CharacterEmbedding和EmotionVector 项目地址:EmotionalVits

名词解释

  • 文本转语音:将用户输入的自然语言或音素转换为语音的技术 (声调和情感可以通过特殊符号或者下文将要提到的EmotionVector控制 没有特殊符号标注或者EmotionVector的无法控制声调和情感)  可以用来作语音包等
  • 说话人转换:将用户输入的纯人声音频的音色转化为目标角色的技术 可以做到情感声调音高可控 (以输入音频为准)  此类项目可以用来制作语音包或者进行歌唱合成等
  • CharacterEmbedding:角色嵌入 拥有该项的即可以在一个模型中包含多个角色的音色
  • EmotionVector:情感向量 拥有该项目的文本转语音项目支持控制输出语音的情感

兼容性

系统版本支持:
仅支持64位Windows操作系统

使用方法

下载和安装

  1. 将软件压缩包解压到系统盘以外的目录,避免权限问题。
  2. 如果需要使用Tacotron2 需要准备Hifigan.7z 将其中后缀为.onnx的文件解压到Hifigan文件夹下;如果需要使用SoftVits 需要准备Hubert.7z 将其中后缀为.onnx的文件解压到Hubert文件夹下;如果需要使用DiffSvc 需要准备nsf_hifigan.7z 将其中后缀为.onnx的文件解压到Hifigan文件夹下
  3. 在mods文件夹中解压你下载的模型 (应当是一个json和一个文件夹)  也可以自行制作模型,并在作者的 GitHub 仓库中查阅相应的 Onnx 转换项目
  4. 如果使用TTS项目 则需要下载模型指定的Cleaner并解压到Cleaners文件夹下 Cleaner用于将用户输入文本转化为网络能够识别的字符
  5. 打开MoeSS.exe 选择一个模型 输入需要转换的内容 点击开始转换即可

模型配置项

模型 JSON 示例与配置字段说明
text
{
    "Folder" : "SummerPockets",
    "Name" : "SummerPocketsReflectionBlue",
    "Type" : "VITS_VCTK",
    "Symbol" : "_,.!?-~…AEINOQUabdefghijkmnoprstuvwyzʃʧʦ↓↑" ,
    "Cleaner" : "LowerCharacters",
    "Rate" : 22050,
    "Hop" : 0,
    "Hifigan": "hifigan",
    "SoVits3": false,
    "Hubert": "hubert",
    "Pndm" : 100,
    "MelBins" : 128,
    "Characters" : ["鳴瀬しろは","空門蒼","鷹原うみ","紬ヴェンダース","神山識","水織静久","野村美希","久島鴎","岬鏡子"],
    "Emotional" : true,
    "EmotionalPath" : "all_emotions"
}

本软件标准化了模型读取模块 模型保存在Mods文件夹下的子文件夹中***.json文件用于声明模型路径以及其显示名称 以我的模型为例(SummerPockets.json)

其中必填项目为Folder Name Type Rate

TTS(Tacotron2 Vits 串联用模型)需要填写Symbol,Cleaner

无自带声码器的项目(Tacotron2,DiffSvc)需要填写Hifigan(hifigan模型应该放置于hifigan,该项设置为模型文件名(不带后缀))

VC(Sovits DiffSvc)需要填写Hop和Hubert(Hubert放到Hubert文件夹下)

SoVits3为Sovits3.0的标记 如果该模型基于SoVits3.0训练则需要填写为true

DiffSvc需要填写Pndm(就是你导出模型时的加速倍率)MelBins(在你的模型config.yaml里面的前几项有一个带mel_bins的一项)

含CharacterEmbidding的(Vits多人模型 Sovits)需要填写Characters

含EmotionVector的需要填写Emotional EmotionalPath

演示及教程视频

NaruseMioYumemiShirakana

用户协议

使用该项目代表你同意如下几点

  • 1、你愿意自行承担由于使用该项目而造成的一切后果。
  • 2、你承诺不会出售该程序以及其附属模型,若由于出售而造成的一切后果由你自己承担。
  • 3、你不会使用之从事违法活动,若从事违法活动,造成的一切后果由你自己承担。
  • 4、禁止用于任何商业游戏、低创游戏以及Galgame制作,不反对无偿的精品游戏制作以及Mod制作。
  • 5、禁止使用该项目及该项目衍生物以及发布模型等制作各种电子垃圾(比方说AIGalgame,AI游戏制作等)

常见问题

该项目以后会收费吗?

A:该项目为永久免费、暂时闭源的项目,如果在其他地方存在本软件的收费版本,请立即举报且不要购买,本软件永久免费。如果想用疯狂星期四塞满白叶,可以前往爱发癫 https://afdian.net/a/NaruseMioShirakana

是否提供有偿模型代训练?

A:原则上不提供,训练TTS模型比较简单,没必要花冤枉钱,按照网上教程一步一步走就可以了。提供免费的Onnx转换。

电子垃圾评判标准是什么?

A:1、原创度。自己的东西在整个项目中的比例(对于AI来说,使用完全由你独立训练模型的创作属于你自己;使用他人模型的创作属于别人)。涵盖的方面包括但不限于程序、美工、音频、策划等等。举个例子,套用Unity等引擎模板换皮属于电子垃圾。2、开发者态度。作者开发的态度是不是捞一波流量和钱走人或单纯虚荣。比方说打了无数的tag,像什么“国产”“首个”“最强”“自制”这种引流宣传,结果是非常烂或是平庸的东西,且作者明显没有好好制作该项目的想法,属于电子垃圾。3、反对一切使用未授权的数据集训练出来的AI模型商用的行为。

技术支持?

A:如果能够确定你做的不是电子垃圾,我会提供一些力所能及的技术支持。

软件预览

本项目在这里将致力于Windows美化中的语音包美化

工具截图

语音包

以下语音模型需要搭配 MoeSS 使用,安装方式见上方“下载和安装”。

Pieces 全女主 Vits 模型

原版地址:Hugging Face · PiecesOnnx

模型文件:PiecesVits.7z。

SummerPockets 全角色 Vits 模型

原版地址:Hugging Face · SummerPocketsOnnx

模型文件:SummerPocketsVits.7z;仓库另附白羽 SoftVits 模型 ShirohaSoftVits.7z。

文章资源

1 个附件

附件暂未解锁

登录后可见


相关推荐

文件资源管理器Blur(毛玻璃)工具
2.4万 阅读•32 评论

文件资源管理器Blur(毛玻璃)工具

Maple2022年8月27日
枫の美化工具箱 v2.0.2
74.7万 阅读•2.1万 评论

枫の美化工具箱 v2.0.2

Maple2022年2月25日
自定义文件夹背景工具
9.2万 阅读•2752 评论

自定义文件夹背景工具

Maple2021年7月16日
ExplorerPatcher(Windows11系统功能修补/调整工具)
2.3万 阅读•18 评论

ExplorerPatcher(Windows11系统功能修补/调整工具)

Tsakura2022年8月12日
若枫-主题管理器
1.3万 阅读•519 评论

若枫-主题管理器

Maple2020年3月19日