【MoeSS】 一个文本转语音、音色转换和歌唱合成的工具

一个基于深度学习的Speech Synthesis软件,可以用来制作系统语音包,歌唱合成等

# 软件概述

前言

写在前面 防止一些不必要的麻烦
软件是绝对100%免费的 与Maple的美化工具一致 未来也没有收费的打算

关于技术:
软件基于MapleMiaoUI编写 所以开发者并不是我一个人,而是我和Maple
AI的转换部分使用了OnnxRuntime 比起PyTorch不需要几个G的依赖 所以更加轻量 而且CPU上的推理速度也非常可观

# 主要功能

本软件致力于简单便捷的TTS以及VC 省去了繁琐且容易出问题的Python依赖安装环节 而UI方便了非控制台用户的使用。

目前拥有的功能:

  • [Tacotron2] 文本转语音 (TTS)  不包含CharacterEmbedding 项目地址:DeepLearningExamples
  • [Vits] 文本转语音 (TTS)  包含CharacterEmbedding 项目地址:Vits
  • [SoftVits] 说话人转换 (VC)  包含CharacterEmbedding 项目地址:SoftVits
  • [DiffSvc] 说话人转换 (VC)  包含CharacterEmbedding 项目地址:DiffSvc
  • [EmotionalVits] 文本转语音 (TTS)  包含CharacterEmbedding和EmotionVector 项目地址:EmotionalVits

名词解释:

  • 文本转语音:将用户输入的自然语言或音素转换为语音的技术 (声调和情感可以通过特殊符号或者下文将要提到的EmotionVector控制 没有特殊符号标注或者EmotionVector的无法控制声调和情感)  可以用来作语音包等
  • 说话人转换:将用户输入的纯人声音频的音色转化为目标角色的技术 可以做到情感声调音高可控 (以输入音频为准)  此类项目可以用来制作语音包或者进行歌唱合成等
  • CharacterEmbedding:角色嵌入 拥有该项的即可以在一个模型中包含多个角色的音色
  • EmotionVector:情感向量 拥有该项目的文本转语音项目支持控制输出语音的情感

# 兼容性

系统版本支持:
仅支持64位Windows操作系统


# 使用方法

下载和安装

  1. 前往GitHubRelease:MoeSS 处下载最新的压缩包 最好解压到系统盘以外的盘符防止权限问题
  2. 如果需要使用Tacotron2 需要下载 Release – 3.0.0 处的Hifigan.7z 将其中后缀为.onnx的文件解压到Hifigan文件夹下;如果需要使用SoftVits 需要下载 Release – 3.0.0 处的Hubert.7z 将其中后缀为.onnx的文件解压到Hubert文件夹下;如果需要使用DiffSvc 需要下载 Release – 3.0.0 处的nsf_hifigan.7z 将其中后缀为.onnx的文件解压到Hifigan文件夹下
  3. 在mods文件夹中解压你下载的模型 (应当是一个json和一个文件夹)  也可以自行制作模型 可以在 MoeSS 中查看详细的制作方法 并在我的GitHub仓库中找到相应的Onnx转换项目
  4. 如果使用TTS项目 则需要下载模型指定的Cleaner并解压到Cleaners文件夹下 Cleaner用于将用户输入文本转化为网络能够识别的字符
  5. 打开MoeSS.exe 选择一个模型 输入需要转换的内容 点击开始转换即可

# 模型配置项

{
    "Folder" : "SummerPockets",
    "Name" : "SummerPocketsReflectionBlue",
    "Type" : "VITS_VCTK",
    "Symbol" : "_,.!?-~…AEINOQUabdefghijkmnoprstuvwyzʃʧʦ↓↑" ,
    "Cleaner" : "LowerCharacters",
    "Rate" : 22050,
    "Hop" : 0,
    "Hifigan": "hifigan",
    "SoVits3": false,
    "Hubert": "hubert",
    "Pndm" : 100,
    "MelBins" : 128,
    "Characters" : ["鳴瀬しろは","空門蒼","鷹原うみ","紬ヴェンダース","神山識","水織静久","野村美希","久島鴎","岬鏡子"],
    "Emotional" : true,
    "EmotionalPath" : "all_emotions"
}
本软件标准化了模型读取模块 模型保存在Mods文件夹下的子文件夹中***.json文件用于声明模型路径以及其显示名称 以我的模型为例(SummerPockets.json)
其中必填项目为Folder Name Type Rate
TTS(Tacotron2 Vits 串联用模型)需要填写Symbol,Cleaner
无自带声码器的项目(Tacotron2,DiffSvc)需要填写Hifigan(hifigan模型应该放置于hifigan,该项设置为模型文件名(不带后缀))
VC(Sovits DiffSvc)需要填写Hop和Hubert(Hubert放到Hubert文件夹下)
SoVits3为Sovits3.0的标记 如果该模型基于SoVits3.0训练则需要填写为true
DiffSvc需要填写Pndm(就是你导出模型时的加速倍率)MelBins(在你的模型config.yaml里面的前几项有一个带mel_bins的一项)
含CharacterEmbidding的(Vits多人模型 Sovits)需要填写Characters
含EmotionVector的需要填写Emotional EmotionalPath

# 演示及教程视频

NaruseMioYumemiShirakana


# 用户协议

使用该项目代表你同意如下几点:

  • 1、你愿意自行承担由于使用该项目而造成的一切后果。
  • 2、你承诺不会出售该程序以及其附属模型,若由于出售而造成的一切后果由你自己承担。
  • 3、你不会使用之从事违法活动,若从事违法活动,造成的一切后果由你自己承担。
  • 4、禁止用于任何商业游戏、低创游戏以及Galgame制作,不反对无偿的精品游戏制作以及Mod制作。
  • 5、禁止使用该项目及该项目衍生物以及发布模型等制作各种电子垃圾(比方说AIGalgame,AI游戏制作等)

Q&A:

Q:该项目以后会收费吗?

A:该项目为永久免费、暂时闭源的项目,如果在其他地方存在本软件的收费版本,请立即举报且不要购买,本软件永久免费。如果想用疯狂星期四塞满白叶,可以前往爱发癫 https://afdian.net/a/NaruseMioShirakana

Q:是否提供有偿模型代训练?

A:原则上不提供,训练TTS模型比较简单,没必要花冤枉钱,按照网上教程一步一步走就可以了。提供免费的Onnx转换。

Q:电子垃圾评判标准是什么?

A:1、原创度。自己的东西在整个项目中的比例(对于AI来说,使用完全由你独立训练模型的创作属于你自己;使用他人模型的创作属于别人)。涵盖的方面包括但不限于程序、美工、音频、策划等等。举个例子,套用Unity等引擎模板换皮属于电子垃圾。2、开发者态度。作者开发的态度是不是捞一波流量和钱走人或单纯虚荣。比方说打了无数的tag,像什么“国产”“首个”“最强”“自制”这种引流宣传,结果是非常烂或是平庸的东西,且作者明显没有好好制作该项目的想法,属于电子垃圾。3、反对一切使用未授权的数据集训练出来的AI模型商用的行为。

Q:技术支持?

A:如果能够确定你做的不是电子垃圾,我会提供一些力所能及的技术支持。


本项目在这里将致力于Windows美化中的语音包美化。

win10-主题工具

弹出控件透明工具–TranslucentFlyouts

2023-1-20 23:02:46

win10-主题工具工具

【ClippedTB】带有抗锯齿改进的RoundedTB同类工具

2023-9-11 21:55:51

注意事项 (新版主题请无视)

未标注"美化包、预设包"的属于传统主题! 使用传统主题或工具前,请查看支持的系统版本号,跨多版本使用会黑屏!

系统为1903以上的!遇到文件夹没有背景,文件图标不显示请用若枫萌化箱安装补丁。(装补丁时当前主题必须切换至其他)

关于系统兼容性:1607=单独版本、通用版本=1703.1709.1803.1809.1903.1909.2004.20H2(该版本需要额外装补丁,否则文件夹背景不显示)

格式为.SMaple的文件是若枫主题包需要用若枫萌化箱安装,若枫主题为专用主题,独家或win10重制版主题!

win10◆主题安装教程◆ 如果您喜欢我们的作品欢迎赞助我们~ (* ̄︶ ̄)戳我~
18 条回复 A文章作者 M管理员
  1. ꧁ぉ琼璾ぉ꧂
    Microsoft Edge 123 Microsoft Edge 123 Windows 10 Windows 10

    感谢大佬

  2. Xephere
    Microsoft Edge 122 Microsoft Edge 122 Windows 11 Windows 11

    感谢大佬

搜索
隐藏
变装