知行编程网知行编程网  2022-08-01 17:00 知行编程网 隐藏边栏 |   抢沙发  239 
文章评分 0 次,平均分 0.0

GitHub 热榜:让动漫人物跟着你开口说话!

来自 | 量子位

GitHub 热榜:让动漫人物跟着你开口说话!
只需要输入一段语音,代码会自动生成与之相对的动画唇形。
还是毫无违和感的那种。
GitHub 热榜:让动漫人物跟着你开口说话!
这是一个在 GitHub 上拥有 501 星的开源项目,叫做 Rhubarb Lip Sync
它既可以是 Windows 和 OS X 命令行工具,也可以作为软件的插件使用,能够根据语音记录自动创建 2D 嘴型动画。
它可以用于计算机游戏、动画卡通中的角色,或者用于其他需要基于现有录音、对嘴部进行动画处理的的影视项目。
那么,它是怎么实现如此效果的呢?

运作原理

首先,了解一下动画人物说话的六种嘴型。
GitHub 热榜:让动漫人物跟着你开口说话!
上述六种嘴型是由汉娜・巴贝拉(Hanna-Barbera)发明,已经成为 2D 动画嘴型的制作标准,被迪士尼和华纳兄弟等影视公司在多部影视作品采用。
GitHub 热榜:让动漫人物跟着你开口说话!
大多数的发音,都可以用这六种嘴型表示出来。
因此,Rhubarb Lip Sync 工作的步骤如下:
  • 输入一段语音

  • Lip Sync 识别这段语音

  • 使用六个基本嘴形和最多三个扩展嘴形与语音匹配

  • 输出一个固定格式的文件

假如我说个奇怪的方言,它也能输出相应的嘴型动画吗?
当然不是。
目前,Rhubarb Lip Sync 只提供了两个语音识别系统:
  • PocketSphinx:只能识别英语,准确率更高。

  • Phonetic :能识别所有语言,因为它是依据个人的声音和音节判别的,但准确率不如前者。

那么,这个小工具可以跟哪些视频软件融合使用呢?

可适用于多款软件

Adobe After Effects

可以在下载 Rhubarb Lip Sync,并且安装到 AE 上,可以直接在 AE 上运行这个软件。
GitHub 热榜:让动漫人物跟着你开口说话!

Moho and OpenToonz

Rhubarb Lip Sync 能够生成.dat 文件,这种文件可以被 Moho and OpenToonz 识别,并导入使用。
GitHub 热榜:让动漫人物跟着你开口说话!
Spine by Esoteric Software
Rhubarb Lip Syn for Spine 是一个图形工具,可让导入 Spine 项目,执行自动唇形同步,然后将结果重新导入 Spine。
GitHub 热榜:让动漫人物跟着你开口说话!
Vegas Pro by Magix
Rhubarb Lip Syn 还附带了两个用于 Vegas Pro(以前称为 Sony Vegas)的插件脚本,可直接在 Vegas 中使用。
GitHub 热榜:让动漫人物跟着你开口说话!
赶快把这个小工具推荐给你喜欢做视频的朋友吧~
源代码地址:
https://github.com/DanielSWolf/rhubarb-lip-sync
最新版本的下载地址:
https://github.com/DanielSWolf/rhubarb-lip-sync/releases
https://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/AdobeAfterEffects/README.adoc
https://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/EsotericSoftwareSpine/README.adoc
<section data-brushtype="text" style="padding-right: 0em;padding-left: 0em;white-space: normal;font-size: 16px;letter-spacing: 0.544px;color: rgb(62, 62, 62);font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;widows: 1;word-spacing: 2px;caret-color: rgb(255, 0, 0);text-align: center;"><strong style="color: rgb(0, 0, 0);font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;font-size: 14px;"><strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;">—</span></strong>完<strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;font-size: 14px;"><strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;">—</span></strong></span></strong></span></strong></section><pre style="color: rgb(86, 86, 86);font-size: 16px;letter-spacing: 1px;text-align: left;"><pre><section style="letter-spacing: 0.544px;white-space: normal;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;"><section powered-by="xiumi.us"><section style="margin-top: 15px;margin-bottom: 25px;opacity: 0.8;"><section><section style="letter-spacing: 0.544px;"><section powered-by="xiumi.us"><section style="margin-top: 15px;margin-bottom: 25px;opacity: 0.8;"><section><section style="margin-bottom: 15px;padding-right: 0em;padding-left: 0em;color: rgb(127, 127, 127);font-size: 12px;font-family: sans-serif;line-height: 25.5938px;letter-spacing: 3px;text-align: center;"><span style="color: rgb(0, 0, 0);"><strong><span style="font-size: 16px;font-family: 微软雅黑;caret-color: red;">为您推荐</span></strong></span></section><p style="margin: 5px 16px;padding-right: 0em;padding-left: 0em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">彻底搞懂机器学习中的正则化<br  /></p><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">我在哥大读博的五年,万字总结<br  /></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">一个算法工程师的日常是怎样的?</section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;"><span style="font-size: 14px;">吴恩达上新:生成对抗网络(GAN)专项课程</span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">从SGD到NadaMax,十种优化算法原理及实现</section></section></section></section></section></section></section></section></section>

GitHub 热榜:让动漫人物跟着你开口说话!

本篇文章来源于: 深度学习这件小事

本文为原创文章,版权归所有,欢迎分享本文,转载请保留出处!

知行编程网
知行编程网 关注:1    粉丝:1
这个人很懒,什么都没写

发表评论

表情 格式 链接 私密 签到
扫一扫二维码分享