“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”
最近TikTok上火了一对日本JK双胞胎姐妹花,姐妹俩能火速出圈的原因→舞蹈实在是太过软萌可爱,看着看着心都化了;其二,她们背靠庞大的二次元军团!
是的!这对名叫HinaHima的姐妹花是动漫人物,是日本KaKa Creation公司去年11月推出的动漫TikToker项目的主角,随着两姐妹跳舞系列视频的发布,也收获了不少关注。
在制作这些跳舞视频时,背后团队KaKa Creation还利用到了Stable Diffusion AI。
最值得一提的是制作过程中,KaKa Creation在确保生成大量高质量内容的同时,还解决了AI使用中可能产生的版权问题。
KaKa Creation是一家利用AI来制作动画以及提供内容服务开发的公司,其目标是利用AI技术赋能创作者,拓展创作的可能性。
这对JK双胞胎姐妹的形象,由知名动画《Love Live! Nijigasaki High School Idol Club》的角色设计师横田拓己操刀,在制作动画的过程中尝试引入虚幻引擎(Unreal Engine)和AI技术。
为了避免版权和抄袭问题,实现“清白制作”,KaKa Creation团队自主开发了名为LoRA的学习模型,来记录特定角色细节,并在此基础上确立了一套行之有效的AI驱动动画制作流程。
下面就让我们一起来看一下,这对萌翻一众网友的姐妹花是如何诞生的吧。
利用AI的动画制作流程
01
KaKa Creation公司之所以启动这个"双胞胎TikToker"项目,目的之一是利用AI技术来减少动画制作的工作量。
如今动画创作变得越来越贴近大众生活,将AI技术引入到动画制作,也许会进一步推动这种趋势,让动画创作变得更加民主化和大众化;因此,他们希望通过这个项目来实践AI在动画制作中的应用。
但要制作一部完整动画作品太过庞大和复杂,难以全面尝试AI技术,最终他们选择了在TikTok上发布简短的舞蹈动画视频。
经过一番对如何将AI技术融入数字化动画制作流程的探索后,KaKa Creation决定在后期制作环节引入AI技术。
先用3D角色制作舞蹈动画,舞蹈动作使用动作捕捉,然后使用AI工具加工成手绘画作的风格。由于将3D场景与最终的2D画面合成时,调整的成本很高,而恰好Stable Diffusion在控制角色物体变形和抖动方面都非常出色,它可以在3D画面转化为手绘画作风格过程中既保证质量又降低制作成本。
使用AI的工作流程是:在Maya中创建基础资产,在UE中构建场景渲染后,使用Stable Diffusion进行画面风格加工。
资产准备和整体制作过程
02
将异常情况降至最低
主要使用到的制作工具是Maya、Unreal Engine和Stable Diffusion,在项目启动后,角色制作和各阶段的技术验证是同时进行的。
负责角色模型制作的坂本圭司表示,由于需要用AI进行后期加工,所以与通常的模型制作相比,需要尽量地减少模型中的细节元素。在忠实再现角色原始设计的基础上,添加一些控制动作的设置;但表情部分,只制作了一些最基本的表情形态,避免过于复杂的模型细节影响AI后期加工的效果。
在测试阶段,KaKa Creation团队也得到了一些反馈,对部分内容进行了调整(比如测试时发现头发和裙子等部位的运动过于剧烈导致抖动,为了更好地表现大幅度动作,减少了节点数量)。
至于为什么要使用UE,技术人员也给出了解释:虽然目前动画制作现场很少引入UE,但其在模拟运动、灯光等方面的功能非常出色;且团队可以利用AI自动修正其存在的物体穿模等问题。
另外,为了在利用AI技术的同时还能规避侵犯版权的风险,KaKa Creation还自主开发了名为"LoRA"的学习模型,可在Stable Diffusion内使用,能够记录和学习特定角色的细节特征。
为了避免训练数据不足导致质量受限,除了利用手绘的插画外,还准备了500多张3D模型渲染图作为训练数据集,实现了在不破坏模型形状的情况下进行风格转移。
横田拓己负责角色设计
以下是由横田拓己为双胞胎中的姐姐Hima设计的角色形象。
专为AI加工设计的角色模型和纹理
Hina模型
Hima模型
Hima头发部分骨骼驱动
纹理
纹理
UE中的模拟
1.Chaos RBAN (Rigid Body Animation Node)的基本物理设置界面。Mass(质量)和Damping(阻尼)的调整占了页面大部分区域,但也为每个单独的身体(为计算而简化的3D网格)设置了不同的质量值。
Stable Diffusion后期加工
因为是用3D渲染的CG作为输入,再由Stable Diffusion生成AI风格的动画帧,所以工作过程中主要使用了Stable Diffusion的"img2img"(以图像作为输入,再基于该输入图像生成新的AI图像的功能)选项卡下的批量处理功能。
在测试和调试过程中,需要对文件进行各种操作(比如查看、移动、重命名等),因此在工作时总是显示文件资源管理器界面。此外,团队还使用了自制的Python工具,用于简单制作mp4文件、重命名文件等。
使用Stable Diffusion生成动画的演示范例
保证质量的学习模型【LoRA】
在这个项目中,KaKa Creation团队为LoRA模型提供了500多个不同的学习数据(包括这些角色的不同视角、动作姿势等细节数据),让LoRA模型充分学习和记录下这些角色的独特特征。
通过大量类似的学习数据输入,LoRA模型能够在AI生成图像时,更准确地重现和保持角色的完整形象,防止出现形体失真或是局部特征被破坏的情况,从而保证了生成内容的质量。
LoRA模型概念图
除了质量保证,团队采用这种大规模记录学习模型的方式,还有一个重要作用,那就是避免AI生成的内容与现有作品过于相似,从而规避了侵犯版权的风险。
通过LoRA模型对自家角色特征的大量学习记录,AI生成的内容不仅能够高度还原自家角色,而且不会抄袭或模仿现有其他作品的元素,也就确保了AI应用的原创性和合规性。
减少动画帧之间的抖动
在使用AI将3D渲染内容转换成2D风格的时候,团队遇到了一大挑战,就是如何减少动画帧之间的抖动。
他们综合运用LoRA模型和Stable Diffusion的其他功能和参数设置,试图最大程度保留细节并减少抖动,但由于这两者之间存在一定矛盾和权衡,仍需要多次试验和调整,以寻找最佳平衡点。
这里已经进行了抑制抖动的设置,但从结果来看仍然有些不尽人意
最近呈现的效果
好啦,以上就是JK双生姐妹花HinaHima背后的故事~
https://www.tiktok.com/@hinahimaa
end
本文来自新知号自媒体,不代表商业新知观点和立场。 若有侵权嫌疑,请联系商业新知平台管理员。 联系方式:system@shangyexinzhi.com