首页 关于我们

CG世界 2024/03/08 11:36

“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”

中国很有影响力影视特效CG动画领域自媒体


最近TikTok上火了一对日本JK双胞胎姐妹花,姐妹俩能火速出圈的原因→舞蹈实在是太过软萌可爱,看着看着心都化了;其二,她们背靠庞大的二次元军团!

是的!这对名叫HinaHima的姐妹花是动漫人物,是日本KaKa Creation公司去年11月推出的动漫TikToker项目的主角,随着两姐妹跳舞系列视频的发布,也收获了不少关注。

在制作这些跳舞视频时,背后团队KaKa Creation还利用到了Stable Diffusion AI。

最值得一提的是制作过程中,KaKa Creation在确保生成大量高质量内容的同时,还解决了AI使用中可能产生的版权问题。

KaKa Creation是一家利用AI来制作动画以及提供内容服务开发的公司,其目标是利用AI技术赋能创作者,拓展创作的可能性。

这对JK双胞胎姐妹的形象,由知名动画《Love Live! Nijigasaki High School Idol Club》的角色设计师横田拓己操刀,在制作动画的过程中尝试引入虚幻引擎(Unreal Engine)和AI技术

为了避免版权和抄袭问题,实现“清白制作”,KaKa Creation团队自主开发了名为LoRA的学习模型,来记录特定角色细节,并在此基础上确立了一套行之有效的AI驱动动画制作流程。

下面就让我们一起来看一下,这对萌翻一众网友的姐妹花是如何诞生的吧

利用AI的动画制作流程



01

KaKa Creation公司之所以启动这个"双胞胎TikToker"项目,目的之一是利用AI技术来减少动画制作的工作量。

如今动画创作变得越来越贴近大众生活,将AI技术引入到动画制作,也许会进一步推动这种趋势,让动画创作变得更加民主化和大众化;因此,他们希望通过这个项目来实践AI在动画制作中的应用。

但要制作一部完整动画作品太过庞大和复杂,难以全面尝试AI技术,最终他们选择了在TikTok上发布简短的舞蹈动画视频。

经过一番对如何将AI技术融入数字化动画制作流程的探索后,KaKa Creation决定在后期制作环节引入AI技术。

先用3D角色制作舞蹈动画,舞蹈动作使用动作捕捉,然后使用AI工具加工成手绘画作的风格。由于将3D场景与最终的2D画面合成时,调整的成本很高,而恰好Stable Diffusion控制角色物体变形和抖动方面都非常出色它可以在3D画面转化为手绘画作风格过程中既保证质量又降低制作成本。

使用AI的工作流程是:在Maya中创建基础资产,在UE中构建场景渲染后,使用Stable Diffusion进行画面风格加工。

资产准备和整体制作过程



02

将异常情况降至最低

主要使用到的制作工具是Maya、Unreal Engine和Stable Diffusion,在项目启动后,角色制作和各阶段的技术验证是同时进行的。

负责角色模型制作的坂本圭司表示,由于需要用AI进行后期加工,所以与通常的模型制作相比,需要尽量地减少模型中的细节元素。在忠实再现角色原始设计的基础上,添加一些控制动作的设置;但表情部分,只制作了一些最基本的表情形态,避免过于复杂的模型细节影响AI后期加工的效果。

在测试阶段,KaKa Creation团队也得到了一些反馈,对部分内容进行了调整(比如测试时发现头发和裙子等部位的运动过于剧烈导致抖动,为了更好地表现大幅度动作,减少了节点数量)。

至于为什么要使用UE,技术人员也给出了解释:虽然目前动画制作现场很少引入UE,但其在模拟运动、灯光等方面的功能非常出色;且团队可以利用AI自动修正其存在的物体穿模等问题。

另外,为了在利用AI技术的同时还能规避侵犯版权的风险,KaKa Creation还自主开发了名为"LoRA"的学习模型,可在Stable Diffusion内使用,能够记录和学习特定角色的细节特征。

为了避免训练数据不足导致质量受限,除了利用手绘的插画外,还准备了500多张3D模型渲染图作为训练数据集,实现了在不破坏模型形状的情况下进行风格转移。

横田拓己负责角色设计

以下是由横田拓己为双胞胎中的姐姐Hima设计的角色形象。

专为AI加工设计的角色模型和纹理

通常创建模型时,为了不让它在动画中看起来太单薄,都会使用“赘肉”建模。而在这个项目中,因为后期会用到AI处理,因此采用了直线式轮廓,同时也为了防止修改时出现皱纹等问题,去除了凸起细节。
另外,纹理也只制作了颜色和固定阴影,面部只保留了基本的表情和嘴巴形状。

Hina模型

Hina头发部分骨骼驱动

Hima模型


Hima头发部分骨骼驱动

纹理


纹理

FacialTarget

UE中的模拟

1.Chaos RBAN (Rigid Body Animation Node)的基本物理设置界面。Mass(质量)和Damping(阻尼)的调整占了页面大部分区域,但也为每个单独的身体(为计算而简化的3D网格)设置了不同的质量值。

2.导入动画数据后的时间线界面。在模拟效果还不理想时,可以在这里进一步调整和补偿。

3.Animation Blueprint的一部分。在使用Chaos RBAN系统进行基础物理模拟后,团队还大胆使用了一个名为Kawaii Physics的插件,是一个能够提供“伪物理”效果的第三方插件,比基础的物理模拟系统有更多的拓展和控制能力。
虽然这一做法并不常规,但在物理模拟和动画方面仍有很大的实验空间。

4.Movie Render Queue(用于渲染动画和视频的任务管理系统)。在这里,可以通过输入额外的特殊参数,从而对角色进行一些变形处理。

Stable Diffusion后期加工

因为是用3D渲染的CG作为输入,再由Stable Diffusion生成AI风格的动画帧,所以工作过程中主要使用了Stable Diffusion的"img2img"(以图像作为输入,再基于该输入图像生成新的AI图像的功能)选项卡下的批量处理功能。

在测试和调试过程中,需要对文件进行各种操作(比如查看、移动、重命名等),因此在工作时总是显示文件资源管理器界面。此外,团队还使用了自制的Python工具,用于简单制作mp4文件、重命名文件等。

使用Stable Diffusion生成动画的演示范例

保证质量的学习模型【LoRA】

在这个项目中,KaKa Creation团队为LoRA模型提供了500多个不同的学习数据(包括这些角色的不同视角、动作姿势等细节数据),让LoRA模型充分学习和记录下这些角色的独特特征。

通过大量类似的学习数据输入,LoRA模型能够在AI生成图像时,更准确地重现和保持角色的完整形象,防止出现形体失真或是局部特征被破坏的情况,从而保证了生成内容的质量。

LoRA模型概念图

除了质量保证,团队采用这种大规模记录学习模型的方式,还有一个重要作用,那就是避免AI生成的内容与现有作品过于相似,从而规避了侵犯版权的风险。

通过LoRA模型对自家角色特征的大量学习记录,AI生成的内容不仅能够高度还原自家角色,而且不会抄袭或模仿现有其他作品的元素,也就确保了AI应用的原创性和合规性。

减少动画帧之间的抖动

在使用AI将3D渲染内容转换成2D风格的时候,团队遇到了一大挑战,就是如何减少动画帧之间的抖动。

他们综合运用LoRA模型和Stable Diffusion的其他功能和参数设置,试图最大程度保留细节并减少抖动,但由于这两者之间存在一定矛盾和权衡,仍需要多次试验和调整,以寻找最佳平衡点。

这里已经进行了抑制抖动的设置,但从结果来看仍然有些不尽人意

从这个角度来看生成的画作风格更接近于CG渲染画面

最近呈现的效果

可能会有一些轻微抖动,但更能营造出类似传统手工上色动画的手绘画风

好啦,以上就是JK双生姐妹花HinaHima背后的故事~

如果你们意犹未尽,友情指路两姐妹的TikTok↓

https://www.tiktok.com/@hinahimaa


end

本文来自新知号自媒体,不代表商业新知观点和立场。
若有侵权嫌疑,请联系商业新知平台管理员。
联系方式:system@shangyexinzhi.com