京东×二手玫瑰《我要开花》AI视频创作过程分享

原标题：未来工具使用指南-AIGC知识分享会

二手没贵项目上线半月有余，这段时间，在我们分享过项目案例的各个平台上，常有一些朋友私信想了解更多项目中关于AIGC方面的细节内容，所以我们干脆弄了个AIGC知识分享会，主讲是美术baseAI艺术家贰毛和技术base跳跳糖实验室余博士；希望能从美术和技术两个方面聊一聊AIGC在实际案例中的应用。知识和技术在未来获取门槛会越来越低，拥抱未来乐于分享，希望给对AIGC感兴趣的行业内外的朋友们一些灵感和帮助。

点击图片查看大图

一、二手玫瑰《我要开花AIGC版》AI视频工作流

@贰毛

点击查看项目详情

1、主题风格设定

在开始工作前我们需要拆解二手玫瑰乐队的艺术风格，将其与京东家电家居双十一营销理念相结合，创造一个既能体现乐队特色又能展现京东家电家居产品的视频。

我们确定了四个视觉方向的关键词：

复古未来主义：融合复古元素与未来感，整支视频创造出独特的视觉效果。

华丽古典油画：用细腻的艺术手法质感展现人物服装夸张且荒诞，提升视觉吸引力。

赛博朋克：科技与反乌托邦的元素，强调家电家居的未来感，更加吸引人。

超现实：创造出超越现实的艺术风格，具有延展性和包容性，让视频风格统一。

2、主题背景环境生成——mid journey

基于以上主题风格，我们使用mid journey生成基础图片，这里不推荐单独生成背景环境，带人物的环境更易保持人物和环境一致性。我们在这一阶段生成1000多张图，最后精选70张用于视频制作。

3、二手玫瑰全员人物虚拟形象生成——mid journey

使用mid journey的换脸插件，抽卡几十次，生成最接近艺人的图片，感觉mid journey对东亚人的面部描绘还是略显生硬，我们后面为人物增加了墨镜、护目镜等配饰，弱化AI人物形象的呆板。

4、虚拟二手合唱我要开花——D-ID

将京东双十一版《我要开花》上传后台，使mid journey生成的虚拟人物开口唱歌，它的嘴型与可以与音频完美匹配，再加以微表情，让人物更加生动。

5、让2D面也充满空间感——LeiaPix

将2D的照片转换成3D的照片，用在五位成员的单独照片上，轻微的晃动延伸了空间，同时强化了镜头的呼吸感。

6、客户看了直拍手“产品还能这样展示”？——mj无限扩图功能

使用mj的扩图功能输出三十多张序列帧，最后用剪辑软件串在一起，形成zoom out的动画效果，在无限的穿梭中展示京东家电家具产品。操作过程中我们发现越到后面生成的图暗黑风格越明显，所以我们加入了“孟菲斯风格“关键词，用明艳的色调调和暗黑的风格。

 7、流动的花海 沉醉视觉体验——PixaMotion

在视频进入“我要开花”的高潮部分，我们想要在这里展示一种区别于前面视觉内容的全新画面，强化高潮的视觉冲击力，这里使用了一种局部动态的应用软件，让背景中的花朵像花海一样流动，湍流不息，创造出令人沉醉的视觉体验。

8、一起进入家电家居的瞬息宇宙——Stable Diffusion

“瞬息全宇宙”相信大家都不陌生，是目前各类广告片中应用最多的一种AI呈现效果。我们在家居环境的背景上，通过快速的动画变化展示换新家的概念。执行时“瞬息全宇宙”的效果会导致艺人的脸不断闪烁变化，所以我们分出了前景和后景，只将背景环境做瞬息全宇宙，后期在剪辑的时间轴上再把人物合在前景。

视觉创意革命：平面广告中的AI应用

作为平面设计师出身的AI艺术家@贰毛 老师 对平面广告中的AI应用也有持续的研究，她认为在这场AI带来的视觉创意革命中，设计师可以迅速测试和迭代不同的视觉风格，这有助于开发独特和创新的设计概念，以天猫视觉符号“猫头”为例，在固定命题不变（超级符号，3c产品等）的前提下，可借助Stable Diffusion迅速测试不同艺术风格，降低试错成本。同时在效率提升方面，AI工具在可以短时间内生成大量图像，尤其面对紧迫的截止日期是可以大幅提高工作效率；另外，一些重复性的设计任务可以交给AI去做，让设计师有更多的时间专注于创意工作。

通过sd快速制作不同材质的字体、logo或者图形，比起C4D等软件能更快的看到效果。

使用mj制作的呼吁公众关注抑郁症群体的公益海报，知名IP形象蜷缩在真空的密封袋里。

以《指环王》铁王座为另灵感，使用sd将职业形象与职业相关工具结合。

以苹果logo为例在有固定命题的前提下，使用sd测试大量不同的艺术风格。

实操得出的挑战和难点

技术复杂性：AI视频制作工具具有高度的技术复杂性，需要掌握相关的技术知识和技能，理解不同的AI功能、操作软件界面，以及调整适当的参数。

创意限制：虽然AI可以生成独特的视觉内容，但它们的创造力是基于训练数据和算法的限制。所以在一些情况下，AI生成的内容不能完全符合用户的创意期待。

一致性和质量控制：在视频制作中保持视觉调性一致和连续性是一个挑战。所以AI生成的每个片段或场景都需要额外的编辑和调整（PS），以确保整体视频的质量和流畅风格统一。

资源和成本：高质量的AI视频可能需要昂贵的软件和强大的计算资源。比如买会员和租服务器等等。

用户期望：由于AI在视频制作领域相对较新，用户对其能力的期望可能与实际产出有差距。教育和管理期望值是一个重要的环节。

二、艺术与技术的融合，视觉背后的程序支持

@跳跳糖-余博士

如果说二毛老师在视觉层面编织了许多夺目的画布，那么余博士则在技术层面将画布丝滑的编织起来。

1、AI动画的精准控制——AE镜头控制

“利用MotionBro和AE2SD插件，我们能够将AI视频生成的工作流程无缝集成到After Effects中。这不仅允许我们对AI视频镜头进行影视级别的精细操作，还能够顺畅地衔接到影视剪辑流程中，从而实现更高效、更专业的视频制作。”

2、AI动画的精准控制——摄像机反求

“摄像机反求技术，通过分析已拍摄的视频素材并运用视觉空间定位技术，能够准确地反推出摄像头在现实空间中的具体位置和方位。利用MotionBro和AE2SD插件，这一技术能将摄像头参数有效地传输至AI视频制作工具。这一流程不仅增强了AI动画与现实世界坐标的融合，还极大地提升了动画制作的真实感和互动性。”

3、AI动画的精准控制——音频

“节奏和音频在AI视频制作中扮演着关键角色。在After Effects中，我们可以使用表达式来程序化地提取音频素材的关键信息，如音量和声道。这些数据经过精确计算后，可以直接影响和调整摄像机参数。这种技术允许摄像机的运动节奏与音频的节奏保持一致，从而创造出与音乐完美同步的视觉效果。这不仅增强了视频的观感，还为观众提供了一种更为沉浸和动态的观看体验。此外，这种方法也为视频编辑和动画设计师提供了更大的创意自由度和表达力，使他们能够创作出更加富有创意和感染力的作品。”

「彩蛋-其他强大有趣的AI技术」

1、AI视频解说

“借助TTS语音合成及Whisper高质量语音识别技术，我们上传一段视频并给到一些提示此后，AI可以自动为这段视频配上讲解的音频，例如我们给到AI一场足球直播的画面，要求它以足球评论员贺炜的风格来讲解，同时将贺炜过往的解说资料喂给它，AI就可以自动生成文案、同时匹配音频，再运用上我们前面讲到的让虚拟人物开口说话的D-ID，一支“超低成本”的体育解说视频就完成了。”

2、ComfyUI的Workflow

“作为StableDiffusion的节点编辑界面，ComfyUI为复杂而有效的图像和视频生成逻辑提供了一种直观的可视化工作流形式。通过节点编辑，设计师能够直观地看到各个处理步骤，从而实现对AI生成的图像和视频的精细化控制。这不仅极大地拓展了设计师的视野，还提升了他们在创作过程中的效率和创造性。虽然ComfyUI在设计界非常流行，它的界面和功能设计对新用户来说可能有一定的学习门槛。然而，一旦掌握，它的强大功能和灵活性能显著提升内容创作的品质和创新度。对于追求高效和精准控制的专业人士来说，ComfyUI是一个不可或缺的工具。”

三、人机协同：预见创意生产力的爆炸

AIGC的应用让《二手没贵》实现了无置景无演员的演出，所有需要的只是乐队成员的肖像图。从瞬息宇宙到充满时尚感的炫酷家电， 在这支片子中AI技术的使用占到了95%，HAPPYDRUG以AI为生产力为京东家电家居呈现了一条真正fancy的AI广告。相信这对于品牌方及供应商、甚至整个国内广告行业都是一次突破性的成果。

纵使AI技术如此强大，但如果不由人类的大脑指出方向、做出选择，AI不过是程序世界错综的一组代码。引用知乎作者的一句话“AIGC可以轻松的把一副麦田的照片变成梵高的风格，但你永远不可能从计算机那里看到心灵的悲伤和生命的热情这二者的冲突和解决”。

生产力的爆炸从来都是由人决定的。