从分镜图到成片:IMAGE-2 + Happyhorse AI 视频工作流全拆解(9/12/16分镜)

从分镜图到成片:IMAGE-2 + Happyhorse AI 视频工作流全拆解(9/12/16分镜)-计然寻宝社
从分镜图到成片:IMAGE-2 + Happyhorse AI 视频工作流全拆解(9/12/16分镜)
此内容为付费阅读,请付费后查看
9
限时特惠
29
立即购买
您当前未登录!建议登陆后购买,可保存购买订单
付费阅读

输入一句话情节描述,AI自动生成9/12/16张电影级分镜图,再合成连贯视频——从创意到成片,全程自动化。

做故事类短视频、品牌宣传片、产品创意广告,最花时间的是什么?——分镜设计。画分镜图需要专业美术功底,一张张构图、调色、打磨,一个15秒的视频光分镜阶段就要耗掉好几天。如果中途改脚本,全部重来。

这套工作流把整个过程变成了:输入一句话 → 选择分镜数 → 点击运行 → 等待出片。AI负责拆解情节、生成分镜图、合成视频,全程不需要动一笔一画。

从一句话到成片:全流程拆解

第一步:一句话输入,AI生成电影级分镜脚本

工作流入口只需要五个参数:

  • 一句话情节描述(如“鸣人和佐助在山谷间大战”)
  • 分镜数量(支持9、12、16三种,默认12)
  • 画面比例(16:9、9:16、2:3、3:2、1:1)
  • 视频时长(3-15秒)
  • API密钥

上传完成后,意图识别节点根据用户选择的分镜数,自动路由到对应的大模型节点(9分镜/12分镜/16分镜)。每个大模型都内置了完整的电影分镜知识库,包含景别分配规则、镜头运动方式、光影设计方案、构图法则等全部要素。

以16分镜为例,系统强制生成4×4网格布局,镜头类型严格按以下比例分配:

分镜数布局景别分配规则
9分镜3×3网格3远景 + 3中景 + 3特写
12分镜固定顺序3远景 + 5中景 + 4特写
16分镜4×4网格4远景 + 4中景 + 8特写

大模型输出的分镜脚本精确到每一个镜头的7项参数:

  • 景别:远景(环境铺垫)/ 中景(角色互动)/ 特写(细节捕捉)
  • 镜头运动:横摇/平移/推镜/环绕等
  • 场景元素:冷色调环境描述、道具纹理细节
  • 光影设计:冷色调基底+动态光影(如“暗紫色云层配冰蓝色顶光”)
  • 角色动作与表情:与英文文案完全一致,若角色有中文台词则保留双语字幕
  • 构图方式:九宫格/三分法/引导线等
  • 底部英文字幕:每个分镜图片配套精准英文文案(含中文台词)

系统提示词强制规定了“冷色调光影校准+镜头运动自然化+写实细节无违和感”的写实美学标准,确保生成的每一帧都符合电影级质感。

第二步:多个大模型分支 + 变量聚合

三个大模型节点(9分镜/12分镜/16分镜)根据意图识别结果只触发其中一个。生成的分镜脚本通过变量聚合节点合并为统一格式,准备传入图片生成插件。

第三步:IMAGE-2(GT2)生成分镜图

聚合后的分镜脚本传入GT2图片生成插件g2_generate_image,即IMAGE-2模型)。该模型以异步模式运行,支持9:16、16:9等多种比例,生成对应数量的电影级写实分镜图。

工作流设计了智能兜底机制:首先生成分镜图,若生成失败则自动调用备用节点重新生成,确保流程在任何情况下都能产出可用素材。两张图通过变量聚合节点合并,再经由字符转列表插件str_to_list)转换为数组格式。

第四步:选择器验证 + Happyhorse合成视频

核心环节调用Horse视频生成插件。它将上一步生成的分镜图列表作为image_urls传入,配合预设提示词:

“从左上角图片开始,顺序按图片内容生成全屏完整视频”

Happyhorse的Reference-to-Video能力会按顺序读取每一张分镜图,将其作为参考帧,生成一段连贯、全屏、无网格痕迹的完整视频。它不会把分镜图拼成九宫格展示,而是理解每张图的内容逻辑,生成平滑过渡的动态画面。

第五步:轮询等待 + 自动提取

提交任务后进入自动轮询机制(最多10次,每次60秒)。生成完成后,大模型节点自动从结果中提取纯净的视频URL,直接输出可用链接。

技术规格一览

参数说明
输入一句话情节 + 分镜数(9/12/16) + 画面比例 + 视频时长 + API密钥
意图识别豆包·2.0·Mini(识别分镜数并路由)
分镜生成大模型豆包·2.0·Lite(9分镜)/ 豆包·2.0·Lite(12分镜)/ 豆包·2.0·Lite(16分镜)
分镜图生成GT2图片生成(IMAGE-2模型)
核心接口Horse视频生成(horse_video_generate
输出分辨率720P
最大等待时间10分钟
画面风格电影级写实,冷色调光影

这套工作流的核心逻辑

这套工作流的本质是:大模型拆解情节并设计分镜 → IMAGE-2把分镜脚本变成图 → Happyhorse把分镜图串成视频

三者各司其职:

环节负责模型核心任务
分镜设计豆包大模型把一句话变成带景别/运镜/光影/构图的完整分镜脚本
分镜图生成IMAGE-2(GT2)把文字脚本变成电影级写实图片
视频合成Happyhorse把多张分镜图按顺序合成连贯动态视频

应用场景

  • 短视频内容创作者:快速生成故事类短视频,无需分镜师和拍摄团队
  • 品牌广告/宣传片制作:从创意到demo视频,大幅缩短提案周期
  • 游戏/动漫同人创作:输入情节描述,生成电影级分镜视频
  • 教育/培训素材制作:将知识点转化为视觉化叙事视频
  • 产品创意广告:用分镜叙事呈现产品使用场景
© 版权声明
THE END
喜欢就支持一下吧
点赞15 分享