输入一句话情节描述,AI自动生成9/12/16张电影级分镜图,再合成连贯视频——从创意到成片,全程自动化。
做故事类短视频、品牌宣传片、产品创意广告,最花时间的是什么?——分镜设计。画分镜图需要专业美术功底,一张张构图、调色、打磨,一个15秒的视频光分镜阶段就要耗掉好几天。如果中途改脚本,全部重来。
这套工作流把整个过程变成了:输入一句话 → 选择分镜数 → 点击运行 → 等待出片。AI负责拆解情节、生成分镜图、合成视频,全程不需要动一笔一画。
从一句话到成片:全流程拆解
第一步:一句话输入,AI生成电影级分镜脚本
工作流入口只需要五个参数:
- 一句话情节描述(如“鸣人和佐助在山谷间大战”)
- 分镜数量(支持9、12、16三种,默认12)
- 画面比例(16:9、9:16、2:3、3:2、1:1)
- 视频时长(3-15秒)
- API密钥
上传完成后,意图识别节点根据用户选择的分镜数,自动路由到对应的大模型节点(9分镜/12分镜/16分镜)。每个大模型都内置了完整的电影分镜知识库,包含景别分配规则、镜头运动方式、光影设计方案、构图法则等全部要素。
以16分镜为例,系统强制生成4×4网格布局,镜头类型严格按以下比例分配:
| 分镜数 | 布局 | 景别分配规则 |
|---|---|---|
| 9分镜 | 3×3网格 | 3远景 + 3中景 + 3特写 |
| 12分镜 | 固定顺序 | 3远景 + 5中景 + 4特写 |
| 16分镜 | 4×4网格 | 4远景 + 4中景 + 8特写 |
大模型输出的分镜脚本精确到每一个镜头的7项参数:
- 景别:远景(环境铺垫)/ 中景(角色互动)/ 特写(细节捕捉)
- 镜头运动:横摇/平移/推镜/环绕等
- 场景元素:冷色调环境描述、道具纹理细节
- 光影设计:冷色调基底+动态光影(如“暗紫色云层配冰蓝色顶光”)
- 角色动作与表情:与英文文案完全一致,若角色有中文台词则保留双语字幕
- 构图方式:九宫格/三分法/引导线等
- 底部英文字幕:每个分镜图片配套精准英文文案(含中文台词)
系统提示词强制规定了“冷色调光影校准+镜头运动自然化+写实细节无违和感”的写实美学标准,确保生成的每一帧都符合电影级质感。
第二步:多个大模型分支 + 变量聚合
三个大模型节点(9分镜/12分镜/16分镜)根据意图识别结果只触发其中一个。生成的分镜脚本通过变量聚合节点合并为统一格式,准备传入图片生成插件。
第三步:IMAGE-2(GT2)生成分镜图
聚合后的分镜脚本传入GT2图片生成插件(g2_generate_image,即IMAGE-2模型)。该模型以异步模式运行,支持9:16、16:9等多种比例,生成对应数量的电影级写实分镜图。
工作流设计了智能兜底机制:首先生成分镜图,若生成失败则自动调用备用节点重新生成,确保流程在任何情况下都能产出可用素材。两张图通过变量聚合节点合并,再经由字符转列表插件(str_to_list)转换为数组格式。
第四步:选择器验证 + Happyhorse合成视频
核心环节调用Horse视频生成插件。它将上一步生成的分镜图列表作为image_urls传入,配合预设提示词:
“从左上角图片开始,顺序按图片内容生成全屏完整视频”
Happyhorse的Reference-to-Video能力会按顺序读取每一张分镜图,将其作为参考帧,生成一段连贯、全屏、无网格痕迹的完整视频。它不会把分镜图拼成九宫格展示,而是理解每张图的内容逻辑,生成平滑过渡的动态画面。
第五步:轮询等待 + 自动提取
提交任务后进入自动轮询机制(最多10次,每次60秒)。生成完成后,大模型节点自动从结果中提取纯净的视频URL,直接输出可用链接。
技术规格一览
| 参数 | 说明 |
|---|---|
| 输入 | 一句话情节 + 分镜数(9/12/16) + 画面比例 + 视频时长 + API密钥 |
| 意图识别 | 豆包·2.0·Mini(识别分镜数并路由) |
| 分镜生成大模型 | 豆包·2.0·Lite(9分镜)/ 豆包·2.0·Lite(12分镜)/ 豆包·2.0·Lite(16分镜) |
| 分镜图生成 | GT2图片生成(IMAGE-2模型) |
| 核心接口 | Horse视频生成(horse_video_generate) |
| 输出分辨率 | 720P |
| 最大等待时间 | 10分钟 |
| 画面风格 | 电影级写实,冷色调光影 |
这套工作流的核心逻辑
这套工作流的本质是:大模型拆解情节并设计分镜 → IMAGE-2把分镜脚本变成图 → Happyhorse把分镜图串成视频。
三者各司其职:
| 环节 | 负责模型 | 核心任务 |
|---|---|---|
| 分镜设计 | 豆包大模型 | 把一句话变成带景别/运镜/光影/构图的完整分镜脚本 |
| 分镜图生成 | IMAGE-2(GT2) | 把文字脚本变成电影级写实图片 |
| 视频合成 | Happyhorse | 把多张分镜图按顺序合成连贯动态视频 |
应用场景
- 短视频内容创作者:快速生成故事类短视频,无需分镜师和拍摄团队
- 品牌广告/宣传片制作:从创意到demo视频,大幅缩短提案周期
- 游戏/动漫同人创作:输入情节描述,生成电影级分镜视频
- 教育/培训素材制作:将知识点转化为视觉化叙事视频
- 产品创意广告:用分镜叙事呈现产品使用场景











