SkyScript-100M: 1,000,000,000 Pairs of Scripts and Shooting Scripts for Short Drama

一、论文概述

项目	内容
标题	SkyScript-100M: 1,000,000,000 Pairs of Scripts and Shooting Scripts for Short Drama
作者	Jing Tang, Quanlu Jia, Yuqiang Xie†, Zeyu Gong†, Xiang Wen, Jiayi Zhang, Yalong Guo, Guibin Chen, Jiangping Yang
机构	SkyWork AI, 华中科技大学, 浙江大学
论文	https://arxiv.org/abs/2408.09333
发布	2024-08-18 (v2: 2024-08-28)

二、核心思想

问题定义

短剧（Short Drama）产业爆发式增长（ReelShort、ShortsTV、ShortMax），但传统制作流程存在根本性瓶颈：

1. 流程低效：故事生成 → 剧本创作 → 角色设计 → 拍摄脚本，每步需人工调整
2. 格式不适配：现有拍摄脚本格式（场景描述、机位、运动参数）难以被视频生成模型直接理解
3. 关键信息缺失：缺少戏剧高光标注、角色配对兼容性（“嗑 CP”）等 AI 制作所需信息
4. 3D 布局缺失：角色和关键物体的空间位置信息缺失，导致生成视频中角色/物体抖动

解决方案概述

SkyScript-100M 是首个十亿级短剧数据集，核心创新在于：

• 重新定义拍摄脚本格式：包含 3D 位置、情感连续变化、高光分数等丰富标注
• MLLM 驱动的关键信息预提取：使用 InternVL2-Llama3-76B 进行角色/物体/场景标注
• SkyReels 脚本恢复：基于自研大短剧生成模型，从拍摄脚本反向生成 1B 对脚本
• 新范式对齐：将视频生成模型与短剧世界对齐，保持角色/物体/世界观一致性

三、数据集构建

数据规模

指标	数值
短剧集数	6,660 部
总集数	~80,000 集
总时长	~2,000 小时
总数据量	10 TB
关键帧提取	~10,000,000 拍摄脚本
脚本-拍摄脚本对	1,000,000,000 对

与现有数据集对比

数据集	标注方式	视频数	片段数	时长(h)	分辨率	领域
MSR-VTT	Manual	7.2K	10K	40	240P	open
LSMDC	Manual	200	118K	158	1080P	movie
HowTo100M	ASR	1.2M	136M	134.5K	240P	instruct
HD-VILA-100M	ASR	3.3M	103M	371.5K	720P	open
InternVid	Generated	7.1M	234M	760.3K	720P	open
SkyScript-100M	Manual	6.6K	100M	2K	720P	drama

关键差异：SkyScript-100M 是唯一针对短剧领域的超大规模数据集，且采用人工标注（而非 ASR/Alt-text 迁移）。

重新定义的拍摄脚本格式

传统拍摄脚本仅包含基础参数（场景、机位、运动），SkyScript-100M 扩展为：

字段	说明	示例
SCENE	场景编号与环境	SCENE 1 EXT. PARK - DAY
SHOT	镜头类型	WIDE SHOT
CAMERA POSITION	机位描述	Stationary, capturing the entire park
FOCUS	焦点主体	A couple, EMMA and JACK
ACTION	动作描述	They walk leisurely, talking
Highlight Score	高光分数 (VAD)	4.0
3D Location	3D 坐标	Emma: (0,165,0), Jack: (60,180,0)
Camera Detail-Time	镜头时长	4 seconds
Camera Detail-Shot Size	景别	WIDE SHOT
Camera Detail-Camera Angle	机位角度	Eye Level
Camera Detail-Main Subject	主要主体	(Emma, Jack)
Event Number/Event	事件编号与描述	001: Emma and Jack walking

角色情感标注（VAD 模型）

基于 Plutchik 情感理论，使用三维连续情感模型：

• Valence (V)：情感正负性（快乐程度）
• Arousal (A)：唤醒度（激动程度）
• Dominance (D)：支配感（控制程度）

配合 Temperament（气质） 和 Facial Attractiveness（面部吸引力） 指标，支持角色配对兼容性计算。

构建流程

1. 视频采集：从互联网收集 6,660 部热门短剧
2. MLLM 预提取：使用 InternVL2-Llama3-76B（32×A800 80G 推理）进行关键信息预标注
3. 人工精标：专业编剧团队进行关键帧标注和拍摄脚本生成
4. 脚本恢复：使用 SkyReels 模型对 10M 拍摄脚本进行 100 次脚本恢复，生成 1B 对

四、新短剧生成范式

传统 vs 新范式

传统流程：故事生成 → 剧本生成 → 角色设计 → 拍摄脚本生成（各步骤割裂）

新范式：拍摄脚本包含尽可能多的世界信息，使视频生成模型在生成过程中保持与短剧世界一致的记忆（角色、物体、世界观概念）。

生成效果评估

基于新范式的 SkyReels 在以下维度评估：

评估维度	GPT-4o	Qwen2	Yi-Large	GPT-3.5	SkyReels
Theme Expression	-	-	-	-	最优
Character Development	-	-	-	-	最优
Dialogue Quality	-	-	-	-	最优
Emotional Impact	-	-	-	-	最优
Pacing and Rhythm	-	-	-	-	最优
Conflict Resolution	-	-	-	-	最优
Plot Coherence	-	-	-	-	最优
Narrative Structure	-	-	-	-	最优

五、广泛应用

5.1 视频高光检测

• 基于 VAD 情感模型计算连续高光分数
• 支持回归式高光检测方法（非离散单帧标注）
• 解决短剧高光检测难题：弹幕少、点赞粒度为整集

5.2 世界布局理解

通过多视图几何理论实现 3D-2D 位置转换：

\begin{pmatrix} u \\ v \\ 1 \end{pmatrix} = \begin{pmatrix} t_1 & t_2 & t_3 & t_4 \\ t_5 & t_6 & t_7 & t_8 \\ t_9 & t_{10} & t_{11} & t_{12} \end{pmatrix} \begin{pmatrix} x \\ y \\ z \\ 1 \end{pmatrix} \tag{1}

• 基于 3D 位置和逻辑链的一致性约束
• 解决异常遮挡问题（Figure 10）

5.3 隐式角色关系挖掘

• 从显式三元组扩展为时变隐式关系
• 结合多模态和单模态 LLM 进行关系挖掘
• 基于角色位置和连续情感标注实现高精度识别

5.4 反事实脚本生成

基于 SkyScript-100M 的结构化数据，支持：

• “如果角色 A 做了不同选择会怎样？”
• 探索替代剧情走向
• 辅助编剧进行创意探索

六、核心创新总结

创新点	说明	影响
十亿级数据集	首个 1B 对短剧脚本-拍摄脚本数据集	填补短剧领域数据空白
新拍摄脚本格式	包含 3D 位置、VAD 情感、高光分数	支持 AI 短剧全自动生成
MLLM 预提取	InternVL2 进行关键信息预标注	降低人工标注成本
新生成范式	拍摄脚本包含完整世界信息	视频生成模型与短剧世界对齐
多维度应用	高光检测、布局理解、关系挖掘、反事实生成	推动短剧 AI 制作全链路

七、技术影响

对短剧 AI 制作的指导

• 数据为王：10TB 级数据集证明大规模领域数据的关键价值
• 格式即接口：重新定义拍摄脚本格式使其成为 AI 可理解的”世界描述”
• 全链路覆盖：从脚本生成到视频制作的完整数据支撑

局限性

1. 隐私问题：虽使用像素化处理面部，但角色识别仍存在伦理风险
2. 版权风险：从互联网收集短剧视频，版权归属不明确
3. 标注一致性：6,660 部短剧的标注风格一致性难以完全保证
4. 模型依赖：依赖 SkyReels 进行脚本恢复，泛化性有待验证
5. 评估局限：新范式评估主要依赖 LLM 打分，缺少人工评估

八、参考资源

论文

• 本文: https://arxiv.org/abs/2408.09333

相关工作

• SkyReels: 自研大短剧生成模型（论文中提及）
• InternVL2: 多模态关键信息预提取
• Plutchik 情感理论: VAD 情感模型基础

数据集对比

• MSR-VTT, LSMDC, HowTo100M, HD-VILA-100M, InternVid 等