国元证券AI视频生成报告对DiT技术的发展趋势进行了深入分析。2022年12月《Scalable Diffusion Models with Transformers》论文发表,提出将传统扩散模型的U-Net替换为Transformer。2024年2月OpenAI发布Sora,验证了Diffusion和Transformer结合的有效性,并带动DiT架构成为当前重点方向。国内厂商迅速跟进:可灵采用DiT架构并对隐空间编/解码、时序建模等模块进行升维处理;Seedance1.0引入精确描述模型和统一预训练框架。时长、速度、质量、声音等多维度持续突破,AI视频生成正从技术验证走向规模化商用。
从Diffusion到DiT——U-Net到Transformer的架构革命
扩散模型已成为视觉生成领域的主导技术路线,但在DiT之前,扩散模型主要基于U-Net架构。2022年12月William Peebles等发表《Scalable Diffusion Models with Transformers》,提出将传统扩散模型的U-Net替换为Transformer,采用AdaLN-Zero(自适应归一化)注入条件信息(文本/图像/轨迹),取代交叉注意力,从而提升传统扩散模型的可扩展性。DiT的核心优势在于:Transformer架构具备更强的扩展性,能够有效利用更大规模的数据和参数;注意力机制能更好地建模像素点之间的上下文关系;统一的架构便于多模态输入的融合。这一架构革命为后续Sora的成功奠定了理论基础。
Sora验证DiT有效性——60秒视频与世界模拟器
2024年2月OpenAI发布Sora,成为DiT架构的里程碑式验证。根据Sora发布的技术文章,Sora先将视频压缩到低维潜在空间中,然后将表示分解为时空patch,实现视频“patch化”,采用DiT架构在多个领域展示了显著的扩展性能。对比过去的视频生成模型,Sora生成视频时长显著提升至60秒,对于自然语言和物理世界规律有了更强的理解能力。Sora不仅能够生成高质量视频,还展现出模拟物理世界某些方面的能力,如物体持久性、简单交互等,被业界视为“世界模拟器”的初步实现。Sora的成功为行业带来深刻启发,不少厂商迅速跟进DiT架构并进行差异化创新。
国产厂商全面跟进——可灵、Seedance的差异化创新
国内厂商在DiT架构上进行了大量创新。可灵使用DiT架构,同时对模型中的隐空间编/解码、时序建模等模块进行了升维处理。在隐空间编/解码上,快手自研了3D VAE网络,实现时空同步压缩;在时序信息建模上,设计了计算高效的含注意力机制作为时空建模模块,能精准捕捉视频帧内局部空间特征及跨帧时间动态特征。Seedance1.0引入精确描述模型提升数据多样性与可用性,统一高效的预训练框架实现多镜头切换与多模态输入,后训练构建复合奖励系统提升画面生动性、稳定性和美感。MiniMax Hailuo02在模型架构上构建了解耦空间层和时间层的扩散Transformer模型,多镜头多模态旋转位置编码,统一的任务框架使一个模型可实现多种任务。国内厂商在DiT基础架构上的差异化创新,正推动视频生成能力持续向商用标准迈进。
DiT技术趋势——更长、更快、更丰富
DiT架构下的视频生成正沿着多个维度持续突破。时长方面,Veo2支持理论最高2分钟的4K视频生成,可灵大师版可以通过续写方式将视频延长至3分钟,时长突破有望进一步满足叙事需求、扩展下游应用。生成速度方面,以Seedance1.0为例,5秒1080p视频生成推理耗时仅41.4秒(基于L20测试),效率大幅提升。生成质量方面,随着产品迭代“抽卡率”有望降低。丰富度方面,Veo3通过将视频像素转化为语义信号实时生成匹配声音,大大增强视频生成可用性。DiT架构的可扩展性意味着未来模型能力仍有巨大提升空间,AI视频生成正加速从“辅助工具”向“核心生产力工具”演进。
| 架构/厂商 | 核心创新 | 关键突破 |
|---|---|---|
| DiT(基础架构) | U-Net→Transformer | 可扩展性大幅提升 |
| Sora | 时空patch化 | 60秒视频,物理模拟 |
| 可灵 | 3D VAE+时序注意力 | 视频延长至3分钟 |
| Seedance1.0 | 精确描述模型+复合奖励 | 多镜头切换,多模态输入 |
| Hailuo02 | 解耦时空扩散Transformer | 统一任务框架 |
点击阅读报告原文:
最新报告
中英对照
全文搜索
报告精选
PDF上传翻译
多格式文档互转
入驻&报告售卖
会员权益
机构报告
券商研报
财报库
专题合集
英文报告
数据图表
会议报告
其他资源
新质生产力
DeepSeek
低空经济
大模型
AI Agent
AI Infra
具身智能
自动驾驶
宠物
银发经济
人形机器人
企业出海
算力
微短剧
薪酬
白皮书
创新药
行业分析
个股研究
年报财报
IPO招股书
会议纪要
宏观策略
政策法规
其他
人工智能
信息科技
互联网
消费经济
汽车交通
电商零售
传媒娱乐
医疗健康
投资金融
能源环境
地产建筑
传统产业
英文报告
其它
行业聚焦
芯片产业
热点概念
全球咨询智库
人工智能
500强
新质生产力
会议峰会
新能源汽车
企业年报
互联网
公司研究
行业综观
消费教育
科技通信
医药健康
人力资源
投资金融
汽车产业
物流地产
电子商务
传统产业
传媒营销
其它
十五五规划系列报告合集(共50套打包)
2026年宠物/萌宠经济报告合集(共46套打包)
AI、科技与通信
广告、传媒与营销
消费、零售与支付
HR、文化与旅游
金融、保险与投资
能源、环境与工业
医疗制药与大健康
物流、地产与建筑
其他行业
AI ▪ 科技 ▪ 通信
数字化
金融财经
智能制造
电商传媒
地产建筑
医疗医学
能源化工
其他行业

收藏
下载
2026-07-20

AI查数
行业数据
政策法规
商业模式
产业链
竞争格局
市场规模
产业概述
自研数据
其它
2026年
AI读财报
年报
一季报
半年报
三季报
IPO招股书
社会责任报告
A股
IPO申报
港股
美股&全球
新三板
2026-07-27
互联网产业
24页
1张图表
0731-84720580
商务合作:really158d
友链申请 (QQ):1737380874
微信扫码登录
手机快捷登录
账号登录