《基于多媒体技术的AIGC在传媒行业的应用探索.pdf》由会员分享,可在线阅读,更多相关《基于多媒体技术的AIGC在传媒行业的应用探索.pdf(13页珍藏版)》请在三个皮匠报告上搜索。
1、腾讯全球数字生态大会腾讯2Tenceht腾讯A基于多媒体技术的AIGC在传媒行业的应用探索主讲人:朱子荣#page#腾讯臻彩云境虚拟制作平台#page#膜讯全球数字生态大会传媒行业中虚拟制片的两大技术路线绿幕合成LED弯幕虚拟制作可以提供炫酷的画面来吸引观众单现有方案均高度依赖硬件与3D建模,大大提高了其使用成本与门槛,因此传统虚拟拍摄大多用于超大型团队的专业影视制作#page#腾讯全球数生态大会臻彩云境:一站式低成本高画质虚拟制片技术算法创新从而替代硬件功能,在为传媒降本增效的同时,以智能化开拓更多玩法,基于AIGC生成虚拟场景,解决场景定制难题2022世界互联网大会World Intern
2、etConference入册案例臻彩云境的完整功能演示台数宝博物除中国网络媒体论运口无硬件依赖口虚实交互口高画质口2D/全景/VR漳染口智能场景定制软件实时跟踪标定,彻底只基于单目拍摄画面,可真人可与虚拟世界有着逼画面清晰,发丝级招图,可将3D模型或AIGC生成的替代昂贵跟踪设备且边缘顺滑无毛刺同时生成、2D、全景、3D全景图作为虚拟场景,定真的物理交互仿真防抖算法娘美实体稳定器;VR视频制化成本、门槛低无需传感器即可动作捕捉深度估计#page#腾讯全球数字生态大会臻彩云境一功能与架构深入优化算法层所有模块,让软件完整替代硬件功能自研系统化集成框架,除3D追染外仅需CPU即可实时运行(4K30
3、FPS)顶层封装为UE插件,能提供简单易用的UI与可快速扩展图形化编程接口3D场景服务层:本地追染云道染多人异地同屏场景普换应用层:虚实融合实景融合虚实交互2D/VR漳染插件层:UE5插件信令传输实时视频传输实时画面采集AIGC全景图集成层:自研通用异步并行框架,支持任意类型算法的异步并行防料算法层相机跟踪标定人体骨骼估计深度估计发丝级拟图#page#腾讯全球数字生态大会臻彩云境基于HIGC的快速虚拟场景定制3.臻彩云境道染1.手绘引导图2.AIGC生成全景图输入提示词,基于引导图生成全景图无需复杂操作,用鼠标简单勾勒构图作为虚拟场景即可提示词:科幻、赛博朋克、广场、机器人提示词:CG、平地、
4、夕阳、晚霞#page#腾讯全球数字生态大会臻彩云境虚拟制作平台适用媒体/文旅/教育/娱乐等多站式真人/数字人VR视频制作利器个行业虚拟制作方案可将2D视频源同步转制南京大报恩寺-游客通过虚拟3D/VR版本,大大扩展VR视轻量化:只需一台相机与绿幕互动趣味体验、理解报恩文化即可使用,本地/云宣染均可频的种类,并降低视频生产难故宫:文物讲解视频制作度,能为VR视频生成快速提供海量内容既可将真人植入到虚拟场景中也可以生成骨骼数据用于驱动虚拟人82022界互联局大会orld Interr数空博物险入册案例中国的场费请设工2022世界VR产业大会#page#腾讯云智能音乐平台#page#腾讯全球数字生态
5、大会腾讯云智能音乐系列能力支持腾讯云产品、智慧行业、在线视频、广告营销、在线音乐等核心业务服务海量用户智能音乐解决方案能音乐解决方案,1.80亿次API调用量方案优势8.66亿次品烟3多样接入方式多维音乐理解全行业场景覆支持定制升级可围孟法上进信”标准化产品SDK调用量持打通业务户定制方案#page#腾讯全球数字生态大会智能音乐平台提供20余种能力有效服务相关业务和用户,也为平台共建者提供展现价值的舞台平台测:统一格式的接口文档和接口服务服务层体验侧:能力介绍和Demo体验网站平台服务音乐理解和处理:音乐标签、结构分析、音乐转录、音乐鼓点、智能转谱副歌检测、歌词识别、音乐评分、音乐分离、听歌识
6、曲应用层音乐智能化生成:智能作曲、歌声合成、曲风转换、歌词生成、音色转换音乐跨模态融合:视频配乐、音乐影片、舞蹈生成、音乐可视、音乐MV开发效率关注核心逻辑,不造没有意义的轮子;坚持社区主流的Python语言和Pytorch/Tensorflow、FFmpeg、Librosa、 Mysql、COs等成熟框架平台层架构设计:接口简洁易拓展、调度解业务和算法、仓库轻量化、组件模块化集成规范实现能力集成流水线的高度标准化(系统环境、代码评审、持续集成)和自动化(代码检查、单元测试、SDK封装)底层逻辑算法框架一套包含数据