王鹏帅 青年学者论坛.pdf

1、基于八叉树的多尺度自回归模型1OCTGPT：OCTREE-BASED MULTISCALE AUTOREGRESSIVE MODELS FOR 3D SHAPE GENERATIONSI-TONG WEI,RUI-HUAN WANG,CHUAN-ZHI ZHOU,BAOQUAN CHEN,PENG-SHUAI WANG北京大学GPT-4o：原生多模态原生多模态3D AIGCLAS-DIFFUSIONZHENG ET AL.2023,3DSHAPE2VECSET ZHANG ET AL.2023,CLAYZHANG ET AL.2024,XCUBEREN ET AL.2024,TRELLISXI

2、ANG ET AL.2024 目前主流的 3D AIGC 依赖于扩散模型TrellisCLAY自回归模型用于 3D AIGC 的挑战现有的序列化忽略了物体的层次结构和局部性，导致收敛变慢RASTERIZATION ORDER:AUTOSDFMITTAL ET AL.2022,ARGUS3DQIAN ET AL.2024SERIALIZED MESHES:MESHGPTSIDDIQUI ET AL.2024,LLAMA-MESHWANG ET AL.2024自回归模型用于 3D AIGC 的挑战TOKEN 长度较短（1K），无法捕获精细细节OCTGPT 的核心思想八叉树的Z-ORDER提供了多尺度的序列化，保持了空间局部性GPT预测多尺度的多尺度的 0/1 序列序列，而不是坐标位置，加速收敛1010OCTGPT：基于八叉树的 VQVAE 和 TRANSFORMER使用OctFormer Wang SIGGRAPH 2023 加速训练 69 倍倍多个Token并行预测，加速推理 13 倍倍4 Nvidia 4090 GPUs|3天完成训练天完成训练MultiscaleTokenization稀疏性稀疏性Transformers多层级多层级序列性序列性