UE 5.8
5-STAGE PIPELINE
LCC PLUGIN
全域虚拟引擎孪生 · 实操落地手册
五阶段管线操作规范 × UE 5.8全技术栈 × 其域创新LCC Plugin对接方案 × 三大场景端到端推演
从手机拍摄到Vision Pro体验——完整链路、可复制、可落地
从手机拍摄到Vision Pro体验——完整链路、可复制、可落地
🎮
UE 5.8 全技术栈 · 数字孪生专用矩阵
Engine StackUE 5.8（2026年发布）是Unreal Engine在数字孪生/虚拟制片/XR领域最成熟的一个版本。以下按功能域梳理AI城孪生体系所需的全栈模块。
| 功能域 | 模块/系统 | 5.8版本能力 | AI城孪生用途 |
|---|---|---|---|
| 渲染管线 | Nanite | 5.8增强 | L1-L3城市级Mesh：建筑白模、街区模型虚拟化几何，无需手动LOD |
| Lumen | 5.8增强 | 3DGS重打光对接：动态全局光照+反射，为3DGS空间提供真实光照环境 | |
| MegaLights | 5.8新 | 大量动态光源：AI城夜间灯光模拟、室内多光源场景 | |
| Substrate | 5.8 GA | 材质系统：3DGS+Mesh融合时的PBR材质一致性 | |
| TSR | 5.8增强 | 超分辨率：Pixel Streaming低带宽下保持画质 | |
| 空间管理 | World Partition | 5.8增强 | L0-L6全尺度流式加载：海南大世界→三亚→街区→室内无缝切换 |
| PCG | 5.8增强 | 程序化内容生成：植被/街灯/道路自动填充，减少手工 | |
| Data Layers | 5.8 | 孪生图层管理：建筑/管线/植被/人流分图层开关 | |
| 3DGS对接 (其域LCC) |
LCC Plugin | v1.x | LCC2/PLY/SOG/SPZ多格式导入；重打光；景深；GS+Mesh融合 |
| Custom Primitive | 5.8 | 3DGS渲染路径挂载点：自定义Shader→GPU排序+混合 | |
| RDG | 5.8 | 渲染依赖图：3DGS Pass插入UE渲染管线，与Lumen/TAA联动 | |
| Niagara | 5.8 | 粒子系统：3DGS点云动态效果（灰尘/雨滴/人流轨迹粒子） | |
| 虚拟制片 | nDisplay | 5.8增强 | 多机同步渲染：LED Volume驱动，AI城场景上墙 |
| Composure | 5.8 | 合成管线：3DGS背景+真人实拍实时合成 | |
| Live Link | 5.8 | 外部设备数据流：摄像机追踪/mocap/传感器数据接入 | |
| Sequencer | 5.8增强 | 时间线编辑：光照切换/空间变换/季节更替动画 | |
| 分发与交互 | Pixel Streaming | 5.8增强 | Web端无需安装：浏览器访问UE场景，WebRTC低延迟 |
| VR Template | 5.8 | Quest 3/HTC Vive开箱即用：AI城VR漫游 | |
| USD | 5.8增强 | 导出USDZ→Vision Pro RealityKit原生体验 | |
| 物理与模拟 | Chaos Physics | 5.8 | 物理模拟：人流/车辆/物体碰撞，数字孪生推演 |
| Chaos Cloth | 5.8 | 布料模拟：虚拟展厅中窗帘/旗帜/织物动态 | |
| Water Plugin | 5.8 | 水面模拟：三亚海滩/泳池/雨景水效果 | |
| 角色与AI | MetaHuman | 5.8 | 数字人导览：AI城虚拟导游/客服/创客形象 |
| State Tree | 5.8 | AI行为树：NPC自动导航/交互/场景感知 | |
| 性能工具 | Insights | 5.8 | 性能分析：3DGS+UE场景帧率/GPU/CPU瓶颈定位 |
| PSO Precache | 5.8 | 管线状态预缓存：避免Pixel Streaming首帧卡顿 |
⚙️
五阶段管线 · 实操手册
Pipeline Manual📸 采集
→
🧠 训练
→
✂️ 编辑
→
🎮 引擎
→
🌐 分发
1
采集阶段 · Capture
手机LiDAR · 无人机 · 360相机 → 图像序列 + 位姿 → COLMAP稀疏重建
📱 室内采集 — iPhone Pro LiDAR
- 设备：iPhone 14 Pro+ / iPad Pro (LiDAR)
- App：Polycam (Room Mode) / Scaniverse / KIRI Engine
- 规范：每个空间200-500张，重叠率≥60%，环形+仰角拍摄
- 输出：HEIC序列 + LiDAR深度图 + 设备IMU位姿，或直接导出视频流
- 时长：55㎡空间约15-25分钟
参考：AI城 demo_1br_55sqm 使用模拟点云数据（36,598点），真实采集后替换为3DGS资产
🛸 室外/建筑采集 — 大疆无人机
- 设备：DJI Mavic 3 / Air 3S
- 模式：环绕飞行+俯拍网格，重叠率≥70%
- 规范：建筑4面+顶面，每面2-3条高度航线
- 输出：JPEG/DNG序列 + GPS/RTK位姿
- 范围：单栋建筑约30-60分钟
📷 室内全景采集 — 360相机
- 设备：Insta360 X4 / GoPro MAX
- 模式：HDR全景，每1-2米一个节点
- 规范：高度1.5m（人眼高度），覆盖所有角落
- 输出：360°全景图序列 → 可提取多视角透视图像
- 补充：大空间（>200㎡）的主力采集方式
# COLMAP 稀疏重建（如果App未输出位姿）
colmap feature_extractor --database_path scene.db --image_path ./images
colmap exhaustive_matcher --database_path scene.db
colmap mapper --database_path scene.db --image_path ./images --output_path ./sparse
# 导出为TXT格式供训练使用
colmap model_converter --input_path ./sparse/0 --output_path ./sparse_txt --output_type TXT
2
训练阶段 · Training
gsplat本地 · Luma云端 · Nerfstudio → .ply / .splat 3DGS资产
🖥️ 方案A：本地 gsplat 训练
- GPU需求：RTX 3060+(12GB VRAM)可训练百平米室内
- 安装：
pip install gsplat - 训练命令见下方代码块
- 时间：55㎡室内约20-40分钟（RTX 3060）
- 输出：.ply点云文件（可含球谐系数）
- 优势：数据不出本地，适合敏感空间
☁️ 方案B：Luma AI 云端训练
- 上传：通过Web/iOS App上传图像序列
- 处理：云端GPU自动训练（A100级）
- 时间：大型场景30-90分钟
- 输出：Luma Viewer链接 + .ply导出
- 优势：无需GPU、一键操作、质量高
- 局限：数据上传云端，隐私空间慎用
🧪 方案C：Nerfstudio
- 安装：
pip install nerfstudio - 支持：gaussian-splatting / nerfacto / instant-ngp
- 优势：训练过程可视化、Web Viewer内置
- 输出：.ply + 训练日志 + 评估指标
# === gsplat 训练命令 ===
# Step 1: 准备COLMAP输出目录结构
# images/ + sparse/0/
# Step 2: 训练
python -m gsplat.train \
--data_dir ./scene \
--result_dir ./output \
--max_steps 30000 \
--eval_steps 5000
# Step 3: 导出
python -m gsplat.export \
--ckpt ./output/ckpt_30000.pt \
--output ./scene_3dgs.ply
# === 质量检查 ===
# 点数量 > 100万（百平米室内）视为合格
# PSNR > 28dB 视为可用
3
编辑阶段 · Editing
SuperSplat剪裁压缩 · Postshot精细编辑 · LCC格式转换
🌐 SuperSplat — Web端快速编辑
- 地址：
superspl.at（开源，可自部署） - 功能：拖拽导入.ply → 框选删除浮动粒子 → 裁剪边缘 → 压缩导出
- 压缩：支持降采样（保留50%/25%/10%粒子）
- 导出：.ply / .splat / .ksplat（压缩格式）
- 耗时：10分钟内完成基础清理
🖥️ Postshot — 桌面精细编辑
- 平台：Windows (GPU加速)
- 功能：3DGS原生训练+编辑，粒子级别操作
- 优势：实时预览渲染效果、重打光测试
- 导出：.ply / .splat
- 注意：AI城目前无Windows工作站，此环节依托外部或云端
🔄 LCC格式转换
- 输入：SuperSplat输出的.ply或.splat
- 转换：使用其域创新提供的LCC Converter
- 输出格式：
— LCC2（高保真，UE5引擎内编辑用）
— SPZ（空间分区流式格式，Web渐进加载）
— SOG（分层高斯，LOD自适应） - 对接：LCC Plugin for UE直接导入以上格式
4
引擎阶段 · Engine
UE 5.8 + LCC Plugin → 重打光/景深/Mesh融合/VR/虚拟制片
🎮 UE 5.8 工程搭建
- 1. 新建空白项目 → 选择"Games"或"ArchViz"模板
- 2. 启用插件：LCC Plugin + USD Importer + Pixel Streaming
- 3. World Partition设置：覆盖三亚全域(L0-L3)
- 4. Data Layers：建筑层/3DGS层/植被层/UI层
- 5. 导入LCC资产：拖拽.lcc2文件到Content Browser
💡 重打光配置
- LCC Plugin启用"Dynamic Relighting"模式
- 配置DirectionalLight（太阳）+ SkyLight（天光）+ Lumen全局光照
- Sequencer时间轴：24小时光照循环动画
- Post Process Volume：景深(DOF)、色调映射、曝光
- MegaLights：室内多点光源模拟（台灯/射灯/氛围灯）
🔗 3DGS + Mesh 融合
- 近景(0-2m)：Nanite Mesh（高精度几何模型）
- 中景(2-20m)：3DGS（真实视觉+光照）
- 远景(20m+)：World Partition HLOD
- 融合要点：在LCC Plugin中设置"Mesh Override"距离
- 碰撞：3DGS区域用简化碰撞体（Box/Convex）代理
🥽 VR配置
- VR Template → OpenXR → Quest 3 / HTC Vive
- LCC Plugin VR Mode：Instanced Stereo + Foveated Rendering
- 目标帧率：90fps（Quest 3）
- 移动方案：Teleport（大空间）+ Smooth Locomotion（微调）
- 交互：Motion Controller抓取/测量/标注3DGS空间
5
分发阶段 · Delivery
Pixel Streaming · Web Viewer · Vision Pro · Quest VR · Agent API
🌐 Web — Pixel Streaming
- UE5启用Pixel Streaming插件 → 打包Linux Server
- 部署：AI城Pi5集群边缘节点 + 云端GPU实例
- 前端：gaussian-splats-3d.js Viewer（轻量场景）
- 方案：小场景本地Viewer，大场景云端Pixel Streaming
- 性能：1080p@30fps需5-10Mbps带宽
🥽 Vision Pro — USDZ
- UE5导出：File → Export → USDZ (Universal Scene Description)
- 包含：3DGS几何 + 光照 + 材质 + 动画时间轴
- 分发：直接AirDrop / iCloud链接 / Web下载
- 体验：Vision Pro RealityKit原生渲染，注视点+手势交互
- 场景：远程游民"空间决策"——Vision Pro中沉浸式预体验
🤖 Agent API
- 输出：结构化空间数据JSON——房间尺寸/门窗位置/家具/材质/光照
- 接口：RESTful API → GET /spaces/{id}/data
- 用途：AI Agent(Operator/Claude)直接查询空间信息做推荐
- 标准：对齐3D Tiles Next OGC + Google RealEstate API
🔌
其域创新 LCC Plugin for UE · 技术对接文档
LCC Integration📥 1. 格式对接矩阵核心
- LCC2：高保真UE引擎内编辑格式，含完整球谐/法线/不透明度，支持重打光
- PLY：通用3DGS点云，SuperSplat/gsplat/Nerfstudio标准输出，需经LCC Converter转换
- SOG：分层高斯(Sparse Octree GS)，LOD自适应——近处高密度、远处稀疏
- SPZ：空间分区流式格式，Web端渐进加载——先显示低密度，逐层增强
💡 2. 重打光对接关键技术
- LCC Plugin将3DGS球谐系数替换为法线估计+BRDF近似
- 对接UE Lumen：3DGS参与场景辐射度计算，接收动态直接光照+间接光照
- 对接MegaLights：支持大量动态点光源对3DGS的照明
- AI城场景：白天/黄昏/夜晚三状态Sequencer光照切换
- 限制：重打光依赖法线质量，平面区域（墙壁/地面）效果最好
🎥 3. 虚拟制片对接影视级
- nDisplay：多GPU/多屏幕同步渲染3DGS场景，LED Volume驱动
- Composure：3DGS背景层 + 绿幕/实时摄像机信号合成
- 时间码：LTC/MTC时间码锁定，确保GS渲染帧与物理摄像机同步
- 色彩管理：ACES/OCIO全链路色彩空间一致
- AI城角色：三亚海滩/街区/室内GS资产 → 全球创作者的虚拟拍摄地
🔗 4. Mesh融合对接混合几何
- LCC Plugin设置"Mesh Override Distance"：指定距离内切换为Nanite Mesh
- 典型配置：0-2m显示Nanite Mesh（高精度几何+碰撞），2m+显示3DGS
- 碰撞代理：为3DGS区域创建简化碰撞体（Box/Convex/Sphere）
- 材质一致性：Mesh使用Substrate PBR，3DGS使用球谐/BRDF，视觉上对齐
- AI城实践：地板/门/窗=Nanite Mesh，墙壁纹理/家具/装饰=3DGS
🥽 5. VR对接沉浸
- Instanced Stereo：双眼渲染共享GS剔除结果，GPU负载降低30%+
- Foveated Rendering：注视点内高密度GS，周边迅速降采样
- 目标：Quest 3 90fps / Vision Pro 90fps 稳定
- ATW/ASW兼容：异步时间扭曲/空间扭曲与3DGS排序渲染协调
📊 6. 性能基准指标
- 10亿高斯：RTX 4090 — 4K 35fps / 1080p 60fps
- 1亿高斯：RTX 3060 — 1080p 55fps / VR 72fps
- 1000万高斯：Pi5+Hailo-8 — 720p 30fps（Web Viewer）
- Pixel Streaming带宽：1080p@30fps ≈ 5-8Mbps / 4K@30fps ≈ 20-30Mbps
- VR延迟：<12ms Motion-to-Photon（需GPU+引擎联合优化）
🧬
大场景端到端推演 · 三场景 × 五阶段全链路
Scenario Deduction🎯 选择推演场景
S1
采集 — iPhone 15 Pro + Polycam，对55㎡公寓拍摄300张，覆盖4角+中心+卫生间。耗时18分钟。输出：300×HEIC + LiDAR深度 + IMU位姿
S2
训练 — Luma AI云端上传 → 32分钟完成3DGS训练 → 导出.ply（230万高斯）。本地备选：gsplat 25分钟。输出：apartment_l4.ply (230万高斯, PSNR 31.2dB)
S3
编辑 — SuperSplat Web端清理：删除窗外飘浮粒子(约3,000点) → 裁剪到室内边界 → LCC Converter转换。输出：apartment_l4.lcc2 + apartment_l4.spz
S4
引擎 — UE5.8+ LCC Plugin导入.lcc2 → 添加Lumen光照(白天/黄昏/夜晚3态) → Sequencer时间轴 → 导出USDZ。输出：apartment_l4.uasset + apartment_l4.usdz
S5
分发 — Web端：Pixel Streaming(1080p@30fps) + .spz Web Viewer双轨。Vision Pro：USDZ直接加载，90fps注视点渲染。Agent API输出空间结构化数据。→ 数字游民在巴厘岛用Vision Pro沉浸式看房 → "空间决策级"信任 → 远程签约入驻AI城
S1
采集 — 创客手工木勺寄到AI城 → 旋转台+iPhone LiDAR近距扫描 → 单反微距拍摄60张(正面/侧面/底面/细节)。耗时15分钟。输出：60×JPEG(24MP) + 深度图 + 标定数据
S2
训练 — 小物体3DGS需要精细训练 → Nerfstudio(nerfacto+gaussian-splatting) → 迭代50K步 → PSNR >35dB。输出：wooden_spoon_l5.ply (50万高斯, 含材质纹理细节)
S3
编辑 — SuperSplat裁剪背景 → 手动删除转台/支架残留粒子 → 导出.splat + LCC转换。输出：wooden_spoon_l5.lcc2(引擎) + wooden_spoon_l5.spz(Web)
S4
引擎 — UE5.8导入.lcc2 → 放置到虚拟场景(厨房/客厅/办公桌)中验证空间匹配 → 录制360°产品展示Sequencer。输出：产品展示动画 + 空间匹配元数据
S5
分发 — Web Viewer(.spz)嵌入产品页面 → Agent API输出结构化数据(尺寸/材质/纹理/风格标签) → Agent可查询产品库。→ 用户对Operator说"找一把手工木勺放我厨房" → Agent匹配AI城产品库 → 空间匹配计算(尺寸+风格) → 推荐命中
S1
采集 — DJI Mavic 3环绕飞行，5条航线，建筑4面+顶面 → 街道级地面补拍(手机广角)。采集范围：解放路×红旗街倒L形，约0.5km²。耗时3小时。输出：800×JPEG(20MP) + GPS位姿 + 地面200张
S2
训练 — 分层训练策略：L2街区级(低密度GS,1000万高斯) → L3建筑级(中密度,每栋500万高斯)。云端多GPU并行(Luma/A100×4)。输出：block_l2.ply(全景) + 各建筑_l3.ply(精细)
S3
编辑 — SuperSplat清理空中噪点 → LCC Converter分层转换(SOG格式,支持LOD) → 裁剪到目标街区边界。输出：sanya_block.lcc2 + sanya_block.sog(流式LOD)
S4
引擎 — UE5.8 World Partition加载L2街区 → Data Layers分层(L2粗+L3精) → PCG自动生成植被/街灯 → Nanite建筑白模叠加 → Sequencer制作飞越动画。输出：AI City Block Twin.umap + 飞越动画.avi
S5
分发 — Pixel Streaming(4K城市沙盘) → VR Quest 3(高空俯瞰+街道漫游) → 大屏展示(展厅/招商用) → 实时IoT数据叠加(人流热力/交通/天气)。→ 投资人远程VR视察AI城 → 实时数据叠加验证商业潜力 → 远程决策投资
✅
实施清单 · AI城第一阶段落地任务
Checklist☑ = 已完成 ☐ = 待执行 ⏳ = 进行中
📸 采集任务
- 制定室内扫描标准规范（iPhone LiDAR+360相机）
- iPhone LiDAR采集55㎡公寓（真实数据替换demo模拟数据）
- 360相机补充采集公寓全景
- 大疆Mavic采集AI城建筑外观
- 地面补拍街区（手机广角）
🧠 训练任务
- gsplat在Pi5上验证可行性
- gsplat训练55㎡公寓3DGS
- Luma AI云端训练建筑级3DGS
- Nerfstudio部署（备选训练管线）
- 训练质量基准建立（PSNR>28dB标准）
✂️ 编辑任务
- SuperSplat自部署到AI城服务器
- 3DGS编辑工作流验证（清理→裁剪→压缩→导出）
- LCC Converter获取与测试
🎮 引擎任务
- UE 5.8安装与工程模板创建
- LCC Plugin获取与安装
- 3DGS导入→重打光→景深管线验证
- World Partition + Data Layers配置
- Pixel Streaming插件启用与测试
- VR Template配置(Quest 3)
🌐 分发任务
- gaussian-splats-3d Viewer部署（Web端）
- Pixel Streaming Server部署(云端或本地GPU)
- USDZ导出→Vision Pro加载测试
- Agent API设计与实现
🔌 其域对接
- 官方文档获取与技术评估
- LCC Plugin License获取
- PLY→LCC2转换管线建立
- 重打光功能测试（Lumen联动）
- 虚拟制片工作流预研（nDisplay+Composure）
- VR性能基准测试（10亿级GS在RTX 4090上）