全球最大的游戏引擎 Unity 要出生成式 AI 工具了，能不能做好 3D 是个问题 ...

_不良法师_

在游戏行业，生成式 AI 大模型目前被讨论最多的两个应用方向，一个是将 AI 运用于 NPC 的开发（使 NPC 更像真人），另一个是游戏引擎 AI 辅助工具的落地（帮创作者提高生产效率）。
2 W1 F4 m" L% j4 y' v. q针对后者，在 6 月 8 日举办的 Unity 技术开放日北京站上，Unity 中国首次对外提出了要构建 Unity 中国版引擎 Copilot —— U3D Copilot 的构想。
Unity 中国 AI 技术负责人暴林超在演讲中谈到这一构想，
" 通过建立大语言模型和用户交互这样一个更自然的交互界面，来串联起我们的 3D AIGC 模型，以及 Unity 引擎内部可以提供的一些工具（如程序化生成等）。同时我们会探索将用户的隐私数据更安全地在本地做管理，在保护用户隐私的情况下，用户可以实现在本地部署引擎，并以这样的方式接入 Copilot。"
+ h, p) x! w9 a# u. `"Copilot"（直译为 " 副驾驶 "）的说法目前被广泛用于 GitHub Copilot 和 Microsoft 365 Copilot 等产品，几乎已经成为 AI 辅助工具的代称。
不过从 Unity 技术开放日当天透露的信息来看，U3D Copilot 目前还只停留在构想，Unity 中国并没有在现场进行任何相关演示。
9 W8 Q5 s) k. Q; r; {这场活动是 Unity 时隔两年之后再次举办线下巡回技术开放日。
. R9 I& K; A9 W" o" 前两年大家还都在讲元宇宙，今年都在讲 AIGC，几乎是引爆了整个（游戏）行业。"Unity 中国 CEO 张俊波在当天的致辞中讲到。
不仅是行业，Unity 的中国业务也在过去两年经历了较大变化。去年 8 月，Unity 中国宣布成立，引入了阿里巴巴、中国移动、吉比特、米哈游、OPPO、佳都科技和抖音等投资者，成为 Unity 在中国的合资公司。张俊波的 title 从 "Unity 大中华区总经理 " 变为 "Unity 中国总裁兼首席执行官 "，负责 AI 技术的暴林超则是在不久前刚加入 Unity 中国。
) X4 J$ n3 p0 z8 Y2 {5 v" 这也是我们关注中国开发者的新起点。" 张俊波在致辞中说。
( N' d8 A* W7 u5 `+ F! s- g" c5 f" ^Unity 中国关注生成式 AI 的步调和 Unity 基本一致。
Unity 可以说是最早宣布将投入生成式 AI 大模型的大型游戏引擎。今年 3 月举办的 GDC 开发者大会上，Unity 发布了一段名叫 "Unity AI" 的视频。视频以文本框的形式输入了一系列指令，包括 " 生成一个女性 3D 角色 "，" 生成一片拥有灰暗天空的大型地貌 "，" 慢慢推进摄像机，并加入戏剧性的光线 " 等等，暗示这些效果和资产未来都可以跳过繁琐的代码与调试，在 Unity 中通过文字 prompt 直接生成。
6 J. C# P8 @6 X


Unity CEO John Riccitiello 在接受采访时同时提到，未来不排除会开放一片 AIGC 专用的交易市场，供开发者在其中买卖 AI 工具。
而后在今年 5 月发布第一季度财报时，Unity 在股东信中专门开辟了 "Gen-AI（AI 时代）" 专栏来回答股东提问。比如提到会在今年内推出使用自然语言的 UI 页面，而 " 一键生成游戏 " 的工具现阶段还不太可能，其目前对 AI 工具的定位更多是草稿的快速生成助手。此外，Unity 还计划将引擎打造为一个供开发商训练 AI 模型的工具，帮助开发商 " 按照自己的需求进行数据创造、模拟和训练 "。
Unity 中国频繁因为 AI 被关注也是最近一个月的事情。
1 f* w; V3 K0 _+ P6 O0 i- Y) O5 月初，Unity 中国在采访中透露已建立了中国本土 AI 研发团队，其负责人也开始频繁出现在各种关于 AIGC 的活动上，如张俊波 " 有八成原画师下岗 " 和 " 今后的游戏公司不一定会像现在那么集中在几个大厂等巨头公司 " 等言论也频繁在行业中被提及。
而在 6 月 8 日举办的北京站技术开放日上，Unity 中国引擎技术负责人左瑞文也在介绍中明确提到，Unity 中国在今年的首要任务——研发 Unity 中国版引擎的三大方向之一，就是以生成式 AI 为主的智能化（其他两个方向是本地化和云化）。
: C, `, d) B' a, v2 K" R  B% i6 ]当然这其中不乏难点，难点在于 3D 内容开发的复杂性。
. E& `& V/ f  o- ^9 K, R0 {9 M8 u  {暴林超在当天的 AI 主题演讲中先是回溯了生成式 AI 在近一年发展的节点性事件，介绍了 stable diffusion 和 ChatGPT 两大热门生成式 AI 工具的核心技术原理，以及 AI 技术从 " 领域专用 AI 小模型 " 到 " 生成式 AI 大模型 "、生成式 AI 大模型从 " 通用 " 到 " 专用 " 的发展趋势，接着便谈到了 3D 生成式 AI 的三大技术难点：
第一，3D 的数据表示有非常多的选择，如体素、点云、Mesh、SDF 和隐式场等，尽管经常会有针对不同数据表示的论文发布，但距离达到生产质量都还有一定差距；
5 s! L$ s# Y5 c& W: B; I, I8 ^第二，3D 数据的呈现依赖也非常多，也就是说，要在引擎里渲染出一个比较好的效果，不但取决于模型本身，还受到贴图、材质、Shader、光照、动画和 VFX 等的影响，这些也给 3D 的 AIGC 生产带来了很多困难；
3 L" T; ]& P8 e- }0 u, q1 u. \第三，3D 高质量数据相对而言比较稀缺，而 1D 或 2D 维度不管是文本还是图片生成，数据量都是巨大的，目前 3D 的数据量还远远达不到这些量级。
由于 Unity 引擎主要专注于游戏中 3D 技术的应用，这些 3D 数据的难点也都给其生成式 AI 工具的开发带来了挑战。
暴林超接着提到了 Unity 中国 3D 生成式 AI 主要的几个技术方向：分别是 3D 模型、材质和贴图、3D 场景、3D 虚拟人，还有隐式场及神经渲染。
7 R8 X6 Q& J% i' {) F- W: I  V就目前来说，Unity 引擎界面依然非常复杂，看上去仍不够 " 智能 "。未来 Unity 中国能否将以上存在在 PPT 和演示视频中的构想一一实现，将决定它究竟是履行了 " 帮助开发者更好地应对技术和市场革新的天然使命 "，还是只是在取悦投资者。