几毛钱和几块钱之间，看起来只是一个小数点的差别，但放到真实创作里，改变的则是成本结构和内容生产方式。

生成视频很少一次就完全符合预期。人物的一个动作、镜头的一次转向，甚至一句对白的停顿，都可能影响最终效果。单次成本降下来，同样的预算可以测试更多提示词，调整动作、构图和风格，再从多个版本中筛选可用镜头。

创作流程也会逐渐转向多版本生成、自动筛选和人工选择。对于内容工具、广告系统、游戏资产生成和虚拟人互动，低成本还意味着模型可以被持续调用，视频生成开始具备进入高频应用的条件。

这组成本数字背后，是 MAGI-2 Preview 的 MoE 架构：总参数约 114B，每次前向计算只激活约 6B。

视频生成从短片段、无声画面走向更长、更复杂的统一音视频内容的过程中，模型需要同时处理人物与场景一致性、动作与镜头变化、对白、环境声和节奏，能力边界不断扩大，需要的模型容量也随之增加。稠密模型扩大规模时，每个 token 都要经过全部参数。模型越大，训练和推理需要的计算也越多。

视频进一步放大了这个问题。文本模型通常处理几百或几千个 token，视频还要容纳连续帧、大量空间 patch 和音频信息。序列长度与模态复杂度一起上升，计算量和跨设备通信开销很快被推高。

MoE 在模型内部设置一个庞大的专家池，每个 token 只选择与当前任务相关的一小部分专家参与计算。模型由此可以继续扩大容量，同时控制实际调用的参数量。

MAGI-2 Preview 用约 114B 总参数容纳更丰富的人物、动作、镜头、材质、语义、语音和环境声信息，再用约 6B 激活参数控制单次生成的计算量。

为了让专家分工更细，Magi-2 Preview 将 3072 维隐藏表示拆成 12 个 256 维 head，并在 36 层主体网络中使用 Multi-Head MoE。

每个 head 拥有 256 个专家，每次选择其中 6 个。每一层由此形成 3072 个 head-local 专家单元，一个 token 在 12 个 head 中合计激活 72 个小专家。我们将这种结构称为 Ultra-fine-grained MoE。

传统 MoE 通常针对一个 token 的完整隐藏表示进行路由，少数专家需要同时处理其中包含的多种特征。Multi-Head MoE 先把表示拆进多个低维子空间，再由每个 head 独立选择专家。

不同 head 因而有机会形成更细的分工，分别处理人物外观、动作时序、语言语义、语音或环境声。12 个 head 的结果在后续网络中重新融合，模型不仅可以获得更丰富的专家组合，还能把每个专家的任务控制在较小范围内。

专家数量增加后，新的问题随之出现，这些专家分散在不同设备上，token应该怎样送过去？

模型先将隐藏表示拆成多个 head，在动态路由发生前，把固定形状的 head 表示分发到不同设备。数据抵达设备后，再在本地选择和执行专家。

传统 Expert Parallel 的通信量依赖每次路由产生的 Top-K 结果。而Head Parallel 的主要通信量由输入表示决定，避免通信规模随激活专家数量线性增长。这一顺序变化为细粒度专家留下了更大空间。模型既可以容纳更多专家，提高路由精度，又能让跨设备流量保持相对稳定。

架构走到这里，只完成了一半。剩下的一半，要靠系统把它真正跑起来。