MoE 省下的算力，会转成通信

稀疏激活降低了每 token 的计算，路由和专家通信却更难藏。

混合专家模型参数很大，但每个 token 只激活一小部分专家。算力账单下降的同时，卡与卡之间的 token 分发会变忙。