潞晨人工智能
行业资讯
使用微信扫码支付阅读全文。
Colossal-AI 如何降低大模型训练成本
用并行和优化器把大模型训练从专家手工作业变成可复用的系统。
¥1.00阅读全文并行训练里最容易被忽略的通信
算力堆上去之后，慢的往往是卡与卡之间的同步。
¥1.00阅读全文企业落地大模型时先算哪笔账
上线之前先分清训练、微调和推理各自的成本结构。
¥1.00阅读全文推理服务先看吞吐，再谈卡数
在线推理的账单由并发、延迟和显存占用一起决定。
¥1.00阅读全文企业该微调，还是该从头训练
多数业务缺的是领域数据，不是再训一个底座。
¥1.00阅读全文MoE 省下的算力，会转成通信
稀疏激活降低了每 token 的计算，路由和专家通信却更难藏。
¥1.00阅读全文长上下文把瓶颈从算力挪到带宽
窗口拉长之后，注意力的显存和访存会先于计算打满。
¥1.00阅读全文训练和推理不要排进同一个队列
抢占式训练任务会把在线推理的延迟尾部拉长。
¥1.00阅读全文