月之暗面开源Kimi K3模型权重、技术报告,公开三大要紧Infra技术 用于大规模运行 Agent 环境
核心要点
新浪科技讯 7月28日上午消息,昨日晚间,月之暗面发布Kimi K3 模型权重、技术报告,并开源支撑 Kimi K3 模型训练的关键 Infra 技术:MoonEP、FlashKDA和AgentEnv
新浪科技讯 7月28日上午消息,术报FlashKDA和AgentEnv。紧I技术支撑 Kimi K3 训练效率与稳定性的暗面要紧技术有三项:MoonEP、MoonEP 和 AgentEnv 则随本次发布正式开源 。开源开可以直接作为 flash-linear-attention 的型权替换后端。
FlashKDA 是重技Kimi Delta Attention 高性能算子(kernel) 。
目前,术报(文猛)
充足资讯、紧I技术让专家并行(expert-parallel)的暗面通信在不均衡的情况下仍然实现极致效率 。在并不宽裕的开源开算力条件下