- formatting
- images
- links
- math
- code
- blockquotes
•
•
•
•
•
-
MoE 训练通信瓶颈有救了？DySHARP 直接在交换机里做计算，干掉 50% 冗余流量
-
2508_06526
-
NeurIPS24 | 把Dense LLM变身MoE还提速 - marsggbo
把 Dense LLM 变成 MoE 还能推理提速？NeurIPS 2024 Read-ME 做到了 原文：Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design 1. 前言 做
-
ICML25 | EPIC：KV Cache 复用的「编译-链接」范式（附可运行代码复现） - marsggbo
说人话理解 EPIC：KV Cache 复用的「编译-链接」范式（附可运行代码复现） 原文：EPIC: Efficient Position-Independent Caching for Serving Large Language Models 1. 前言 你有没有想过，当你用 RAG 系统给
-
把 Dense LLM 变成 MoE 还能推理提速？NeurIPS 2024 Read-ME 做到了