推理服务
an archive of posts with this tag
| Oct 13, 2026 | ICML'26 | UniBoost：抛开长度预测，用软优先级调度治 LLM 推理的“尾延迟” |
|---|---|
| Oct 13, 2026 | DuetServe：单张 GPU 内自适应切 SM，让 prefill 和 decode 不再“互相拖累” |
| Oct 13, 2026 | ICML'26 | AMPD：PD 分离遇上多轮推理，incremental prefill 到底该在哪跑 |
an archive of posts with this tag
| Oct 13, 2026 | ICML'26 | UniBoost：抛开长度预测，用软优先级调度治 LLM 推理的“尾延迟” |
|---|---|
| Oct 13, 2026 | DuetServe：单张 GPU 内自适应切 SM，让 prefill 和 decode 不再“互相拖累” |
| Oct 13, 2026 | ICML'26 | AMPD：PD 分离遇上多轮推理，incremental prefill 到底该在哪跑 |