- formatting
- images
- links
- math
- code
- blockquotes
•
•
•
•
•
-
让不同 LLM 之间共享 KV Cache？DroidSpeak 是怎么做到的
-
TokenDance 解决多 Agent LLM 推理的 KV Cache 冗余问题 - marsggbo
多 Agent LLM 推理的 KV Cache 冗余问题，这篇论文给出了一个优雅的解法 1. 前言：一个被忽视的大坑 想象这样一个场景：你在跑一个多 Agent 仿真，20 个 Agent 在互动，每轮结束后所有人把彼此的输出 All-Gather 一遍，然后各自基于这一轮的"公共信息"再生成下一
-
当 AI 开始学会"记住"：LLM Agent 记忆系统的统一视角 - marsggbo
你有没有想过，当你让 ChatGPT "记住你喜欢简洁的回答"，或者让代码助手"别忘了这个项目用的是 TypeScript"时，这些信息究竟去了哪里？ 这个问题比表面看起来复杂得多。LLM 本身是"无状态"的——每次对话都是从零开始，模型并没有一个专门的"记忆区"来存放你的偏好。那些看似被"记住"的
-
RouteMark: 基于路由行为指纹的模型合并知识产权归属 | A Fingerprint for IP Attribution in Routing-based Model Merging
-
AutoHete: 面向大语言模型的自动化高效异构训练系统 | An Automatic and Efficient Heterogeneous Training System for LLMs