部署与算力arXiv cs.LG4 天前
Long-Context Drafting Does Not Require Long-Context Drafters
论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。
AI 与各行业落地的前沿信号寻行业之脉
寻行业之脉
接真实之需
每日自动追踪全球权威信源，模型生成中文摘要与有效期判断，人工抽检把关。 不追热点，只留经得起推敲的那一部分。
249
累计条目
0
今日新增
12
权威信源
采集中每日 02:00 · UTC+8
L1 摘要
全量
L2 深度
0
人工抽检
每日
按领域浏览
AI 与可被 AI 赋能的行业方向，每个领域独立成脉
筛选结果
共 2 条符合条件
当前筛选#vllm×
部署与算力arXiv cs.CL4 天前
AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens
AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。