Hugging Face Blog·· 2026-08-18精选AI 评分70
Dharma AI 发布约束感知 GPU 分配器:同集群利用率最高提升 33 个百分点
Same Cluster, 33 Points More Utilization: What Changed Was the Order
AI 导读
Dharma AI 在 Hugging Face 博客发布其约束感知 GPU 分配器,在相同硬件和负载下对比 FIFO 调度器,七个基准场景中 GPU 利用率最高提升 33 个百分点,优先级加权输出平均提升 52%。分配器将实时推理需求视为逐时间步的曲线而非固定预留,并按优先级跨整个调度周期放置批处理任务,单次决策耗时 1 至 15 毫秒。
推荐理由
原文用七个基准场景对比了约束感知分配器与 FIFO 调度器,读者可据此判断调度顺序对 GPU 利用率的实际影响。
来源:Hugging Face Blog · huggingface.co