跳到正文
原文
Hugging Face Blog·· 2026-08-18精选AI 评分70

Dharma AI 发布约束感知 GPU 分配器:同集群利用率最高提升 33 个百分点

Same Cluster, 33 Points More Utilization: What Changed Was the Order

AI 导读

Dharma AI 在 Hugging Face 博客发布其约束感知 GPU 分配器,在相同硬件和负载下对比 FIFO 调度器,七个基准场景中 GPU 利用率最高提升 33 个百分点,优先级加权输出平均提升 52%。分配器将实时推理需求视为逐时间步的曲线而非固定预留,并按优先级跨整个调度周期放置批处理任务,单次决策耗时 1 至 15 毫秒。

推荐理由

原文用七个基准场景对比了约束感知分配器与 FIFO 调度器,读者可据此判断调度顺序对 GPU 利用率的实际影响。

来源:Hugging Face Blog · huggingface.co