Hugging Face Blog·· 5 天前精选AI 评分60
Liquid AI 发布 LFM2.5-VL-DSpark 草稿模型,加速视觉语言模型推理
Accelerating vision-language models with LFM2.5-VL-DSpark
AI 导读
Liquid AI 发布实验性 DSpark 草稿模型 LFM2.5-VL-DSpark,为视觉语言模型 LFM2.5-VL-3B 增加投机解码路径,在不改变输出质量的前提下以增加 280M 参数(8.9%)的代价换取最高 3.13x 的解码加速。
推荐理由
原文给出了LFM2.5-VL-3B的DSpark草稿模型在端侧和GPU上的实测加速数据,读者可据此评估其推理加速方案的实际收益。
来源:Hugging Face Blog · huggingface.co