跳到正文

#端侧

今日 1 条
今天9月29日周二
  1. TechCrunch · AI47

    深伪语音骗走祖父的钱后,她创办 DetectifAI 让手机本地识别 AI 语音

    DetectifAI 创始人 Tarini Padmanabhuni 因祖父遭 AI 深伪语音诈骗而创办该公司,其 SDK 可在手机操作系统内本地运行紧凑 AI 模型,实时判断语音是否由 AI 生成且音频不离开设备。该公司已为印度金融机构处理每月超 10 万通 AI 语音代理电话,并计划向手机厂商授权内置检测功能。

9月25日周五
9月22日周二
  1. Hugging Face Blog70

    Hugging Face 让 transformers 支持运行 llama.cpp 的 GGUF 量化模型

    Hugging Face 为 transformers 添加了 GGUF 模型支持,可在 Apple Silicon 上通过熟悉的 from_pretrained API 加载 GGUF 检查点,并复用 llama.cpp 的 ggml Metal 内核以接近其推理性能。

    推荐理由:Hugging Face 将 llama.cpp 的 GGUF 量化模型接入 transformers,并复用其 ggml Metal 内核,本地推理性能接近 llama.cpp,为开发者提供了在 PyTorch 生态中使用 GGUF 检查点的新路径。