Hugging Face 深度剖析 DROP 评测异常低分原因并决定暂时下架 ↗
Hugging Face 在 Open LLM Leaderboard 中新增 DROP 评测后发现多数模型 F1 分低于 10,经深入排查发现 normalization 步骤对换行符后数字处理失效,且生成终止符使用英文句点导致浮点数和长答案被截断;联合 Zeno 和 EleutherAI 团队确认问题根因后,决定暂时将 DROP 从排行榜移除,等待修正版评测实现。
AIHOT 精选行业资讯,关注 AI、产品与技术的新进展。
AIHOT · 精选摘要,保留原始来源 · 2026年11月4日 09:00
Hugging Face 在 Open LLM Leaderboard 中新增 DROP 评测后发现多数模型 F1 分低于 10,经深入排查发现 normalization 步骤对换行符后数字处理失效,且生成终止符使用英文句点导致浮点数和长答案被截断;联合 Zeno 和 EleutherAI 团队确认问题根因后,决定暂时将 DROP 从排行榜移除,等待修正版评测实现。
Sam Altman 回归担任 OpenAI 首席执行官,Mira Murati 担任首席技术官,Greg Brockman 回归担任总裁,OpenAI 成立新初始董事会。
Hugging Face 在 diffusers 库中集成 Latent Consistency LoRA(LCM LoRA),使 SDXL 和 Stable Diffusion v1.5 等模型仅需 4 步即可高质量生成图像。
Hugging Face 官方博客宣布通过 optimum-neuron 实现 Llama 2 在 AWS Inferentia2 加速器上的文本生成部署,提供预编译模型(7B/13B,含 budget/latency/throughput 三类配置)、完整导出与推理代码示例,并公布编码时间、端到端延迟和吞吐量实测数据。
Explosion 推出 Prodigy-HF 插件,实现 Prodigy 与 Hugging Face 生态的直接集成,支持通过命令行 fine-tune 任意 Hugging Face Hub 上的 transformer 模型(如 distilbert-base-uncased)用于 NER 和文本分类任务。
OpenAI 发布 GPTs,用户可创建定制版 ChatGPT,结合指令、额外知识及任意技能组合。
OpenAI 在 DevDay 发布 GPT-4 Turbo(支持 128K 上下文、降价)、GPT-4 Turbo with Vision、DALL·E 3 API 以及新的 Assistants API。
Hugging Face Hub 为 Enterprise Hub 计划推出存储区域功能,支持将组织的模型和数据集指定存储在 US 或 EU 区域,后续将上线 Asia-Pacific 区域;该功能满足 GDPR 合规需求,并使欧洲用户在 EU 区域存储时获得约 4–5 倍的上传下载速度提升。
Hugging Face 官方博客发布教程,介绍如何使用 StarCoder 系列模型(如 bigcode/starcoder、starcoderbase-1b)在 Hugging Face 自有 GitHub 代码库上微调出专属编程助手 HugCoder。
Renumics Spotlight 工具支持通过一行代码 spotlight.show(ds) 对 Hugging Face 数据集进行交互式可视化探查,自动识别数据语义;支持加载预测结果、嵌入向量等模型输出以定位失败样本和关键簇,并提供 GUI 布局定制与 Python API 集成能力。
Hugging Face 博客介绍了针对 Stable Diffusion XL(SDXL)的多项推理优化技术,包括 fp16 量化、PyTorch 2.0 的 SDPA 注意力。
Hugging Face 团队对 OpenAI 2019 年开源的 RLHF 代码库 openai/lm-human-preferences 进行了完整复现与技术深挖。
Hugging Face 在 Inference Endpoints 上推出 Text Embedding Inference(TEI)服务,支持高效部署开源文本嵌入模型。
DALL·E 3 现已在 ChatGPT Plus 和企业版中上线,OpenAI 表示已构建安全缓解栈以支持更广泛发布,并同步更新了溯源研究进展。
Hugging Face 发布 Gradio-Lite(@gradio/lite),一个基于 Pyodide 的 JavaScript 库,使 Gradio 应用无需服务器即可在浏览器中直接运行。
PyTorch 2.1 正式发布,主要新增特性包括:torch.compile 支持自动动态形状以减少因张量尺寸变化导致的重复编译;torch.distributed.checkpoint 支持多 rank 并行保存/加载及拓扑变更下的 resharding。
Hugging Face 官方宣布 Diffusers 库新增对 JAX + Cloud TPU v5e 的支持,实现 Stable Diffusion XL(SDXL)的高性能低成本推理。
Hugging Face 在 tokenizers 中引入 chat_template 属性,用 Jinja 模板保存模型训练时使用的对话格式,避免因输入格式不匹配导致的静默性能下降;支持通过 tokenizer.apply_chat_template() 直接应用,并提供 ChatML 等三种典型模板示例。
Hugging Face 发布教程,指导用户如何 Fork 并配置 AI Comic Factory Space,通过设置 LLM_ENGINE 和 RENDERING_ENGINE 为 INFERENCE_API。
Hugging Face 博客介绍如何通过新集成的 DDPOTrainer 使用 Denoising Diffusion Policy Optimization(DDPO)方法对 Stable Diffusion 模型进行强化学习微调。
Hugging Face 发布面向非工程师的教程,演示如何通过 Spaces、AutoTrain 和 ChatUI 三步无代码构建基于 LLaMA 2 7b 的聊天应用。
Mistral AI 官方宣布发布其首个开源大语言模型 Mistral 7B,该模型在所有标准英文和代码基准上均超越当前可用的最高至 13B 参数的开源模型;采用 Apache 2.0 许可,支持无限制使用;模型基于自研 MLops 栈与数据处理流程开发,适用于摘要、结构化、问答等任务,推理速度快、成本低。
Mistral AI 发布 Mistral 7B(7.3B 参数)大语言模型,采用 Grouped-query attention 和 Sliding Window Attention。
Hugging Face 针对 Llama 2(7B/13B/70B)在 Amazon SageMaker 上的部署,测试了60种配置(含不同实例类型、并发请求数与GPTQ量化),测量延迟(ms/token)和吞吐(tokens/sec),并按成本效益、最高吞吐、最低延迟三类场景给出具体推荐;所有代码、原始数据和表格均开源。