Hugging Face Text Generation Inference 支持 AWS Inferentia2 ↗
Hugging Face 宣布 Text Generation Inference(TGI)正式支持 AWS Inferentia2 和 Amazon SageMaker。
AIHOT 精选行业资讯,关注 AI、产品与技术的新进展。
AIHOT · 精选摘要,保留原始来源 · 2026年11月4日 09:00
Hugging Face 宣布 Text Generation Inference(TGI)正式支持 AWS Inferentia2 和 Amazon SageMaker。
Patronus 团队联合 Hugging Face 发布企业场景评测榜单,覆盖 FinanceBench、Legal Confidentiality、Creative Writing。
PyTorch 2.2 正式发布,核心更新包括:scaled_dot_product_attention 集成 FlashAttention-v2,带来约 2x 速度提升。
Hugging Face 在博客中宣布通过 🤗 Optimum Intel 实现 StarCoder-15B 在第四代 Intel Xeon 上的推理加速:采用 SmoothQuant 的 INT8 量化实现 2.19x TTFT 和 2.20x TPOT 加速。
Hugging Face 推出幻觉评测榜单(The Hallucinations Leaderboard),一个基于开源、持续更新的评测平台,使用 EleutherAI Evaluation Harness 框架。
Hugging Face 博客介绍 DecodingTrust,这是 2023 年由 Secure Learning Lab 提出的首个综合性、统一的 LLM 可信度评估平台。
Hugging Face 博客介绍如何将开源大语言模型(如 Mixtral-8x7B、Zephyr-7b-beta)接入 LangChain 构建 ReAct 智能体。
Hugging Face 官方博客发布教程,指导用户使用 🤗 Transformers 微调 Meta 的 Wav2Vec2-BERT(facebook/w2v-bert-2.0)模型。
Hugging Face 博客实证评估了 Direct Preference Optimization(DPO)、Identity Preference Optimisation(IPO)和 Kahneman-Tversky Optimisation(KTO)三种无需强化学习的大语言模型对齐方法。
Hugging Face 博客发布针对 SD Turbo 和 SDXL Turbo 的 ONNX Runtime 加速方案,使用 CUDA 和 TensorRT 执行提供者。
Hugging Face 博客发布教程,指导用户将 ComfyUI 工作流(如 Nathan Shipley 的 Flux[dev] Redux + Depth 工作流)通过 ComfyUI-to-Python-Extension 导出为 Python 脚本。
Vectara 发布了基于 Hugging Face leaderboard 模板构建的 Hughes Hallucination Evaluation Model(HHEM)评测看板,用于评估 GPT-4、Gemini、Llama 2 等模型在文档摘要任务中的幻觉率;该看板支持用户提交新模型请求与自动结果更新,代码已开源并部署为 Hugging Face Space。
OpenAI 推出 GPT Store。
OpenAI 推出面向各类规模团队的 ChatGPT Team 订阅计划,提供安全、协作的工作空间,以提升 ChatGPT 在工作场景中的使用效果。
Hugging Face 博客介绍社区开发的 Unsloth 库,该库通过 Triton 内核重写 PyTorch 模块,使 LLM 微调速度提升至最高 2.7x、显存占用降低最多 74%,且不损失 QLoRA 精度;支持 Llama、Mistral 等架构及 TRL 的 SFTTrainer、DPOTrainer;提供预量化 4bit 模型和多个免费 Colab 可运行示例。
Hugging Face 发布 aMUSEd,一个基于 Masked Image Modeling(MIM)的高效非扩散文本到图像模型,是 Google MUSE 的开源复现;模型参数约 800M,支持文本到图像生成、零样本图像修复,并已完整集成进 diffusers;采用 CLIP-L/14 文本编码器和 U-ViT 架构,支持微条件控制,使用 OpenRAIL 许可证。
Hugging Face 发布面向 Stable Diffusion XL 的 Dreambooth LoRA 高级训练脚本,整合 pivotal tuning(含 textual inversion)。
Hugging Face 博客介绍如何使用推测解码(Speculative Decoding)将 Whisper 大模型语音转录推理速度提升约 2 倍,同时保证输出完全一致。
Mistral AI 发布 Mixtral 8x7B,一款开源权重的稀疏混合专家模型(SMoE),总参数 46.7B、每 token 使用 12.9B 参数,支持 32k 上下文,覆盖英法意德西五种语言,在多数基准上超越 Llama 2 70B 且推理速度快 6 倍,指令微调版 Mixtral 8x7B Instruct 在 MT-Bench 得分 8.30。
Mistral AI 推出平台服务 La Plateforme,开放 mistral-tiny(Mistral 7B Instruct v0.2,仅英文,MT-Bench 7.6)。
Mistral 发布 Mixtral 8x7B 开源大语言模型,采用稀疏 Mixture of Experts 架构,含约 45B 参数、32k 上下文窗口,支持英语等五种语言并具备编码能力。
Hugging Face 发布 Optimum-NVIDIA 推理库,通过单行代码替换即可在 NVIDIA 平台实现最高 28 倍吞吐提升和 3.3 倍首 token 延迟降低;该库首发支持 Ada Lovelace 和 Hopper 架构的 float8 格式,并兼容 LLaMA 系列模型(含微调版本),提供 pipeline 和 Model API 两种使用方式。
Hugging Face 与 AMD 宣布合作,为 AMD Instinct MI210/MI250/MI300 系列 GPU 提供 Hugging Face Transformers。
Hugging Face 在其 Inference API 中实现 Stable Diffusion LoRA 适配器的动态加载与卸载,使基础模型保持常驻状态。