Hugging Face 推出 Inference Endpoints 服务以部署开源大语言模型 ↗
Hugging Face 推出 Inference Endpoints 托管服务,支持一键部署 Falcon、LLaMA、StarCoder 等开源 LLM;文中以 Falcon 40B-instruct 为例。
AIHOT 精选行业资讯,关注 AI、产品与技术的新进展。
AIHOT · 精选摘要,保留原始来源 · 2026年11月5日 09:00
Hugging Face 推出 Inference Endpoints 托管服务,支持一键部署 Falcon、LLaMA、StarCoder 等开源 LLM;文中以 Falcon 40B-instruct 为例。
Hugging Face 官方博客发布教程,介绍如何使用 Node.js 结合 WizardCoder-15B 等开源模型,通过 Inference API 或自托管 Inference Endpoints 实现文本到网页应用的流式生成。
Hugging Face 博客分析 Open LLM Leaderboard 上 MMLU 评分与 LLaMA 论文不一致的问题,实证对比原始 UC Berkeley 实现。
Hugging Face 博客介绍如何对 Massive Multilingual Speech(MMS)模型使用适配器(Adapter)方式进行微调,以实现低资源语言的自动语音识别(ASR)。
Hugging Face 官方博客宣布支持将 Livebook 笔记本部署到 Hugging Face Spaces,以构建基于 Whisper 模型的纯语音聊天应用;该应用可在 15 分钟内完成搭建与部署,并展示了 Livebook 在 Elixir 生态中的多模型服务、集群分发等能力。
Hugging Face 博客宣布为 Stable Diffusion 1.4/1.5/2-base/2.1-base 四个官方版本推出经 Core ML 6-bit palettization 优化的模型。
OpenAI 宣布 API 多项更新,包括更可控的模型、函数调用能力、更长上下文和更低价格。
Hugging Face 发布博客文章,系统比较人类标注与 GPT-4 在偏好评估中的表现,使用 Vicuna-13B、Koala-13B、Oasst-12B 和 Dolly-12B 等开源模型在 327 个指令提示上的输出。
Hugging Face Hub 新增功能,支持用户使用 DuckDB 对平台上存储的任意公开数据集执行 SQL 查询;所有公开数据集已自动转换为 Parquet 格式,可通过 /parquet 接口获取文件 URL,配合 DuckDB 的 httpfs 扩展即可直接查询远程 Parquet 文件。
阿布扎比技术与创新研究院(TII)发布 Falcon 系列开源大语言模型,包括 Falcon-40B 和 Falcon-7B,均采用 Apache 2.0 许可。
Hugging Face 官方博客发布 Unity 游戏中集成语音识别的完整教程,使用其 Unity API 将麦克风输入实时转为文本;教程包含场景搭建、UI 组件配置、10 秒 WAV 录音编码实现、API 调用及 UI 状态反馈等可运行代码。
Hugging Face 发布专用于 Amazon SageMaker 的 LLM 推理容器(DLC),基于 Text Generation Inference(TGI)构建。
Hugging Face 博客介绍如何使用 OpenVINO Neural Network Compression Framework(NNCF)和 🤗 Optimum 对 Stable Diffusion 进行 CPU 端优化。
Hugging Face 与 Microsoft 合作,在 Azure Machine Learning Studio 中上线原生集成的 Hugging Face Hub 模型目录,支持数千个 Transformers 模型的一键实时推理部署;该功能已开放公共预览,覆盖所有支持 Azure Machine Learning 的区域。
Hugging Face 官方博客发布 QLoRA 论文,提出一种可在单张 48GB GPU 上微调 65B 参数模型的高效方法,通过 4-bit NormalFloat 量化。
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库完成外部安全审计,确认无导致任意代码执行的关键漏洞;该 Rust 实现的张量序列化格式将逐步成为 transformers 库默认保存与加载格式,当前已作为核心依赖,并计划数月后默认启用。
Hugging Face 博客文章提出将 instruction-tuning 方法应用于 Stable Diffusion,以提升其对具体图像编辑指令(如 cartoonization、deraining、denoising、deblurring)的遵循能力。
OpenAI 发布 ChatGPT iOS 应用,支持对话同步和语音输入,并集成最新模型改进。
Hugging Face与Intel联合发布Q8-Chat,一个在单路Intel Sapphire Rapids CPU(32核、batch size=1)上运行的ChatGPT风格聊天演示。
Hugging Face 博客宣布将 RWKV 架构集成进 transformers 库,该架构融合 RNN 的内存效率与 Transformer 的长程依赖建模能力。
Hugging Face 发布教程,指导用户在支持 ROCm 的 AMD GPU(如 RX6900XT、MI210)上运行 4-bit 量化 Vicuna-13B 模型。
Hugging Face 提出辅助生成(assisted generation)这一新型解码方法,通过使用更小的助理模型(如 pythia-160m)预生成候选 token 序列。
Hugging Face 发布教程,演示如何使用 TensorFlow 和 TPU 从零训练 RoBERTa-base 模型:包括在 WikiText v1 上训练 Unigram tokenizer。
Hugging Face 发布新功能,支持通过 Dataset.from_spark() 方法将 Apache Spark 数据帧直接转换为 Hugging Face Dataset,避免中间 Parquet 文件写入读取;16GB 数据处理时间从 22 分钟降至 12 分钟,提速超 40%。该功能已合并进 Hugging Face Datasets 代码库,由 Databricks 贡献。