BLOOM 176B 模型训练背后的技术 ↗
Hugging Face 博客详解了多语言大语言模型 BLOOM(176B 参数)的训练工程实现:使用 384 块 NVIDIA A100 80GB GPU,在法国 Jean Zay 超算上耗时约 3.5 个月完成。
AIHOT 精选行业资讯,关注 AI、产品与技术的新进展。
AIHOT · 精选摘要,保留原始来源 · 2026年11月5日 09:00
Hugging Face 博客详解了多语言大语言模型 BLOOM(176B 参数)的训练工程实现:使用 384 块 NVIDIA A100 80GB GPU,在法国 Jean Zay 超算上耗时约 3.5 个月完成。
作者基于 Sentence Transformers 和 Gradio 构建了一个文本驱动的歌单生成器,利用 ms-marco-MiniLM-L-6-v3 模型将歌词按段落切分并编码为嵌入向量。
Hugging Face 发布 BLOOM,全球最大的开源多语言大语言模型,含 1760 亿参数,支持 46 种自然语言和 13 种编程语言;模型、训练中间检查点、优化器状态及推理 API 全部开放,基于法国 Jean Zay 超算训练 117 天,受 BigScience 项目主导,采用 Responsible AI License 许可。
Hugging Face 推出 Evaluation on the Hub,一个基于 AutoTrain 的零代码模型评估工具,支持在 Hub 上任意组合模型与数据集进行评估。
Hugging Face 官方博客介绍如何通过 Accelerate 库无缝集成 DeepSpeed ZeRO(Stage-2 和 Stage-3 CPU offload)进行大模型训练。
OpenAI 训练神经网络通过视频预训练(VPT)学习人类玩 Minecraft 的未标注视频数据,仅用少量标注承包商数据,微调后能完成需熟练玩家超20分钟(24000步)的钻石工具合成任务;模型直接使用键盘和鼠标操作,具备通用性,是迈向通用计算机使用智能体的一步。
Hugging Face 官方博客发布嵌入入门教程,以美国社保局 Medicare FAQ 为例,分三步演示:1)调用 Hugging Face Inference API(使用 sentence-transformers/all-MiniLM-L6-v2 模型)将 13 条问题编码为 384 维嵌入向量。
Hugging Face 与 Intel 合作推出开源库 Optimum Intel,基于 Intel Neural Compressor 实现 Transformer 模型的量化、剪枝等优化;文中给出 DistilBERT 后训练动态量化的完整代码示例,实测精度从 0.574 降至 0.546,推理耗时降低至 1.34 倍加速,并支持 Habana Gaudi 加速器训练。
Hugging Face Hub 推出 Pull Requests 和 Discussions 功能,现已在所有仓库类型(模型、数据集、Spaces)的社区标签页中开放;用户可直接创建讨论、提交 PR,无需 fork,而是通过存储在源仓库中的自定义 refs 实现;该设计专为 ML 仓库优化,区别于 GitHub 等通用 Git 平台。
Hugging Face 博客介绍微软提出的 TAPEX 方法,通过系统采样可执行 SQL 查询及其在表格上的执行结果,构建合成预训练语料,使语言模型(如 BART)学习神经 SQL 执行能力。
Hugging Face 官方发布 Gradio 3.0,包含前端全面重构(基于 Svelte)、新增 Gallery 等组件、TabbedInterface 类,以及全新低级 Blocks API,支持在 Python 中构建多步骤、动态布局和条件渲染的定制化 ML 演示应用。
Hugging Face Optimum 1.2 正式发布推理加速能力,支持通过 ONNX Runtime 加速 Transformers pipelines。
Hugging Face 官方博客宣布 Hub 平台正式集成 fastai,支持通过 push_to_hub_fastai 和 from_pretrained_fastai 函数上传和加载 fastai Learner。
Hugging Face 在 Hub 中推出碳排放相关功能:支持通过 emissions_threshold 参数按训练 CO2 排放量(单位:克)筛选模型,例如最大 100 克或最小 500 克;同时在 transformers 库中集成 codecarbon,使用 Trainer 训练时自动生成 emissions.csv 文件记录碳排放数据,并可写入模型卡片。
Hugging Face 宣布将 Decision Transformer(一种将强化学习建模为序列生成任务的离线 RL 方法)集成进 🤗 transformers 库。
Hugging Face 官方博客发布教程,演示如何用自定义人行道图像数据集(segments/sidewalk-semantic)微调 SegFormer-B0 模型。
Hugging Face 官方博客介绍如何使用 datasets 库加载英国图书馆古籍插图数据集(embellishments_sample),结合 sentence_transformers 的 CLIP-ViT-B-32 模型生成图像嵌入。
Hugging Face 官方博客发布教程,演示如何使用 Hugging Face Transformers、Amazon SageMaker 和 AWS Inferentia 加速 BERT 文本分类推理。
OpenAI 发布新版 GPT-3 和 Codex,支持对现有文本进行编辑或插入内容,不再仅限于文本续写。
Hugging Face 在 Transformers 库中新增 constrained beam search 功能,支持通过 force_words_ids 或自定义 Constraint 对象强制生成包含指定词。
OpenAI 构建了一个用于 Lean 的神经定理证明器,成功求解了包括 AMC12、AIME 以及两道改编自 IMO 的多种高难度高中数学奥赛题。
Hugging Face 博客介绍了如何利用 Wav2Vec2 的 CTC 架构特性,通过带步幅的分块(chunk_length_s 和 stride_length_s)方法,在有限硬件上完成长音频或实时语音识别,避免显存溢出;文中提供了可直接运行的 pipeline 代码示例,并说明该方法同样适用于集成语言模型的增强版模型。
OpenAI 训练了比 GPT-3 更擅长遵循用户意图、更真实且毒性更低的语言模型,即 InstructGPT;该模型采用人类反馈强化学习等对齐技术训练,已作为默认语言模型部署在 OpenAI API 上。
OpenAI 推出 embeddings 新 API 端点,支持自然语言和代码任务,包括语义搜索、聚类、主题建模和分类。