ChatGPT 新增多模态能力:支持看、听、说 ↗
ChatGPT 新增多模态能力,支持视觉输入(看)、语音输入(听)和语音输出(说)。
AIHOT 精选行业资讯,关注 AI、产品与技术的新进展。
AIHOT · 精选摘要,保留原始来源 · 2026年11月4日 09:00
ChatGPT 新增多模态能力,支持视觉输入(看)、语音输入(听)和语音输出(说)。
Hugging Face 宣布为 PRO 用户推出 Inference for PROs 服务,提供对 Llama 3、Mixtral、Code Llama、Stable Diffusion XL 等精选模型的专属 HTTP API 端点及更高调用频率限制。
Hugging Face 官方博客《Optimizing your LLM in production》系统讲解了提升大语言模型推理效率与内存效率的三种关键技术。
Hugging Face 发布 Würstchen 扩散图像生成模型,采用两阶段压缩(Stage A+B 为 Decoder,Stage C 为 Prior)。
Hugging Face 博客介绍了在双节点共 16 块 A100 80GB GPU 上使用 PyTorch FSDP 微调 Llama 2 70B 的完整实践。
Hugging Face 博客系统梳理了 🤗 Transformers 中原生支持的 bitsandbytes 和 auto-gptq 两种量化方案,涵盖适用场景。
Hugging Face 发布 SafeCoder,一个基于开源 StarCoder 模型(15.5B 参数,80+ 编程语言,8192-token 上下文窗口)的企业级代码助手。
Hugging Face 博客宣布为 Stable Diffusion XL(SDXL)推出 T2I-Adapter 系列控制模型,支持 sketch、canny。
TII 发布 Falcon 180B,参数量 1800 亿,基于 3.5 万亿 tokens 在 RefinedWeb 数据集上单 epoch 预训练,是当时最大开源语言模型。
Hugging Face 博客介绍如何通过 Flash Attention、float16 半精度、torch.compile 和 DPMSolverMultistepScheduler 四种优化手段,将 AudioLDM 2 文本生成音频(10.24 秒)的推理时间从约 14 秒降至不到 1 秒,同时保持音质;还演示了 CPU offload 等内存优化技巧以支持长音频生成。
OpenAI 发布 ChatGPT Enterprise,提供企业级安全与隐私保障,以及当时最强大的 ChatGPT 版本。
Meta 发布 Code Llama,一个基于 Llama 2 的开源代码大语言模型家族,包含 7B、13B 和 34B 三种参数规模,以及 base、Python-specialized 和 instruction-tuned 三类变体。
Hugging Face 在 Transformers 库中正式集成 AutoGPTQ,支持使用 GPTQ 算法对大语言模型进行 8/4/3/2-bit 量化。
开发者现在可以使用自有数据对 GPT-3.5 Turbo 进行微调,以适配自身用例。
Hugging Face 宣布推出 SafeCoder,一款面向企业的自托管代码助手商业解决方案,基于开源 StarCoder 模型家族,支持在客户自有基础设施(包括 NVIDIA、AMD、Intel、AWS、Habana 等多种硬件)上部署,训练与推理全程代码不出 VPC;它提供容器化、硬件加速的推理服务,并支持 VSCode、IntelliJ 等 IDE 插件。
Hugging Face 发布 IDEFICS,一个基于公开数据和模型(LLaMA v1 和 OpenCLIP)构建的开源视觉语言模型,提供 9B 和 80B 两种参数规模及对应指令微调版本。
Hugging Face 官方博客发布教程,演示如何使用开源框架 BentoML 将 DeepFloyd IF(一个开源、像素空间、三阶段级联的文本到图像模型)部署为生产服务。
Hugging Face 官方博客发布教程,演示如何使用 🤗 Transformers、Optimum 和 Accelerate 库对 Bark 文本转语音模型进行三项优化。
Hugging Face 发布 Swift Transformers 工具链,包括 swift-transformers(Swift 实现的 transformers 类 API)、swift-chat(演示应用)、exporters 和 transformers-to-coreml(Core ML 转换工具),并提供 Llama 2 7B、Falcon 7B 等已转换模型。
Hugging Face 博客介绍 Direct Preference Optimization(DPO)方法,该方法将 RLHF 中的强化学习目标转化为可直接优化的二元交叉熵损失。
Hugging Face 博客介绍如何使用 Inference Endpoints 部署 MusicGen 模型,包括复制 facebook/musicgen-large 仓库、编写 handler.py 自定义推理函数和 requirements.txt、创建端点,并提供 curl 和 Python 调用示例及音频生成代码。
Hugging Face 与 Zama 在博客中展示如何利用全同态加密(FHE)使 LLM 推理过程保护用户数据隐私与模型知识产权,具体实现基于 transformers 库改造 GPT2。
Hugging Face 推出 Huggy Lingo 方法,利用 Meta 的 facebook/fasttext-language-identification 模型预测无语言标签数据集的语言。
Hugging Face 博客发布《Practical 3D Asset Generation: A Step-by-Step Guide》,详解如何用 Shap-E(OpenAI 开源扩散模型)生成文本到 3D 模型。