ggml 是一个用于在 CPU 上高效运行大语言模型的 C 库，支持量化、多线程和跨平台部署，适用于本地 AI 推理场景。

Falcon Mamba 是由 TII 推出的首个高性能无注意力机制的 70 亿参数语言模型，基于 Mamba 架构，在保持高效推理的同时，在多个基准测试中表现优异。

文章探讨了大模型在工具调用（Tool Use）方面的最新进展，强调通过统一接口和标准化协议提升AI系统调用外部工具的能力，并介绍了相关框架和实践案例。

OpenAI发布GPT-4o系统卡，详细披露其多模态能力、安全评估、训练数据及性能表现，涵盖文本、音频、图像处理等核心特性与使用限制。

视频展示了员工如何使用ChatGPT Enterprise高效分析数据、挖掘洞察，提升数据驱动决策能力。

Rakuten通过将数据与AI结合，利用API打通客户数据，深入挖掘用户行为以提升个性化推荐和营销效果，从而释放客户价值。

OpenAI在API中推出Structured Outputs功能，使模型输出能严格遵循开发者提供的JSON Schema，提升结构化数据生成的可靠性。

文章介绍了一种名为TextImage Augmentation的新方法，用于增强文档图像中的文本内容，提升OCR和文档理解模型的训练效果。

谷歌发布轻量级大模型 Gemma 2 2B，以及用于内容安全的 ShieldGemma 和调试工具 Gemma Scope，提升模型安全性与可解释性。

本文介绍如何结合 Quanto 量化库与 Hugging Face Diffusers 库，实现内存占用更低的扩散 Transformer（DiT）模型推理，提升生成效率。

本文介绍如何结合 Hugging Face 和 NVIDIA NIM 部署大模型的无服务器推理服务，提升AI应用部署效率与可扩展性。

OpenAI推出SearchGPT原型，测试融合大模型能力的新搜索功能，提供快速、带来源的精准回答。

论文提出LAVE方法，利用大语言模型在Docmatix数据集上实现零样本视觉问答（VQA）评估，探讨是否仍需微调。实验表明，先进提示策略可显著提升零样本性能，挑战传统微调必要性。

提出一种基于规则奖励（RBR）的新方法，在无需大量人工数据的情况下提升模型的安全行为对齐效果。

Meta 发布 Llama 3.1 系列模型，包含 405B、70B 和 8B 参数版本，均支持多语言处理和长达 128K 的上下文长度，显著提升推理与多语言能力。

苹果在 WWDC 24 上展示了如何通过 Core ML 在本地设备高效运行 Mistral 7B 开源大模型，涵盖模型转换、优化及推理性能。

OpenAI发布GPT-4o mini，作为GPT-3.5 Turbo的继任者，具备更低延迟、更强多模态能力及显著成本优势（输入$0.15/百万token，输出$0.6/百万token），已在API和ChatGPT中上线。

OpenAI为ChatGPT Enterprise推出合规与管理新工具，包括合规API集成、SCIM用户管理及GPT使用控制，强化企业级数据安全与访问管控。

Docmatix是一个用于文档视觉问答（DocVQA）的大规模数据集，包含数百万份真实文档及对应问题-答案对，旨在推动AI在复杂文档理解任务上的能力。

Hugging Face 推出 TGI Multi-LoRA 功能，允许在单个 Text Generation Inference 实例上同时托管多达30个 LoRA 微调模型，显著降低部署成本并提升推理效率。