麦肯锡报告显示，越来越多企业在部署AI驱动的解决方案时，开始扩大采用开源技术。超过50%的受访企业在AI技术栈的数据、模型与工具层面使用开源技术，其中科技、媒体与通信行业的开源AI使用率最高，达到70%。

　　与限制核心技术访问的“闭源”工具不同，开源通过公开源代码与全球协作，让企业能够根据自身需求，快速定制解决方案。

　　近日，21世纪经济报道记者在一个AI开源技术分析会上采访了从业者，以了解当下开源AI到底如何“接地气”。

　　从DeepSeek-v3.2到阿里云的Qwen 3，从Meta的Llama到谷歌的Gemma 3，“百模大战”中掀起的开源浪潮，为中小企业降低了技术跃迁门槛。模型不再是稀缺资源，而是企业落地AI的入口。

　　“大模型虽然百家争鸣、百花齐放，但依然处在‘春秋战国’时代，难以决胜。”德华安顾人寿总经理助理、首席信息官肖萍表示。目前，德华安顾人寿已通过搭载统一AI平台，集中管理GPU资源，在金融理财的客服、理赔等业务部署AI。

　　肖萍指出：“作为行业末端的企业，我们要迅速的接入大模型，但也要合理应用以规避风险，不能在一个模型厂商上‘绑死’。”

　　在AI落地过程中，企业面临的挑战之一是如何高效利用异构资源。许多企业同时拥有GPU、CPU等多样化算力，以及公有云、边缘计算和私有数据中心等多种部署环境。

　　红帽大中华区资深市场总监赵文斌指出，不同部门或业务场景可能使用不同的大模型或定制小模型，使资源管理更加复杂。

　　因此，随着AI走向生产线，开源AI的叙事也在转变：从“造模型”到“跑模型”，从比拼算法到构建生态。

　　“开源社区最大的优势是，全球开发者已经打下了一个很好的基础，企业只需要在这个社区中找到觉得不错的技术，拿过来并‘企业化’。”红帽全球副总裁兼大中华区总裁曹衡康说。

　　曹衡康透露，企业需要有弹性、可扩容的AI应用平台，同时要兼顾成本与信息安全。其中苹果电脑小火箭的标志，AI操作系统（AI OS）是“核心中枢”，负责推理任务调度，并提供标准化接口，保证多模型、多硬件环境下的高效运行。

　　红帽大中华区首席技术官张家驹进一步解释说，AI OS应通过标准化接口和模块化设计，不仅能对应不同的硬件，还要对应不同模型。

　　“AI的OS要具备真正的价值，一定是标准化的，可被南向或北向的生态合作伙伴集成的，才会成为市场上单独细分的一层。”

　　张家驹表示：“AI OS的核心应该是推理引擎。”推理引擎类似于传统操作系统在CPU上的作用，通过标准化和模块化设计，实现GPU和其他算力的高效利用，同时支持多模型并行运行。

　　推理引擎虽然从今年年初起开始被广泛讨论，但依然处于早期阶段。红帽联合产业调研显示，在超过350个企业中，仍有超过51%的企业尚未部署任何推理引擎。

　　其中，vLLM是一个由加州大学伯克利分校团队开发的高性能、开源 LLM 推理和服务引擎，核心目标是提升 LLM 的推理速度（吞吐量）和GPU资源利用率，同时兼容 Hugging Face 等流行模型库，并支持高并发实时服务。

　　张家驹介绍，红帽在vLLM上的投入，也是其差异化竞争力的重要体现。今年5月，红帽发布了开源项目llm-d，进一步增强vLLM推理能力，为AI推理的规模化落地提供方案。

　　全球范围内，Meta的Llama系列也配有推理引擎、微调工具、数据集平台与API接口的生态，但推理框架主要针对自家服务，在跨模型与硬件适配能力方面有限。英伟达的TensorRT则通过GPU的硬件升级，如低精度计算、层融合，提升推理速度和吞吐量。

　　曹衡康强调，从AI试点到规模化落地，企业应充分利用开源社区的“集群效应”，结合企业级AI平台，实现任意云环境、任意模型和加速器的AI部署。