Cloudera 推出具有嵌入式 NVIDIA NIM 微服务的 AI Inference 服务，以加速 GenAI 的开发与部署 发布时间：2024-10-11 来源：Cloudera

Cloudera 的 AI Inference 服务通过 NVIDIA 加速计算和 NVIDIA NIM 微服务将 LLM 的性能提升了 36 倍，不仅为企业提供了更卓越的性能，还确保其具有强大的安全性，以及灵活的可扩展性

这一综合能力将两家公司各自的优势融汇成一项统一化解决方案：Cloudera 提供的可信数据构建了可信 AI 的坚实基础，而 NVIDIA 则通过其加速计算技术与 NVIDIA AI Enterprise 软件平台实现了在 Cloudera 上安全高效的 AI 应用私密部署

圣克拉拉，加州和纽约, Oct. 09, 2024 (GLOBE NEWSWIRE) -- 作为唯一真正的混合数据、分析与 AI 平台，Cloudera 今日隆重推出由隶属于 NVIDIA AI Enterprise 平台的 NVIDIA NIM 微服务提供支持的 Cloudera AI Inference。 作为业内首批提供嵌入式 NIM 微服务功能的 AI 推理服务之一，Cloudera AI Inference 在大规模 AI 模型的部署与管理上独树一帜，极大地简化了这一复杂流程，让企业能够运用自身数据，充分挖掘其潜在价值，推动 GenAI 从试点阶段迈向全面生产的顺利过渡。

来自 Deloitte 的最新数据显示，合规风险和治理问题成为企业在推广运用 GenAI 时面临的最大障碍。尽管如此，GenAI 的推广运用仍在快速推进。今年第三季度，超过三分之二的组织增加了其在 GenAI 方面的预算。 为了有效缓解这些担忧，企业必须选择在私有环境中运行 AI 模型和应用，无论在本地部署还是在公共云上。 这一转变需要安全且可扩展的解决方案，以避免复杂的自助式实施方法。

Cloudera AI Inference 在企业控制范围内提供安全的开发和部署，从而有效保护敏感数据，防止其泄露到非私有的供应商托管 AI 模型服务中。 借助 NVIDIA 技术，该服务以高性能速度为可信 AI 构建可信数据，从而推动 AI 驱动的聊天机器人、虚拟助手和代理应用的高效开发，不仅提升了企业生产力，还为新业务的增长注入强劲动力。

Cloudera AI Inference 是在该公司与 NVIDIA 建立合作关系后推出的，进一步夯实了 Cloudera 在推动企业 AI 创新方面的坚定承诺。在当前许多行业面临数字化转型与 AI 整合复杂挑战的关键时刻，这一新产品的发布显得尤为重要。

开发人员可以借助 NVIDIA Tensor Core GPU，以增速 36 倍的性能构建、定制和部署企业级 LLM。与传统 CPU 相比，其吞吐量几乎达到原来的 4 倍。 这一无缝用户体验直接将 UI 和 API 与 NVIDIA NIM 微服务容器进行整合，省去了对命令行界面 (CLI) 和独立监控系统的需求。 将该服务与 Cloudera 的 AI Model Registry 进行整合后，通过对模型端点和操作的访问控制进行管理，进一步增强了安全性和治理能力。 用户可以从统一平台中受益——所有模型，无论是 LLM 部署还是传统模型，均可在同一个服务下实现无缝管理。

Cloudera AI Inference 的其他重要功能包括：

• 高级 AI 功能：利用 NVIDIA NIM 微服务优化开源 LLM，包括 LLama 和 Mistral，以推动自然语言处理 (NLP)、计算机视觉及其他 AI 领域的前沿进步。
• 混合云与隐私：在本地或云中运行工作负载，采用 VPC 部署以增强安全性和合规性。
• 可扩展性与监控：依托自动扩展、高可用性 (HA) 和实时性能跟踪来检测和纠正问题，并实现高效资源管理。
• 开放 API 与 CI/CD 整合：访问符合标准的 API，以实现模型的部署、管理和监控，从而完成与 CI/CD 管道和 MLOps 工作流的无缝整合。
• 企业安全：通过服务账户、访问控制、数据溯源和审计功能来加强对模型访问的管理。
• 风险管理部署：进行 A/B 测试和金丝雀发布，以实现受控模型更新。

行业分析师 Sanjeev Mohan 表示：“企业渴望投资 GenAI，但这需要可扩展的数据，以及安全、合规且治理良好的数据。 在私有环境中大规模生产 AI 会导致复杂情况的出现，而自助式方法往往难以应对。 Cloudera AI Inference 将先进的数据管理与 NVIDIA 的 AI 专业知识相整合，从而填补了这一空白，充分释放数据的潜力，同时确保其安全性。 借助企业级安全功能，如服务账户、访问控制和审计，组织能够自信地保护其数据，在本地或云中运行工作负载，高效部署 AI 模型，同时确保必要的灵活性与治理。”

Cloudera 的首席产品官 Dipto Chakravarty 表示：“我们很高兴与 NVIDIA 携手合作，将 Cloudera AI Inference 推向市场，提供一个支持几乎所有模型和应用场景的统一化 AI/ML 平台，使企业不仅能够利用我们的软件创建强大的 AI 应用，还能在 Cloudera 中运行这些高效 AI 应用。 通过整合 NVIDIA AI，Cloudera 能够凭借先进性能促进更智能的决策制定，同时大规模利用可信数据构建可信 AI 应用，从而为客户开辟创新之路。”

NVIDIA 的 AI 软件、模型和服务副总裁 Kari Briski 表示：“现如今，企业需要完成生成式 AI 与其现有数据基础设施的无缝整合，以推动商业成果的实现。 通过将 NVIDIA NIM 微服务融入 Cloudera 的 AI Inference 平台，我们助力开发者轻松打造值得信赖的生成式 AI 应用，同时促进形成一个自我维持的 AI 数据良性循环。”

这些新功能将在 10 月 10 日举行的 Cloudera 顶级 AI 与数据会议 Cloudera EVOLVE NY 上盛大揭幕。 点击此处，深入了解这些最新更新如何进一步夯实 Cloudera 的承诺，借助 GenAI 将企业数据从试点阶段顺利提升至生产环境。

关于 Cloudera
Cloudera 是唯一真正的混合数据、分析和人工智能平台。 Cloudera 管理的数据量比其他仅提供云服务的供应商高出 100 倍，这一优势使其能够助力全球企业在公共云或私有云上转化各类数据，从而获得有价值且值得信赖的洞见。 我们的开放数据湖仓提供可扩展且安全的数据管理，并结合便携式云原生分析，帮助客户将 GenAI 模型直接应用于其数据，同时维护数据隐私，确保 AI 部署的责任性和可靠性。 全球规模最大的金融服务、保险、媒体、制造业和政府品牌都依托 Cloudera，利用其强大的数据能力，破解曾被视为无法解决的难题——无论当下还是未来。

如需了解更多信息，请访问 Cloudera.com，并在 LinkedIn 和 X 上关注我们。Cloudera 及相关标识为 Cloudera, Inc 的商标或注册商标。所有其他公司和产品名称可能是其各自所有者的商标。

联系人

Jess Hohn-Cabana
cloudera@v2comms.com