当前位置：
  1. 首页
  2. AI 人工智能

NVIDIA发布AI微服务，助力开发者在CUDA GPU上快速部署AI助手。

2024-03-20

NVIDIA 于今日推出数十项企业级生成式 AI 微服务，企业可以利用这些微服务在自己的平台上创建和部署定制应用，同时保留对知识产权的完整所有权和控制权。
这些云原生微服务目录在NVIDIA CUDA平台上开发，其中包括NVIDIA NIM微服务，可适用于 NVIDIA 及合作伙伴生态系统中 20 多个热门的 AI 模型进行推理优化。此外，用户现能够以NVIDIA CUDA-X微服务的形式使用 NVIDIA 加速软件开发套件、库和工具，用于检索增强生成（RAG）、护栏、数据处理、HPC 等。NVIDIA 还发布了 20 多项医疗 NIM 和 CUDA-X 微服务。
这些精心挑选的微服务为 NVIDIA 全栈计算平台增添了新的一层，连接起了由模型开发人员、平台提供商和企业组成的 AI 生态系统，使其能够通过标准化的路径来运行针对 NVIDIA CUDA 安装基础（在云、数据中心、工作站和 PC 中的数以亿计的 GPU）优化的定制 AI 模型。
NVIDIA 创始人兼首席执行官黄仁勋表示：“成熟的企业平台坐拥数据金矿，这些数据可以转化为生成式 AI 助手。我们与合作伙伴生态系统一起创建的这些容器化 AI 微服务，是各行业企业成为 AI 公司的基石。”
NIM 推理微服务将部署时间从几周缩短至几分钟
NIM 微服务提供基于 NVIDIA 推理软件的预构建容器，包括 Triton 推理服务器 和 TensorRT-LLM，使开发者能够将部署时间从几周缩短至几分钟。
它们为语言、语音和药物发现等领域提供行业标准 API，使开发者能够使用安全托管在自己的基础设施中的专有数据，来快速构建 AI 应用。这些应用可按需扩展，从而为在 NVIDIA 加速计算平台上运行生产级生成式 AI 提供灵活性和性能。
面向 RAG、数据处理、护栏、HPC 的 CUDA-X 微服务
CUDA-X 微服务为数据准备、定制和训练提供端到端的构建模块，助力各行各业加快开发生产级 AI。
为了加快 AI 采用，企业可以使用 CUDA-X 微服务，包括用于定制语音和翻译 AI 的 NVIDIA Riva、用于路由优化的 NVIDIA cuOpt，以及用于高分辨率气候和天气模拟的 NVIDIA Earth-2。
生态系统通过生成式 AI 微服务赋能企业平台
除了领先的应用提供商外，NVIDIA 生态系统中的数据、基础设施和计算平台提供商也在使用 NVIDIA 微服务，为企业带来生成式 AI。
包括 Box、Cloudera、Cohesity、Datastax、Dropbox 和 NetApp 在内的顶级数据平台提供商正在使用 NVIDIA 微服务，帮助客户优化 RAG 管道，并将专有数据集成到生成式 AI 应用中。Snowflake 正在使用 NeMo Retriever，充分利用企业数据来构建 AI 应用。
可用性
开发者可以在 ai.nvidia.com 免费试用 NVIDIA 微服务。企业则可以在 NVIDIA 认证系统和领先的云平台上使用 NVIDIA AI Enterprise 5.0 部署生产级 NIM 微服务。

文章推荐
Tags：

上一篇

下一篇

相关推荐