NVIDIA 云原生技术

The Operator, container runtime, device plugin, and GPU monitoring run on Kubernetes, the container engine, and your Linux distribution.
关于 NVIDIA 云原生技术
借助 NVIDIA 云原生技术,开发者可以使用 Docker、Podman 和 Kubernetes 构建和运行 GPU 加速容器。
自动管理在 Kubernetes 中调配 GPU 所需的所有 NVIDIA 软件组件。
将 NVIDIA GPU 与 Red Hat 以安全为中心的企业级可靠 Kubernetes 平台结合使用。
操作和管理软件组件和服务的生命周期,以便在 Kubernetes 中运行 LLM、嵌入以及其他 NIM 微服务和模型。
在 Kubernetes 集群中配置并管理 NVIDIA 网络资源。该 Operator 会安装主机网络软件,以提供高速网络连接。
合作伙伴记录如何将 NVIDIA GPU Operator 与其 Kubernetes 平台结合使用。

最终用户支持由合作伙伴而非 NVIDIA 提供。
对于 GPU 计算能力未完全饱和的工作负载,使用分区 GPU。
收集用于监控解决方案 (例如 Prometheus) 的 GPU 指标。
适用于 Kubernetes 的 NVIDIA 设备插件提供以下功能:
  • 公开集群每个节点上的 GPU 数量。
  • 跟踪 GPU 的运行状况。
  • 在 Kubernetes 集群中运行支持 GPU 的容器。
适用于 Kubernetes 的 NVIDIA GPU Feature Discovery 可自动为节点上的 GPU 集生成标签。
使用容器运行时库和实用程序构建和运行 GPU 加速容器。
NVIDIA GPU 将加速计算和人工智能引入边缘。
在混合云和多云环境中使用 NVIDIA GPU 和 Google Anthos。
NVIDIA Cloud Native Stack 是在 NVIDIA GPU 上运行云原生工作负载的软件集合。GitHub 资源库提供安装指南,助您快速入门。
在微服务架构中使用服务网格进行服务到服务通信。