NVIDIA NeMo
NVIDIA NeMo 是一个模块化软件套件，包含 API 和库，可帮助开发者管理 AI 智能体生命周期，即大规模构建、部署和优化 AI 智能体。
灵活的开源框架，用于生成式 AI 模型的端到端训练和开发，从单个 GPU 无缝扩展到多节点集群。
用于基于评估开发和优化代理式系统的开源工具包。
易于使用的容器化 API，用于数据准备、模型自定义、评估、护栏和持续优化 AI 智能体。
NVIDIA NeMo 微服务
通过直观 API 提供的模块化容器化服务集合，使开发者能够将 NeMo 无缝集成到现有平台中。
借助快速预览、内置评估和可扩展的工作流，构建针对特定用例的高质量数据集
使用您的专有数据微调语言模型，构建特定领域的 AI 智能体。
使用标准和自定义指标 (包括 LLM-as-a -judge) 对模型和智能体的有效性进行基准测试和监控。
高精度检索增强生成 (RAG) 工作流，具有开源模型和保护隐私的数据访问。
为模型响应添加安全性、策略和局部控制。
使用开源 NeMo 框架开发多模态生成式 AI 模型。
NVIDIA NeMo 框架
模块化开源 Python 框架，用于多模态生成式 AI 模型的大规模预训练、后训练和强化学习。
使用 GPU 加速的 Python 库清理、筛选和准备多模态数据。
通过简化部署、基准测试支持和高级工具评估模型性能。
使用加速的 PyTorch 进行原生训练，并在首发日微调 Hugging Face 模型。
使用 Megatron-Core 并行机制和 PyTorch 原生训练循环来训练和微调大模型。
为 LLM 和代理式系统添加可编程的安全性、控制和合规性。
使用 TensorRT、TensorRT-LLM、vLLM 引擎和 Triton 后端将模型导出并部署到生产环境中。
通过用于合成数据生成、训练和基准评估的参考工作流扩展 LLM 功能。
训练和部署语音 AI 模型 (包括 ASR 和 TTS)，并向 NVIDIA Riva 提供导出支持。
监控和优化 AI 智能体和多智能体系统的性能。
使用与框架无关的开源可观察性工具包构建、分析、评估和优化代理式系统。
将 AI 工作负载作为可扩展、性能优化的服务进行部署和管理，为生产中的企业级 AI 智能体提供无缝支持。
容器化微服务可在任何地方安全、可靠地部署 AI 模型。
Kubernetes-native operator，用于对 NIM 和 NeMo 微服务进行自动化部署、扩展和生命周期管理。
参考架构对硬件、网络和软件进行标准化，为生产环境构建可扩展、安全且高性能的 AI 基础设施。