NVIDIA 深度学习性能文档 – 上次更新日期：2023 年 2 月 1 日
NVIDIA 深度学习性能
- 开始使用深度学习性能
- 这是我们深度学习性能文档的登陆页面。此页面提供适用于大多数深度学习操作的建议。它还提供链接、其他性能文档的简短说明，以及这些页面如何组合在一起。
培训
- 使用混合精度进行训练
- 混合精度方法在一个计算工作负载中结合使用不同的数值格式。本文档介绍了混合精度在深度神经网络训练中的应用。
推荐系统
- 本文档介绍使用 NVIDIA GPU 构建和部署大规模推荐系统的最佳实践。这些实践是多年来对用于推荐系统的 GPU 加速工具的研究和开发的结晶，也是我们为内部产品构建推荐系统以及为国际推荐系统比赛构建出色解决方案的结晶。
优化性能
- 本指南提供了提高全连接 (或线性) 层性能的提示。它还提供了一个示例，说明参数选择对 Transformer 网络中各层的影响。
- 本指南提供了提升卷积层性能的技巧，还详细阐述了包括批量大小、输入和滤波器维度、步长以及扩张率等参数所产生的影响。
- 本指南提供了提升循环层性能的技巧，还给出了在 GNMT 系统中利用层持久性 (persistence) 的用例示例。
- 本指南介绍了包括批量归一化、激活函数和池化在内的内存受限层的性能，还提供了理解和减少网络中这些层耗时的技巧。
性能背景
本指南介绍了 GPU 的结构、操作执行方式以及深度学习操作中常见的限制条件。
- 矩阵乘法背景用户指南
- 本指南介绍了矩阵乘法及其在众多深度学习操作中的应用。此处描述的趋势构成了全连接层、卷积层和循环层等性能趋势的基础。