Contents

• 1. Introduction
  • 1.1. Data Layout
  • 1.2. New and Legacy cuBLAS API
  • 1.3. Example Code
• 2. Using the cuBLAS API
  • 2.1. General Description
    • 2.1.1. Error Status
    • 2.1.2. cuBLAS Context
    • 2.1.3. Thread Safety
    • 2.1.4. Results Reproducibility
    • 2.1.5. Scalar Parameters
    • 2.1.6. Parallelism with Streams
    • 2.1.7. Batching Kernels
    • 2.1.8. Cache Configuration
    • 2.1.9. Static Library Support
    • 2.1.10. GEMM Algorithms Numerical Behavior
    • 2.1.11. Tensor Core Usage
    • 2.1.12. CUDA Graphs Support
    • 2.1.13. 64-bit Integer Interface
  • 2.2. cuBLAS Datatypes Reference
    • 2.2.1. cublasHandle_t
    • 2.2.2. cublasStatus_t
    • 2.2.3. cublasOperation_t
    • 2.2.4. cublasFillMode_t
    • 2.2.5. cublasDiagType_t
    • 2.2.6. cublasSideMode_t
    • 2.2.7. cublasPointerMode_t
    • 2.2.8. cublasAtomicsMode_t
    • 2.2.9. cublasGemmAlgo_t
    • 2.2.10. cublasMath_t
    • 2.2.11. cublasComputeType_t
  • 2.3. CUDA Datatypes Reference
    • 2.3.1. cudaDataType_t
    • 2.3.2. libraryPropertyType_t
  • 2.4. cuBLAS Helper Function Reference
    • 2.4.1. cublasCreate()
    • 2.4.2. cublasDestroy()
    • 2.4.3. cublasGetVersion()
    • 2.4.4. cublasGetProperty()
    • 2.4.5. cublasGetStatusName()
    • 2.4.6. cublasGetStatusString()
    • 2.4.7. cublasSetStream()
    • 2.4.8. cublasSetWorkspace()
    • 2.4.9. cublasGetStream()
    • 2.4.10. cublasGetPointerMode()
    • 2.4.11. cublasSetPointerMode()
    • 2.4.12. cublasSetVector()
    • 2.4.13. cublasGetVector()
    • 2.4.14. cublasSetMatrix()
    • 2.4.15. cublasGetMatrix()
    • 2.4.16. cublasSetVectorAsync()
    • 2.4.17. cublasGetVectorAsync()
    • 2.4.18. cublasSetMatrixAsync()
    • 2.4.19. cublasGetMatrixAsync()
    • 2.4.20. cublasSetAtomicsMode()
    • 2.4.21. cublasGetAtomicsMode()
    • 2.4.22. cublasSetMathMode()
    • 2.4.23. cublasGetMathMode()
    • 2.4.24. cublasSetSmCountTarget()
    • 2.4.25. cublasGetSmCountTarget()
    • 2.4.26. cublasLoggerConfigure()
    • 2.4.27. cublasGetLoggerCallback()
    • 2.4.28. cublasSetLoggerCallback()
  • 2.5. cuBLAS Level-1 Function Reference
    • 2.5.1. cublasI<t>amax()
    • 2.5.2. cublasI<t>amin()
    • 2.5.3. cublas<t>asum()
    • 2.5.4. cublas<t>axpy()
    • 2.5.5. cublas<t>copy()
    • 2.5.6. cublas<t>dot()
    • 2.5.7. cublas<t>nrm2()
    • 2.5.8. cublas<t>rot()
    • 2.5.9. cublas<t>rotg()
    • 2.5.10. cublas<t>rotm()
    • 2.5.11. cublas<t>rotmg()
    • 2.5.12. cublas<t>scal()
    • 2.5.13. cublas<t>swap()
  • 2.6. cuBLAS Level-2 Function Reference
    • 2.6.1. cublas<t>gbmv()
    • 2.6.2. cublas<t>gemv()
    • 2.6.3. cublas<t>ger()
    • 2.6.4. cublas<t>sbmv()
    • 2.6.5. cublas<t>spmv()
    • 2.6.6. cublas<t>spr()
    • 2.6.7. cublas<t>spr2()
    • 2.6.8. cublas<t>symv()
    • 2.6.9. cublas<t>syr()
    • 2.6.10. cublas<t>syr2()
    • 2.6.11. cublas<t>tbmv()
    • 2.6.12. cublas<t>tbsv()
    • 2.6.13. cublas<t>tpmv()
    • 2.6.14. cublas<t>tpsv()
    • 2.6.15. cublas<t>trmv()
    • 2.6.16. cublas<t>trsv()
    • 2.6.17. cublas<t>hemv()
    • 2.6.18. cublas<t>hbmv()
    • 2.6.19. cublas<t>hpmv()
    • 2.6.20. cublas<t>her()
    • 2.6.21. cublas<t>her2()
    • 2.6.22. cublas<t>hpr()
    • 2.6.23. cublas<t>hpr2()
    • 2.6.24. cublas<t>gemvBatched()
    • 2.6.25. cublas<t>gemvStridedBatched()
  • 2.7. cuBLAS Level-3 Function Reference
    • 2.7.1. cublas<t>gemm()
    • 2.7.2. cublas<t>gemm3m()
    • 2.7.3. cublas<t>gemmBatched()
    • 2.7.4. cublas<t>gemmStridedBatched()
    • 2.7.5. cublas<t>gemmGroupedBatched()
    • 2.7.6. cublas<t>symm()
    • 2.7.7. cublas<t>syrk()
    • 2.7.8. cublas<t>syr2k()
    • 2.7.9. cublas<t>syrkx()
    • 2.7.10. cublas<t>trmm()
    • 2.7.11. cublas<t>trsm()
    • 2.7.12. cublas<t>trsmBatched()
    • 2.7.13. cublas<t>hemm()
    • 2.7.14. cublas<t>herk()
    • 2.7.15. cublas<t>her2k()
    • 2.7.16. cublas<t>herkx()
  • 2.8. BLAS-like Extension
    • 2.8.1. cublas<t>geam()
    • 2.8.2. cublas<t>dgmm()
    • 2.8.3. cublas<t>getrfBatched()
    • 2.8.4. cublas<t>getrsBatched()
    • 2.8.5. cublas<t>getriBatched()
    • 2.8.6. cublas<t>matinvBatched()
    • 2.8.7. cublas<t>geqrfBatched()
    • 2.8.8. cublas<t>gelsBatched()
    • 2.8.9. cublas<t>tpttr()
    • 2.8.10. cublas<t>trttp()
    • 2.8.11. cublas<t>gemmEx()
    • 2.8.12. cublasGemmEx()
    • 2.8.13. cublasGemmBatchedEx()
    • 2.8.14. cublasGemmStridedBatchedEx()
    • 2.8.15. cublasGemmGroupedBatchedEx()
    • 2.8.16. cublasCsyrkEx()
    • 2.8.17. cublasCsyrk3mEx()
    • 2.8.18. cublasCherkEx()
    • 2.8.19. cublasCherk3mEx()
    • 2.8.20. cublasNrm2Ex()
    • 2.8.21. cublasAxpyEx()
    • 2.8.22. cublasDotEx()
    • 2.8.23. cublasRotEx()
    • 2.8.24. cublasScalEx()
• 3. Using the cuBLASLt API
  • 3.1. General Description
    • 3.1.1. Problem Size Limitations
    • 3.1.2. Heuristics Cache
    • 3.1.3. cuBLASLt Logging
    • 3.1.4. 8-bit Floating Point Data Types (FP8) Usage
    • 3.1.5. Disabling CPU Instructions
    • 3.1.6. Atomics Synchronization
  • 3.2. cuBLASLt Code Examples
  • 3.3. cuBLASLt Datatypes Reference
    • 3.3.1. cublasLtClusterShape_t
    • 3.3.2. cublasLtEpilogue_t
    • 3.3.3. cublasLtHandle_t
    • 3.3.4. cublasLtLoggerCallback_t
    • 3.3.5. cublasLtMatmulAlgo_t
    • 3.3.6. cublasLtMatmulAlgoCapAttributes_t
    • 3.3.7. cublasLtMatmulAlgoConfigAttributes_t
    • 3.3.8. cublasLtMatmulDesc_t
    • 3.3.9. cublasLtMatmulDescAttributes_t
    • 3.3.10. cublasLtMatmulHeuristicResult_t
    • 3.3.11. cublasLtMatmulInnerShape_t
    • 3.3.12. cublasLtMatmulPreference_t
    • 3.3.13. cublasLtMatmulPreferenceAttributes_t
    • 3.3.14. cublasLtMatmulSearch_t
    • 3.3.15. cublasLtMatmulTile_t
    • 3.3.16. cublasLtMatmulStages_t
    • 3.3.17. cublasLtNumericalImplFlags_t
    • 3.3.18. cublasLtMatrixLayout_t
    • 3.3.19. cublasLtMatrixLayoutAttribute_t
    • 3.3.20. cublasLtMatrixTransformDesc_t
    • 3.3.21. cublasLtMatrixTransformDescAttributes_t
    • 3.3.22. cublasLtOrder_t
    • 3.3.23. cublasLtPointerMode_t
    • 3.3.24. cublasLtPointerModeMask_t
    • 3.3.25. cublasLtReductionScheme_t
  • 3.4. cuBLASLt API Reference
    • 3.4.1. cublasLtCreate()
    • 3.4.2. cublasLtDestroy()
    • 3.4.3. cublasLtDisableCpuInstructionsSetMask()
    • 3.4.4. cublasLtGetCudartVersion()
    • 3.4.5. cublasLtGetProperty()
    • 3.4.6. cublasLtGetStatusName()
    • 3.4.7. cublasLtGetStatusString()
    • 3.4.8. cublasLtHeuristicsCacheGetCapacity()
    • 3.4.9. cublasLtHeuristicsCacheSetCapacity()
    • 3.4.10. cublasLtGetVersion()
    • 3.4.11. cublasLtLoggerSetCallback()
    • 3.4.12. cublasLtLoggerSetFile()
    • 3.4.13. cublasLtLoggerOpenFile()
    • 3.4.14. cublasLtLoggerSetLevel()
    • 3.4.15. cublasLtLoggerSetMask()
    • 3.4.16. cublasLtLoggerForceDisable()
    • 3.4.17. cublasLtMatmul()
    • 3.4.18. cublasLtMatmulAlgoCapGetAttribute()
    • 3.4.19. cublasLtMatmulAlgoCheck()
    • 3.4.20. cublasLtMatmulAlgoConfigGetAttribute()
    • 3.4.21. cublasLtMatmulAlgoConfigSetAttribute()
    • 3.4.22. cublasLtMatmulAlgoGetHeuristic()
    • 3.4.23. cublasLtMatmulAlgoGetIds()
    • 3.4.24. cublasLtMatmulAlgoInit()
    • 3.4.25. cublasLtMatmulDescCreate()
    • 3.4.26. cublasLtMatmulDescInit()
    • 3.4.27. cublasLtMatmulDescDestroy()
    • 3.4.28. cublasLtMatmulDescGetAttribute()
    • 3.4.29. cublasLtMatmulDescSetAttribute()
    • 3.4.30. cublasLtMatmulPreferenceCreate()
    • 3.4.31. cublasLtMatmulPreferenceInit()
    • 3.4.32. cublasLtMatmulPreferenceDestroy()
    • 3.4.33. cublasLtMatmulPreferenceGetAttribute()
    • 3.4.34. cublasLtMatmulPreferenceSetAttribute()
    • 3.4.35. cublasLtMatrixLayoutCreate()
    • 3.4.36. cublasLtMatrixLayoutInit()
    • 3.4.37. cublasLtMatrixLayoutDestroy()
    • 3.4.38. cublasLtMatrixLayoutGetAttribute()
    • 3.4.39. cublasLtMatrixLayoutSetAttribute()
    • 3.4.40. cublasLtMatrixTransform()
    • 3.4.41. cublasLtMatrixTransformDescCreate()
    • 3.4.42. cublasLtMatrixTransformDescInit()
    • 3.4.43. cublasLtMatrixTransformDescDestroy()
    • 3.4.44. cublasLtMatrixTransformDescGetAttribute()
    • 3.4.45. cublasLtMatrixTransformDescSetAttribute()
• 4. Using the cuBLASXt API
  • 4.1. General description
    • 4.1.1. Tiling design approach
    • 4.1.2. Hybrid CPU-GPU computation
    • 4.1.3. Results reproducibility
  • 4.2. cuBLASXt API Datatypes Reference
    • 4.2.1. cublasXtHandle_t
    • 4.2.2. cublasXtOpType_t
    • 4.2.3. cublasXtBlasOp_t
    • 4.2.4. cublasXtPinningMemMode_t
  • 4.3. cuBLASXt API Helper Function Reference
    • 4.3.1. cublasXtCreate()
    • 4.3.2. cublasXtDestroy()
    • 4.3.3. cublasXtDeviceSelect()
    • 4.3.4. cublasXtSetBlockDim()
    • 4.3.5. cublasXtGetBlockDim()
    • 4.3.6. cublasXtSetCpuRoutine()
    • 4.3.7. cublasXtSetCpuRatio()
    • 4.3.8. cublasXtSetPinningMemMode()
    • 4.3.9. cublasXtGetPinningMemMode()
  • 4.4. cuBLASXt API Math Functions Reference
    • 4.4.1. cublasXt<t>gemm()
    • 4.4.2. cublasXt<t>hemm()
    • 4.4.3. cublasXt<t>symm()
    • 4.4.4. cublasXt<t>syrk()
    • 4.4.5. cublasXt<t>syr2k()
    • 4.4.6. cublasXt<t>syrkx()
    • 4.4.7. cublasXt<t>herk()
    • 4.4.8. cublasXt<t>her2k()
    • 4.4.9. cublasXt<t>herkx()
    • 4.4.10. cublasXt<t>trsm()
    • 4.4.11. cublasXt<t>trmm()
    • 4.4.12. cublasXt<t>spmm()
• 5. Using the cuBLASDx API
• 6. Using the cuBLAS Legacy API
  • 6.1. Error Status
  • 6.2. Initialization and Shutdown
  • 6.3. Thread Safety
  • 6.4. Memory Management
  • 6.5. Scalar Parameters
  • 6.6. Helper Functions
  • 6.7. Level-1,2,3 Functions
  • 6.8. Converting Legacy to the cuBLAS API
  • 6.9. Examples
• 7. cuBLAS Fortran Bindings
• 8. Interaction with Other Libraries and Tools
  • 8.1. nvprune
• 9. Acknowledgements
• 10. Notices
  • 10.1. Notice
  • 10.2. OpenCL
  • 10.3. Trademarks