[ERROR] CUDA error: CUBLAS_STATUS_INVALID_VALUE 해결법
논문 재구현을 하면서, 아래와 같은 오류가 떴다. RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling `cublasGemmEx( handle, opa, opb, m, n, k, &falpha, a, CUDA_R_16F, lda, b, CUDA_R_16F, ldb, &fbeta, c, CUDA_R_16F, ldc, CUDA_R_32F, CUBLAS_GEMM_DFALT_TENSOR_OP)` CUDA를 일일히 다 까보기 힘들어 그냥 밀어 버릴까 했는데, 혹시나 서버에 문제가 생길까 고민을 많이 했다. 그러다 연구실 동료가 torch 버전을 확인해보자 제안했다. 논문의 코드는 1.6이상이면 된다고 했지만, 내가 사용하던 버전은 1.13였고 버전..
2023. 4. 26.
