[ERROR] CUDA error: CUBLAS_STATUS_INVALID_VALUE 해결법

논문 재구현을 하면서, 아래와 같은 오류가 떴다. 

 

RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling 

`cublasGemmEx( handle, opa, opb, m, n, k, &falpha, a, CUDA_R_16F, lda, b, CUDA_R_16F, ldb, &fbeta, c, CUDA_R_16F, ldc, CUDA_R_32F, CUBLAS_GEMM_DFALT_TENSOR_OP)`

 

CUDA를 일일히 다 까보기 힘들어 그냥 밀어 버릴까 했는데, 혹시나 서버에 문제가 생길까 고민을 많이 했다.

그러다 연구실 동료가 torch 버전을 확인해보자 제안했다. 

 

논문의 코드는 1.6이상이면 된다고 했지만, 내가 사용하던 버전은 1.13였고 버전 차이가 너무 커서 그럴수도 있다는 추측때문이었다. 그래서 기존 torch를 unistall하고 1.10으로 바꿨더니 해결됐다.

 

해결한다고 답답해하고 낭비한 시간이 너무 아깝지만, 일단 해결했으니 다행이다.