Colab에서 g-drive, kaggle 연동해 데이터셋 불러오기

Colab의 가장 큰 장점은 각종 라이브러리를 다운로드하지 않고도 사용할 수 있다는거. 이때 데이터셋까지 PC에 다운받을 필요없이 G-Drive에 넣어두고 쓸수있다면 용량 부담이 더욱 줄어들것이다.
 
MNIST Set을 예로 들어보자. Kaggle에서 MNIST Set을 직접 다운받아 사용하면 128MB정도 용량이 필요하다. PC의 부담을 줄이기위해 G-Drive를 활용할 수 있다.

 
Colab에서 코드를 생성한 후 좌측 파일 이미지를 클릭하면 여러 파일리스트가 쫙 뜬다. 여기서 'content'파일을 이용해보자 (뭐든 상관X)

cd /content

!mkdir gdrive

from google.colab import drive
drive.mount('/content/gdrive')

 
content 파일 내 'gdrive' 폴더를 생성하고 거기에 마운트를 해보자. cd(change directory), mkdir(make directory) 등 명령어는 linux 명령어이지만 colab에서도 사용할 수 있다. 코드를 한줄씩 보면 cd/ content → change directory to 'content' (content 폴더로 이동), !mkdir → gdrive make directory 'gdrive' ((content 폴더에 있는 상태) 여기다가 'gdrive' 폴더 생성)
 
colab에서 제공하는 'drive' 모듈 drive.mount 명령어로 google g-drive와 연동이 가능하다. 실행시 소정의(?) google 로그인 과정을 거치게된다.
 

 
연동 후 content 폴더를 확인하면 gdrive의 폴더가 연결된것을 확인할 수 있다. 이대로 kaggle에서 직접 MNIST data를 다운받아 G-Drive에 저장 후 사용할 수 있지만 Colab안에서 한큐에 끝내는 방법을 알아보자
 

 
먼저 kaggle에 들어가 빨간박스 프로필 -> settings에 들어가보자. 아래로 쭉 내려가면 'API' 에 Create New Token 버튼이 있을것이다. 눌러주면 kaggle.json 파일이 다운로드된다. 이 토큰으로 colab에서 kaggle 계정 연동을 할 것이다.
 
다시 Colab으로

!pip install kaggle

from google.colab import files
files.upload()

kaggle에서 받은 토큰을 Colab에 업로드 해주자. 코드 실행하면 '파일 선택' 버튼이 활성화된다. 누르고 방금받은 json 파일을 선택하자.

!mkdir ~/.kaggle
!mv kaggle.json !/.kaggle/

!chmod 600 ~/.kaggle/*

mkdir(make directory)로 kaggle폴더를 생성후 방금 업로드한 json 파일을 mv(move directory) kaggle 폴더로 옮긴다.
change mode로 토큰에 대한 권한을 설정해준다. 600은 소유자만 읽기/쓰기 가능한 모드이다.
 

 
숫자 '600'의 의미이다. R(Read), W(Write), X(eXecute) 각 읽기, 쓰기, 실행에 대한 권한이다. RWX 순으로 이진법에 의해 각 2^2, 2^1, 2^0 숫자가 할당되어 그 합을 구하는것이다. 모든것에 대한 권한이 있다면 7, 읽기, 쓰기에 대한 권한만 있다면 6이다.
 
위의 과정을 거치게되면 Colab에서 kaggle 계정이 연동된다. 

cd '/content/gdrive/My Drive/Colab_Notebook/digit-recognizer

 
데이터를 다운로드 받기전에 먼저 폴더를 지정해주자. G-Drive 폴더를 지정해 거기다 받아줄거임 

!kaggle competitions download -c titanic
!kaggle competitions download -c digit-recognizer

 
연동후엔 위와같이 Colab에서 바로 데이터를 다운받을 수 있다. 데이터셋 고유의 이름이 있는데 titanic은 타이타닉 데이터, digit-recognizer는 MNIST 데이터를 의미한다. 그 외에도 여러 데이터셋을 다운받을 수 있다.