이번에는 BigQuery에 CSV 파일을 업로드 하는 방법을 살펴 보도록 하겠습니다

실습

구글 클라우드 콘솔에 들어갑니다

메뉴에서 BigQuery를 찾아 클릭합니다

우선 테스트를 위해서 일반 database에 해당하는 dataset을 만듭니다

(화살표를 누르면 다음과 같이 뜹니다)

이름을 넣고, Data expiration 등도 선택할 수 있습니다.

ecommerce라는 dataset이 만들어 졌으니 테이블을 만들기 위해서 +버튼을 누릅니다

그럼 다음과 같은 화면이 나오는데 아래 상자안에 있는 설정을 통해서 CSV 파일을 읽어올 수 있습니다

choose file을 눌러서 컴퓨터에 저장된 csv파일을 가져오겠습니다

여기서는 purchase_data를 가져와 보겠습니다

사용할 데이터는 다음과 같이 생겼습니다

먼저 Table name을 넣어주고 여기서는 purchase로 넣어주겠습니다

그 다음 스키마를 지정해주는 부분이 나오는데, 여기서는 Automatically detect를 이용한 자동으로 스키마 가져오는 방법도 있고,

직접 넣어주는 방법도 있습니다. 자신의 데이터에 맞는 방법으로 넣어줍니다

만약 첫줄에 컬럼명이 있는경우 무시하기 위해서 Header rows to skip을 설정해줍니다

그 다음 Create Table을 누릅니다

그럼 다음과 같이 Table 생성을 위한 job이 나옵니다

(저는 초기 스키마 설정을 몇번 잘못해 아래에 실패 job들이 보입니다)

그 다음 쿼리를 날려서 실제 데이터가 잘 들어갔는지 확인을 해 봅니다

마무리

실제 CSV 파일로 데이터를 가지고 있거나 한 경우에 엑셀로 돌리기 무거운 경우 이렇게 손쉽게 BigQuery에 올려서 데이터를 손쉽게 핸들링 할 수 있습니다.