Big Query에서 사용하는 문법은 크게 Legacy SQL와 Standard SQL이 있는데, LegacySQL은 Big Query 초기부터 사용되던 문법이나 2.0 이후에 Standard SQL이 지원되었기 때문에, 여기서는 Standard SQL 기준으로 포스팅하도록 하겠습니다. (좀더 자세히 알고 싶으신 분들은 구글 문서를 참조하시기 바랍니다)

Google Cloud의 Storage인 GCS(=Google Cloud Storage)는 AWS(Amazon Web Service)의 S3에 해당하는 서비스입니다

Google Cloud 환경에서 제공하는 Datalab은 Jupyter Notebook과 같은 솔루션을 제공합니다

MacOS에서 gcloud 명령어를 사용하기 위해서 세팅하는 방법을 포스팅하려고 합니다

구글 클라우드를 이용하다보면 인증을 위해 서비스 계정에서 Key를 받아야 하거나 권한을 줘야 하거나 하는 경우가 발생합니다

Embulk 설정을 하다가 보면, 데이터베이터 설정이나, 보안 관련 키 같은 공통 된 설정들이, 자주 보일겁니다

BigQuery 데이터 로드시에 분할해서 로드하기 - #1 에서 빅쿼리 테이블 파티셔닝 하는 방법을 배웠는데요, 매번 날짜만 바꿔서 새로 *.yml 파일을 새로 만들어서 돌리는 작업이 번거로우니, 이번에는 쉘스크립트와 Rundeck을 이용하여 자동화를 해보려고 합니다.

데이터 소스로부터 많은 데이터를 읽어올때 한번에 가져오게 되면 중간에 예상치 않은 문제가 생길 수도 있고, 테이블을 파티셔닝 하여 로딩하게 되면 병렬로 빠르게 처리도 가능하게 됩니다

Bottom Navigation이 공식적으로 지원이 되면서 사용하고 있는데 Keyboard 입력을 받을때,

기본적으로 안드로에서 제공하는 웹뷰를 바로 사용하면, 기대했던대로 동작하지 않거나 퍼포먼스가 나오지 않는 경우가 많습니다

이번엔 생각보다 간단한데 매번 찾게 되는 부분 정리를 하려고 합니다

회사내에서 테스트 결과를 매번 산출해서 정리해서 매니저한테 보고를 했어야 했는데 이 과정이 너무 귀찮아서

요즘 계속 느끼고 있는건데, 구글이 정말 미친거 같습니다 자기네 서비스들끼리, 왠만한건 다 연결할 수 있도록 하고 있습니다

최근에 Google Cloud에 큰 관심을 가지면서 자연스럽게 BigQuery에 자연스럽게 관심을 가지게 되었습니다

Embulk 설치 및 기본 사용법에 대해서 알아보겠습니다.