bq load実行時、'cp932' codec can't decode のエラーが発生する

2020/10/29

BigQuery GCP

t f B! P L

概要 

Windowsでbq load を実行した際、以下のエラーが発生した。

  1. C:\Users\hoge>call bq load --source_format=CSV --replace --skip_leading_rows=1 --encoding=UTF-8 test.T_HOGE gs://hote-test/T_HOGE.csv C:\GCP\T_HOGE.json
  2. BigQuery error in load operation: Error decoding JSON schema from file
  3. C:\GCP\T_HOGE.json: 'cp932' codec can't decode byte 0x8d in position 126:
  4. illegal multibyte sequence
  5. To specify a one-column schema, use "name:string".

これは、Cloud SDKを動かしているPythonによるエラー。--encoding=UTF-8は、CSVファイルを読み込む際の指定。.jsonは環境変数で指定する必要がある。



解決方法

.jsonファイルはUTF-8で作成する。
環境変数に、PYTHONUTF8=1を登録する。

QooQ