気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
知っておくと運用で役に立つbq loadのTips - yasuhisa's blog
5 users
www.yasuhisay.info
www.yasuhisay.info
www.yasuhisay.info
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
今日もbq loadが失敗して涙を流していたデータエンジニアのid:syou6162です*1。このエントリではbq load... 今日もbq loadが失敗して涙を流していたデータエンジニアのid:syou6162です*1。このエントリではbq loadを使ったデータ取り込みで泣かないで済む、あるいは泣いても致命傷まではいかないようにするための色々なTipsを書きます。 bq loadをベースに書いていますが、SDKを使ってBigQueryにデータを取り込む際もほぼ同様のことを考えれば十分な場合が多いです。 bq loadの基本形 スキーマを自分で指定する 取り込み失敗時の対処方法 パーティショニング列やクラスタ列を指定する 必要であればbq queryと組み合わせて使う 洗い替えしたい場合 パーティション指定で洗い替え 一癖あるデータと戦う Shift-JISやEUC-JPのファイルを読み込む レコード内に改行を含むCSVを読み込む --max_bad_recordsオプションは最小限に 運用中のスキーマ変更に立ち
www.yasuhisay.info
www.yasuhisay.info
www.yasuhisay.info
www.yasuhisay.info
anond.hatelabo.jp
anond.hatelabo.jp
www.47news.jp
togetter.com
anond.hatelabo.jp
blog.satotaichi.info
shinyorke.hatenablog.com
konifar-zatsu.hatenadiary.jp
www.4gamer.net
note.com/fukkyy
codezine.jp
nml.mainichi.jp
sexology.jp
www.soccerdigestweb.com
ohnishi.livedoor.biz
2024/08/21 リンク