気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
Hive パフォーマンスを改善する設定の紹介 - MicroAd Developers Blog
4 users
developers.microad.co.jp
developers.microad.co.jp
developers.microad.co.jp
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
マイクロアドではデータ基盤に Hive が使われています。 データ基盤について、以下の記事をご確認くださ... マイクロアドではデータ基盤に Hive が使われています。 データ基盤について、以下の記事をご確認ください。 MicroAdのデータ基盤 より使いやすいデータ分析基盤にするために この一年間、Hive を使う機会が増えましたのでクエリパフォーマンスを改善する為に Hive 設定を試行錯誤しましたので、その中からいくつか紹介します。 前提条件 1. Vectorization 2. Cost-based Optimization (CBO) 3. 並列実行 4. MapJoin 参考リンク 前提条件 Hive 1.1.0-cdh5.14.0 まず基本ですが SET; を実行すると、以下が表示されます。 システム変数 環境変数 Hadoop 設定（ユーザーが定義した・デフォルトプロパティ） Hive 設定（ユーザーが定義した・デフォルトプロパティ） set, define, hivevar で
developers.microad.co.jp
developers.microad.co.jp
developers.microad.co.jp
developers.microad.co.jp
tamuramble.theletter.jp
note.com/kumiko_ueda
anond.hatelabo.jp
univ-journal.jp
www.gigafree.org
zenn.dev/hikarucraft
info.tokyo-digitaltwin.metro.tokyo.lg.jp
www.publickey1.jp
www.publickey1.jp
qiita.com/Sakai_path
xtech.nikkei.com
bookclub.kodansha.co.jp
xtech.nikkei.com
2022/10/24 リンク