Apache Hiveã¨Druidを使ã£ãŸãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ SQL
IoTã‚„AIã®ãƒ¦ãƒ¼ã‚¹ã‚±ãƒ¼ã‚¹ãŒã¾ã™ã¾ã™å¢—ãˆã¦ã„ã‚‹ã®ãªã‹ã€ãƒ“ッグデータをリアルタイムã«SQLã§ã‚¯ã‚¨ãƒªã™ã‚‹éœ€è¦ãŒé«˜ã¾ã£ã¦ã„る。ã“ã¡ã‚‰ã‚’実ç¾ã™ã‚‹ã‚½ãƒªãƒ¥ãƒ¼ã‚·ãƒ§ãƒ³ã¨ã—ã¦ã€Apache Hive 㨠Druid ã®çµ„åˆã›ãŒé…力ã§ã™ã€‚ Apache Hive 㨠Druid ã¨ã‚‚実績ã®é«˜ã„オープンソースソフトウェア（OSS）。 両方ã¨ã‚‚éžå¸¸ã«å¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã§ã‚‚対応ã§ãるスケールアウト・アーã‚テクãƒãƒ£ã€‚ Apache Hive 㨠Druid 自体やä¾å˜ã‚³ãƒ³ãƒãƒãƒ³ãƒˆå…¨ã¦ã¯ã€Apache Ambariを使ã£ã¦GUIウィーザーã§ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«å¯èƒ½ã€‚ ç°¡å˜ãªè¨å®šã ã‘ã§é€£æºå¯èƒ½ã€‚ 今回ã¯Apache Hiveã¨Druidを使ã£ãŸãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ SQL処ç†ã‚’ã€ã‚µãƒ³ãƒ—ルã¿ãªãŒã‚‰èª¬æ˜Žã™ã‚‹ã€‚ Apache Hive 2ã¨ã¯ Apache Hiveã¯Hadoop上ã®SQLデータ・ウェアãƒã‚¦ã‚¹ã§ã™ã€‚最新ã®Hive 2.2ã¯æ–°ã—ã„LLA
PyHive を使ã£ã¦ Hive ã‚«ã‚¿ãƒã‚°ã®ãƒ†ãƒ¼ãƒ–ル㫠Presto クエリを実行ã™ã‚‹ | Lancork
※当ブãƒã‚°ã§ã¯ã‚¢ãƒ•ã‚£ãƒªã‚¨ã‚¤ãƒˆåºƒå‘Šã‚’利用ã—ã¦ã„ã¾ã™ã€‚ Presto ã‚’ã•ã‚り始ã‚ãŸã®ã§ãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚°è¨€èªžã‹ã‚‰ç°¡å˜ã«æ“作ã—ãŸã„ã¨æ€ã„色々見ã¦ã¿ãŸã¨ã“ã‚ã€Python ã§ã¯ PyHive ã¨ã„ã†ãƒ‘ッケージãŒã‚ã‚Šã¾ã—ãŸã€‚ PyHive を使ã£ã¦ Hive ã‚«ã‚¿ãƒã‚°ã®ãƒ†ãƒ¼ãƒ–ル㫠Presto クエリを実行ã™ã‚‹ã¾ã§ã‚’メモã—ã¾ã™ã€‚ Hiveテーブルã®æº–å‚™ é©å½“ã«ãƒ†ãƒ¼ãƒ–ルを作æˆã—レコードを入れã¦ãŠãã¾ã™ã€‚今回ã¯hogeテーブルã‹ã‚‰value1ã‚’å–å¾—ã™ã‚‹ã“ã¨ãŒç›®æ¨™ã§ã™ã€‚ hive> CREATE TABLE hoge > (fuga string); hive> INSERT INTO TABLE hoge VALUES('value1'); hive> SELECT * FROM hoge; OK value1 PyHiveã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ« 以下ã®ã‚ªãƒ•ã‚£ã‚·ãƒ£ãƒ« GitHub PyHive リãƒã‚¸ãƒˆãƒªã®ãƒ‰ã‚ュ
PyHive + ipython-sql 㧠Jupyter ã‹ã‚‰ Hive ã«æŽ¥ç¶šã™ã‚‹ - blog.8-p.info
Jupyter ã‹ã‚‰ Hive を使ã†ã®ã« PyHive + ipython-sql ãŒä¾¿åˆ©ã ã£ãŸã€‚ PyHive PyHive 㯠Hive ã® Thrift クライアントを DB-API 2.0 (PEP 249) æº–æ‹ ã® API ã§ãƒ©ãƒƒãƒ—ã™ã‚‹ãƒ©ã‚¤ãƒ–ラリã 。DB-API 㯠Python ã§ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã«ã‚¢ã‚¯ã‚»ã‚¹ã™ã‚‹ãŸã‚ã®æ¨™æº–çš„ãªã‚¤ãƒ³ã‚¿ãƒ¼ãƒ•ã‚§ãƒ¼ã‚¹ã§ã€Perl ã® DBI ã‚„ Java ã® JDBC ã«ç›¸å½“ã™ã‚‹ã€‚ PyHive 㨠pandas.read_sql ãŒã‚ã‚Œã°ã€ã¨ã‚Šã‚ãˆãš SQL ã®çµæžœã‚’ pandas ã«èªã¿è¾¼ã‚€ã“ã¨ã¯ã§ãるよã†ã«ãªã‚‹ã€‚ ipython-sql 世ã®ä¸ã«ã¯ã€ŒSQL を書ãã®ã¯æœ€åˆã ã‘ã§ã€pandas ã«èªã¿è¾¼ã‚“ã§ã‹ã‚‰ãŒæœ¬ç•ªã€ã¨ã„ã†ä»•äº‹ã‚’ã—ã¦ã„る人もã„ã‚‹ã‚“ã ã‚ã†ã‘ã©ã€ç§ã®å ´åˆã¯ SQL 上ã§ã„ã‚ã„ã‚ã™ã‚‹ã“ã¨ã®ã»ã†ãŒå¤šã„ã®ã§ ipython-sql も使ã£ã¦ã„ã‚‹
HiveServerを使用ã—ã¦Pythonã‚„Perlã‹ã‚‰HiveQLを実行ã™ã‚‹ - ãŸã”ã‚‚ã‚Šã™ãƒ¡ãƒ¢
HiveServerã¯Thriftプãƒãƒˆã‚³ãƒ«ã‚’ã—ゃã¹ã‚‹*1ã®ã§ã€ãŠãªã˜ãThriftã§æŽ¥ç¶šã™ã‚‹ã¨ä»»æ„ã®ã‚¯ã‚¨ãƒªã‚’発行ã§ããŸã‚Šã—ã¦å¤§å¤‰ä¾¿åˆ©ã€‚ã¨ã„ã†ã“ã¨ã§ã€ã‚„ã£ãŸã®ã§ã€ãã®ãƒ¡ãƒ¢ã€‚ 準備 ã¾ãšHiveServerã ã‘ã©ã€hiveコマンドをå©ã„ã¦ã‚¯ã‚¨ãƒªãŒå®Ÿè¡Œã§ãる状態ãªã‚‰ä»¥ä¸‹ã®ã‚³ãƒžãƒ³ãƒ‰ã§èµ·å‹•ã™ã‚‹ã€‚*2 $ hive --service hiveserver ãŸã ã—ã‚らゆるデータ投入ãªã©ã‚’Thrift経由ã§ã‚„ã‚‹ã®ã¯æ£ç›´ã‚ã‚“ã©ãã•ã„。hiveã¨å©ã‘ã°èµ·å‹•ã™ã‚‹Hive CLIã§ã‚‚データæ“作ã¯ã—ãŸã„。ãªã®ã§ conf/hive-default.xml ã«Metastoreã®è¨å®šã‚’ã™ã‚‹ã€‚今回ã¯æ‰‹å…ƒã®MySQLã« hive データベースを作りã€ãれを使ã†ã‚ˆã†ã«ã—ãŸã€‚ã“ã®ã‚ãŸã‚ŠãŒå¤§å¤‰å‚考ã«ãªã£ãŸã€‚ Hiveã®metastoreã‚’MySQLを使ã£ã¦Local Metastoreå½¢å¼ã§åˆ©ç”¨ã™ã‚‹ - blog.kats
Cloudera | ãƒã‚¤ãƒ–リッドデータカンパニー
ãƒ‡ãƒ¼ã‚¿ã‚’ä¿¡é ¼ã—ã€AI ã‚’ä¿¡é ¼ã™ã‚‹ ä¿¡é ¼ã§ãるデータã€ä¿¡é ¼ã§ãるモデルã€ä¿¡é ¼ã§ãã‚‹ AI を実ç¾ã™ã‚‹ãŸã‚ã«ã€ã“ã‚Œã»ã©å¤šãã®ã‚¯ãƒ©ã‚¦ãƒ‰ã®ã•ã¾ã–ã¾ãªãƒ‡ãƒ¼ã‚¿ã‚¿ã‚¤ãƒ—を管ç†ã§ãã€ã‚ªãƒ¼ãƒ—ンデータã®ã‚¤ãƒŽãƒ™ãƒ¼ã‚·ãƒ§ãƒ³ã¨å¤§è¦æ¨¡å±•é–‹ã«å¯¾å¿œã§ãるプラットフォームã¯ä»–ã«ã‚ã‚Šã¾ã›ã‚“。
ã»ã¼ã‚„ã‘ããHive Hacks – OpenGroove
Hive Hacksã‚ã‚Œã“れ。内容ã¯ã»ã¼O’REILLY Hadoop Hacksã‹ã‚‰ã®å¼•ç”¨ãã®ã¾ã‚“ã¾ã€‚ãŸã ã®å€‹äººãƒ¡ãƒ¢ãªã®ã ãŒã€ãšã†ãšã†ã—ã公開ã•ã›ã¦ã‚‚らã„ã¾ã™ã€‚ã„ã‚ã‚“ãªã¨ã“ã‚ã«è¨˜éŒ²ã—ã¦ãŠã„ã¦ã‚‚ã™ãã«ã€Œã‚ã‚Œã€ã‚ã®ãƒ¡ãƒ¢ã©ã“ã‚„ã£ãŸã£ã‘ã€ã¨ãªã‚‹ã®ã§ã“ã“ã«æ›¸ãã®ãŒä¸€ç•ªãªã‚“ã よã。書ã„ãŸã‹ã‚‰ã£ã¦ç†è§£ã§ãã‚‹ã‚ã‘ã§ã‚‚ãªã„ã‚“ã ãŒâ€¦ （åˆã‚ã«æ›¸ã„ã¦ãŠãã¨ã€ã“ã®æŠ•ç¨¿é•·ã„ã§ã™ï¼‰ 基本原則的ãªã“ã¨ã€‚ â—UPDATEã¯å›žé¿ã™ã‚‹ 処ç†é€Ÿåº¦ãŒé…延ã™ã‚‹ãŸã‚ã€UPDATEを多数å«ã‚€ã‚ˆã†ãªSQLã‚’HiveSQLã«å¤‰æ›ã™ã‚‹ã“ã¨ã¯é¿ã‘ã‚‹ã¹ã â—MapReduceタスクã®ã‚ªãƒ¼ãƒãƒ¼ãƒ˜ãƒƒãƒ‰ Hiveã¯ã€Œé«˜ã‚¹ãƒ«ãƒ¼ãƒ—ットを目指ã™å‡¦ç†ã«ã¯å‘ã„ã¦ã„ã‚‹ãŒã€ä½Žãƒ¬ãƒ³ãƒ†ãƒ³ã‚·ã‚’目指ã™å‡¦ç†ã«ã¯å‘ã„ã¦ã„ãªã„ã€ã¨ã„ã†MapReduce処ç†ã®ç‰¹å¾´ã‚’引ã継ã„ã§ã„る。MapReduceタスクã®ã‚ªãƒ¼ãƒãƒ¼ãƒ˜ãƒƒãƒ‰ãŒä»˜ãã¾ã¨ã†ã“ã¨ã‚’念é ã«ãŠã。 â—並列分散ãŒã§ããªã„処ç†
Scaling the Facebook data warehouse to 300 PB
At Facebook, we have unique storage scalability challenges when it comes to our data warehouse. Our warehouse stores upwards of 300 PB of Hive data, with an incoming daily rate of about 600 TB. In the last year, the warehouse has seen a 3x growth in the amount of data stored. Given this growth trajectory, storage efficiency is and will continue to be a focus for our warehouse infrastructure. There
Pig, Hiveãªã©8種類ã®MapReduce言語ã«ã¤ã„ã¦ã®æ¯”較 - nokunoã®æ—¥è¨˜
以下ã®è¨˜äº‹ã§ã¯Pig, Hiveãªã©8種類ã®è¨€èªžã§MapReduceã®ä¸€ç•ªå˜ç´”ãªä¾‹ã€WordCountを記述ã—ãŸå ´åˆã®ã‚¹ã‚¯ãƒªãƒ—トã®æ¯”較を行ã£ã¦ã„ã¾ã™ã€‚ã¨ã¦ã‚‚興味深ã‹ã£ãŸã®ã§ç´¹ä»‹ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚Pigs, Bees, and Elephants: A Comparison of Eight MapReduce Languages « Dataspora ãªãŠã€ä»Šå›žã¯RSSè³¼èªã—ã¦ã„ã‚‹DataSporaã®ãƒ–ãƒã‚°ã‹ã‚‰ç™ºè¦‹ã—ã¾ã—ãŸãŒã€ã‚¨ãƒ³ãƒˆãƒªã‚’寄稿ã—ãŸã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã®å€‹äººãƒ–ãƒã‚°ã‚‚大変興味深ã„ã®ã§ã‚ªã‚¹ã‚¹ãƒ¡ã§ã™ã€‚ ã¯ã˜ã‚ã«MapReduceを美ã—ã効率的ã«æ›¸ããŸã‚ã«ã€ç§ã¯æ§˜ã€…ãªè¨€èªžã‚’比較ã—ã¾ã—ãŸã€‚æžœãŸã—ã¦ãã®å‹è€…ã¯ï¼ï¼Ÿç§ã®å€‹äººãƒ–ãƒã‚°ã§ã¯çµ±è¨ˆã‚„グラフã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã‚’MapReduceã§è¨˜è¿°ã™ã‚‹æ–¹æ³•ã‚’紹介ã—ã€æ“¬ä¼¼ã‚³ãƒ¼ãƒ‰ã«ã‚ˆã‚‹å®Ÿè£…を示ã—ã¾ã—ãŸã€‚擬似コードã«ã¯2ã¤ã®å•é¡Œç‚¹ãŒã‚ã‚Šã¾ã™ï¼šèª°ã‚‚ãŒãã®å‘½ä»¤ã‚’ç†è§£ã§ãã‚‹ã¨
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
US flight data analysis using hive
{{#tags}}- {{label}}
{{/tags}}