1000å°è¦æ¨¡ã®HadoopクラスタをHive/Tezアプリケーションã«ã‚ã‚ã›ã¦ãƒ‘フォーマンスãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã—ãŸè©±
1. 1000å°è¦æ¨¡ã®Hadoopクラスタを Hive/Tezアプリケーションã«ã‚ã‚ã›ã¦ パフォーマンスãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã—ãŸè©± Rejected  HCJ  2016 http://www.yahoo.co.jp/ ãƒ¤ãƒ•ãƒ¼æ ªå¼ä¼šç¤¾ æ‰â¼å±± 朋広/ç•‘é–“ 啓哉/藤本 謙志/é„ è¼/深澤 é–‹/⽇日â½æ¯”野 哲也/å¤â¼å±± æ…Žæ‚Ÿ 2016年年2⽉月13⽇日 3. 広告レãƒãƒ¼ãƒˆã«ã¤ã„㦠Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無æ–引⽤用・転載ç¦â½Œæ¢ 3 è¦æ±‚ã¯ï¼‘時間ã‚ãŸã‚Š 100,000  Query テーブル（最⼤大） • 30  億â¾è¡Œï¨ˆ /  1⽇日 • 7,000  億â¾è¡Œï¨ˆ /  13  ヶ⽉月 • 7  TB  /  13  ヶ⽉月 Query • å¹³å‡å‡¦ç†ï§¤æ™‚é–“ 30  秒å‰å¾Œ • å¿…ãš
スケールアウトå¯èƒ½ãªSQLエンジンã®ãƒ™ãƒ³ãƒãƒžãƒ¼ã‚¯ãƒ†ã‚¹ãƒˆï¼šPresto vs Spark SQL vs Hive on Tez - GMOインターãƒãƒƒãƒˆã‚°ãƒ«ãƒ¼ãƒ— ã‚°ãƒ«ãƒ¼ãƒ—ç ”ç©¶é–‹ç™ºæœ¬éƒ¨
2015.12.22 スケールアウトå¯èƒ½ãªSQLエンジンã®ãƒ™ãƒ³ãƒãƒžãƒ¼ã‚¯ãƒ†ã‚¹ãƒˆï¼šPresto vs Spark SQL vs Hive on Tez １ã€åˆã‚ã« æ¬¡ä¸–ä»£ã‚·ã‚¹ãƒ†ãƒ ç ”ç©¶å®¤ã®L.G.Wã§ã™ã€‚最近リリースã—ãŸé–¢é€£è¨˜äº‹æŽ¨è–¦ã‚·ã‚¹ãƒ†ãƒ ：TAXEL byGMOã«æºã‚ã£ã¦ãŠã‚Šã¾ã™ã€‚ ã“ã®ã‚·ã‚¹ãƒ†ãƒ ã¯å¤šæ§˜ãªãƒ‡ãƒ¼ã‚¿ã‚½ãƒ¼ã‚¹ã‹ã‚‰ã®é›†è¨ˆãƒ»è§£æžãƒ»ETLãŒé‡è¦ã«ãªã‚‹ã®ã§ã€æ€§èƒ½ã¨ãƒ“ジãƒã‚¹è¦ä»¶ã‚’満ãŸã™SQLエンジンをé¸å®šã™ã‚‹ãŸã‚ã€ä¸»è¦ãªSQLエンジンã®ãƒ™ãƒ³ãƒãƒžãƒ¼ã‚¯ãƒ†ã‚¹ãƒˆã‚’実施ã—ã¾ã—ãŸã€‚ “Small Start, Scale Fast†– 最åˆã®ãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢ã‚³ã‚¹ãƒˆã‚’ãªã‚‹ã¹ã低ã抑ãˆã€ãƒ“ジãƒã‚¹ãŒæ‹¡å¤§ã—ãŸã‚‰ã‚·ã‚¹ãƒ†ãƒ ã‚‚æ‹¡å¼µã§ãã‚‹ã“ã¨ãŒå‰æã§ã™ã€‚主ã«ãƒãƒƒãƒå‡¦ç†ç”¨é€”ã§ã€ã‚る程度ã®ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 性もè¦æ±‚ã•ã‚Œã¾ã™ï¼ˆæ•°åˆ†é–“～1時間内）。データã®è¦æ¨¡ã¯æ•°åGBã‹ã‚‰æ•°TBãらã„ã®æƒ³å®šã§ã™ã€‚ 主è¦ãªSQLエンジンã¨ã—ã¦ã€ã‚¹ã‚±ãƒ¼ãƒ©ãƒ“リテ
Sign in - Google Accounts
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
Hadoopソースコードリーディング 第17回ã«å‚åŠ ã—ã¦ãã¾ã—㟠| DevelopersIO
Hadoopソースコードリーディング 第17回ã«å‚åŠ ã—ã¦ãã¾ã—ãŸã€‚今回ã®ãƒ†ãƒ¼ãƒžã¯7月ã«Apacheã®Top-Level Project入りã—ãŸã°ã‹ã‚Šã®Apache Tezã«ã¤ã„ã¦ã§ã—ãŸã€‚ãªãŠã€å…¨ä½“çš„ã«Apache Sparkã¨æ¯”較ã™ã‚‹å½¢ã§ã®èª¬æ˜ŽãŒå¤šã‹ã£ãŸã®ã§ã€Sparkã«ã¤ã„ã¦ã”å˜ã˜ãªã„æ–¹ã¯å‰å›žã®Hadoopソースコードリーディング 第16回ã«å‚åŠ ã—ã¦ãã¾ã—ãŸã‚’ã”å‚照下ã•ã„。 NTTデータ濱野ã•ã‚“ã®å†’é ã®æŒ¨æ‹¶ 今日ã¯åˆ¥ã®ã‚¤ãƒ™ãƒ³ãƒˆã‚‚多ã„ãŸã‚ã„ã¤ã‚‚ã®åŠåˆ†ãらã„ã®å‚åŠ è€…ã ãŒã€ãã®åˆ†Deepã«ã‚„れれ㰠ã„ã¤ã‚‚ã®ä¼šå ´ã ã¨é€”ä¸ã‹ã‚‰ãƒ”ザã¨ãŠé…’ã ãŒã€ä»Šå›žã®ä¼šå ´ã¯é£²é£Ÿç¦æ¢ãªã®ã§æœ€å¾Œã¾ã§ã‚·ãƒ©ãƒ•ã§ Tezã«é–¢ã™ã‚‹å‹‰å¼·ä¼šã¯åˆå›žãªã®ã«ã„ããªã‚Šã‚¿ã‚¤ãƒˆãƒ«ãŒInternalsã¨ã‹ã«ãªã£ã¦ã¾ã™ãï½— Tez Internals （@oza_x86 ã•ã‚“） @oza_x86 ã•ã‚“ã‹ã‚‰ã¯Tez Internalsã¨ã„ã†ã“ã¨ã§ã€S
リピã•ã‚“ã¨ã‚ªã‚¶ã•ã‚“ã®Tezã¨Sparkã®ä¼šè©±
repeatedlyã•ã‚“ã¨oza_x86ã•ã‚“ã®Tezã¨Sparkã«é–¢ã™ã‚‹ä¼šè©±ã‚’ã¾ã¨ã‚ã•ã›ã¦ã„ãŸã ãã¾ã—ãŸã€‚
Apache Tez Source code reading
tez-reading.md Tez source code reading LICENSE This document is distributed under Apache 2 Licenses. All source code described in this document is from Apache Tez project. Links Apache Tez : Accelerating Hadoop Query Processing by Bikas Saha Hive + Tez: A Performance Deep Dive by Jitendra Pandey and Gopal. V What's is Tez? Quoting from http://tez.apache.org/: Empowering end users by: Expressive da
Hadoop Source Code Reading #17
14. Proposalã«ã‚ˆã‚‹ã¨â€¦ Tez is a proposal to develop a generic application which can be used to process complex data-processing task DAGs and runs natively on Apache Hadoop YARN. YARN is a generic resource-management system on which currently applications like MapReduce already exist. MapReduce is a specific, and constrained, DAG - which is not optimal for several frameworks like Apache Hive and Apache
1
ランã‚ング
ãŠçŸ¥ã‚‰ã›
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Configuring Tez - Hortonworks Data Platform
{{#tags}}- {{label}}
{{/tags}}