高性能分散SQLエンジン「Trinoã€æœ€é€Ÿã‚¬ã‚¤ãƒ‰ - NTT Communications Engineers' Blog
ã“ã‚“ã«ã¡ã¯ã€‚ãªã‚“ã®å› æžœã‹NTTコミュニケーションズã®ã‚¨ãƒãƒ³ã‚¸ã‚§ãƒªã‚¹ãƒˆã‚’ã‚„ã£ã¦ã„る西塚ã§ã™ã€‚ ã“ã®è¨˜äº‹ã¯ã€NTT Communications Advent Calendar 2021 22日目ã®è¨˜äº‹ã§ã™ã€‚ 5分ã§ã‚ã‹ã‚‹ã€ŒTrino〠「Trinoã€ã¯ã€ç•°ãªã‚‹ãƒ‡ãƒ¼ã‚¿ã‚½ãƒ¼ã‚¹ã«å¯¾ã—ã¦ã‚‚高速ã§ã‚¤ãƒ³ã‚¿ãƒ©ã‚¯ãƒ†ã‚£ãƒ–ã«åˆ†æžãŒã§ãる高性能分散SQLエンジンã§ã™ã€‚ 以下ã®ç‰¹å¾´ã‚’æŒã£ã¦ãŠã‚Šã€ãƒ“ッグデータ分æžã‚’支ãˆã‚‹é‡è¦ãªOSS(オープンソースソフトウェア)ã®1ã¤ã§ã™ã€‚ SQL-on-Anything: Hadoopã ã‘ã§ãªã従æ¥ã®RDBMS(リレーショナルデータベース)ã‚„NoSQLã¾ã§ã€æ¨™æº–SQL(ANSI SQL)ã«æº–æ‹ ã—ãŸã‚¢ã‚¯ã‚»ã‚¹ã‚’ワンストップã«æä¾› 並列処ç†ã§ãƒ“ッグデータã«å¯¾ã—ã¦å®¹æ˜“ã«ã‚¹ã‚±ãƒ¼ãƒ«ã‚¢ãƒƒãƒ— ã—ã‹ã‚‚高速(hiveã®æ•°åå€) Netflix, LinkedIn, Salesforce, Shopif
Impala 4.0 ã¨Presto 350ã«ã‚ˆã‚‹SQLレシピ本ã®æ¤œè¨¼ï¼ˆï¼‘）
Distributed computing (Apache Spark, Hadoop, Kafka, …) Advent Calendar 2021 23日目ã§ã™ã€‚ 今年も Hue ã«ã¤ã„ã¦æ›¸ã“ã†ã‹ã¨è€ƒãˆã¦ã„ã¾ã—ãŸãŒã€æœ€è¿‘ SQL(Presto)ã‚„Embulk,Digdagを使ã†æ©Ÿä¼šãŒå¢—ãˆã¦ã„ã‚‹ã®ã§è¶£å‘を変ãˆã¦ã¿ã¾ã™ã€‚ Hueã«ã¤ã„ã¦èˆˆå‘³ãŒã‚ã‚‹æ–¹ã¯[å…¬å¼ãƒ–ãƒã‚°ï¼ˆæ—¥æœ¬èªžï¼‰](http://https://jp.gethue.com//posts/ “公å¼ãƒ–ãƒã‚°ï¼ˆæ—¥æœ¬èªžï¼‰â€)ã‚’ã”覧ãã ã•ã„。翻訳サボã£ã¦ã¾ã™ãƒ»ãƒ»ãƒ» ———— SQLレシピ本ã¨ã¯ï¼Ÿ ビッグデータ系ã®è‰¯æ›¸ã®ä¸€å†Šã§ã‚‚ã‚る「ビッグデータ 分æžã®ãŸã‚ã®SQLレシピ本ã€ã€å‡ºç‰ˆã‹ã‚‰4年経éŽã—ã¦ã‚‚色ã‚ã›ã‚‹ã“ã¨ã¯ã‚ã‚Šã¾ã›ã‚“。 ã“ã®æ›¸ç±ã§ã¯ã€SQLã®è¨˜è¿°æ–¹æ³•ã‹ã‚‰åˆ†æžæ‰‹æ³•ã¾ã§åºƒã扱ã‚ã‚ŒãŠã‚Šã€å†™çµŒã™ã‚‹ã ã‘ã§ã‚‚大ããªçŸ¥è¦‹ãŒå¾—られるã§ã—ょã†ã€‚一方ã€æ‰±ã‚ã‚Œ
Trino/Prestoã®äº’æ›æ€§èª¿æŸ»è£œåŠ©ãƒ„ールを作ã£ãŸ - ãŸã‘ãžã†ç€•æ»ãƒ–ãƒã‚°
Trino/Prestoã‚’ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã‚¢ãƒƒãƒ—ã™ã‚‹éš›ã«ã¯äº‹å‰ã«å‹•ä½œã®äº’æ›æ€§æ¤œè¨¼ãªã©ã‚’è¡Œãªã£ã¦ã„ã‚‹ã®ã§ã™ãŒã€æ¤œè¨¼ä½œæ¥è‡ªä½“ã¯ä»¥å‰Presto Conference Tokyo 2020ã§ã‚‚紹介ã•ã›ã¦ã„ãŸã ã„ãŸquery-simulatorã¨ã„ã†å†…製ã®ãƒ„ールを使ã£ã¦è‡ªå‹•åŒ–ã•ã‚Œã¦ã„ã‚‹ã‚‚ã®ã®ã€å®Ÿéš›ã«éžäº’æ›ã®æŒ™å‹•ã‚’発見ã—ãŸå¾Œã®åŽŸå› èª¿æŸ»ï¼ˆåŽŸå› ã®ã‚³ãƒŸãƒƒãƒˆã‚’特定ã—ã¦ãƒã‚°ã‹ã©ã†ã‹ã®åˆ¤æ–ã‚’ã™ã‚‹ï¼‰ã«ã¤ã„ã¦ã¯å¼•ã続ã地é“ãªä½œæ¥ãŒå¿…è¦ãªçŠ¶æ…‹ã§ã—ãŸã€‚ Trino/Pretsoã¯é–‹ç™ºãŒéžå¸¸ã«ã‚¢ã‚¯ãƒ†ã‚£ãƒ–ã§ã€1回ã®ãƒªãƒªãƒ¼ã‚¹ã«æ•°ç™¾ã®ã‚³ãƒŸãƒƒãƒˆãŒå«ã¾ã‚Œã¾ã™ã€‚1年程度ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã‚¢ãƒƒãƒ—ã‚’æ€ ã£ã¦ã„ã‚‹ã ã‘ã§ã‚‚変更ãŒå·¨å¤§ã™ãŽã¦ã‚³ãƒ¼ãƒ‰ã®å¤‰æ›´å±¥æ´ã‹ã‚‰åŽŸå› を特定ã™ã‚‹ã®ã¯éžå¸¸ã«å›°é›£ã«ãªã‚Šã¾ã™ã€‚ãã“ã§ã€ã¾ãšã¯è¤‡æ•°ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã®Trino/Prestoã§ã‚¯ã‚¨ãƒªã®å®Ÿè¡Œçµæžœã‚’比較ã™ã‚‹ã“ã¨ã§å¤‰æ›´ãŒå°Žå…¥ã•ã‚ŒãŸãƒãƒ¼ã‚¸ãƒ§ãƒ³ã‚’特定ã—ã€ãã®å¾Œã€ãã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã®ã‚³ãƒŸãƒƒãƒˆã®ä¸ã‹
Testing Distributed Query Engine as a Service
Naoki Takezoe from Treasure Data discussed testing their distributed query engine Presto as a service. They developed a tool called presto-query-simulator to test using production data and queries in a safe manner. The tool reduces testing time by grouping similar queries and narrowing data scans. It also helps analyze results and find problematic queries. Future work includes running tests more f
Hadoop利用者ãªã‚‰ãã£ã¨çŸ¥ã£ã¦ã‚‹ã€Hive/Prestoクエリ関数ã®æŒ™å‹•ã®é•ã„ - Qiita
HiveQLã§ã¯ã‚¹ãƒ”ードã«é›£ã‚’æ„Ÿã˜ã¦ã„ãŸãŸã‚ã€ç§ã‚‚Prestoを使ã„始ã‚ã¾ã—ãŸã€‚ MySQLã‚„Hiveã§ä½¿ã£ã¦ã„ãŸã‚¯ã‚¨ãƒªã‚’ç½®ãæ›ãˆã‚‹æ™‚ã«ãƒãƒžã£ãŸTipsã‚’ã¾ã¨ã‚ã¦ã„ãã¾ã™ã€‚ AWS Athenaã§Prestoを使ã£ã¦ã„る方も増ãˆã¦ã‚‹ã¨æ€ã†ã®ã§ã€Presto標準関数ã§ã®è¨˜è¿°ä¾‹ã‚‚æ‹¡å……ã—ã¦ã„ãã¾ã™ã€‚ Prestoã¨ã¯ Prestoã¯ã‚ªãƒ³ãƒ¡ãƒ¢ãƒªã§å‹•ã分散SQLエンジンã§ã€ãã®é€²åŒ–ã¯ç›®ã‚’見張る物ã§ã™ã€‚ 発表ã•ã‚ŒãŸå½“時ã¯è‰²ã€…ãªæˆç´„ãŒã‚り使ã†ã“ã¨ã‚’躊躇ã—ã¦ã„ã¾ã—ãŸãŒã€2015å¹´é ƒã‹ã‚‰ã¯ã‚‚ã†ä½¿ã‚ãªã„ç†ç”±ã¯ãªããªã‚Šã¾ã—ãŸã€‚ アドホックã«ä½¿ãˆã‚‹ã¨ã¦ã‚‚高速ãªSQLエンジンã§ã™ã®ã§ã€ãƒãƒƒãƒå‘ã‘ã®Hiveã®ã‚ˆã†ã«å®Ÿè¡Œçµæžœã‚’å¾…ã¤æ™‚é–“ã¯ã»ã¨ã‚“ã©ã‚ã‚Šã¾ã›ã‚“。 Hiveã§ã™ã¨1ã¤1ã¤ã®å®Ÿè¡Œã«æ™‚é–“ãŒæŽ›ã‹ã‚‹ã®ã§ã€ã‚¯ã‚¨ãƒªã«æ…£ã‚Œã¦ã„ãªã„æ–°å‚者ã«ã¯è¾›ã„物ãŒã‚ã‚Šã¾ã—ãŸã€‚ ã—ã‹ã—Prestoã§ã¯ã‚¤ãƒ³ã‚¿ãƒ©ã‚¯ãƒ†ã‚£ãƒ–ã«å®Ÿè¡Œã§ãã¾ã™ã®ã§ã€ãƒˆãƒ©ã‚¤
Presto with Kubernetes and S3 — Deployment
I have been working in the big data arena for more than ten years. If you ask me what is the most popular use case in this area I have seen so far, my answer is definitely SQL for big data. Everyone likes SQL. There are so many SQL for big data solutions, including Apache Hive, SparkSQL, Impala and Presto, just to name a few. Among these solutions, Presto is becoming my favorite, not only for its
Cloud-Nativeãªãƒ†ã‚™ãƒ¼ã‚¿åˆ†æžåŸºç›¤ã«ãŠã‘ã‚‹Prestoã®æ´»ç”¨ / Cloud-Native Data Infrastructure with Presto
Hadoop / Spark Conference Japan 2019ã§è©±ã—ãŸè³‡æ–™ã§ã™ã€‚ http://hadoop.apache.jp/hcj2019-program/
Hive , Presto , Drill ã®ãƒ—ッシュダウンã®è€ƒå¯Ÿ - 沼津暮らã—
最近ã¯å¤§ããªãƒ‡ãƒ¼ã‚¿ã‚’扱ã†ã‚¯ã‚¨ãƒªã‚¨ãƒ³ã‚¸ãƒ³ãŒãŸãã•ã‚“増ãˆã¦ãã¾ã—ãŸã€‚ 一昔å‰ã¯ãƒ‡ãƒ¼ã‚¿ã‚’フルスã‚ャンã—ã¦å‡¦ç†ã™ã‚‹ãƒ‘ターンãŒå¤šã‹ã£ãŸã®ã§ã™ãŒã€ã‚„ã¯ã‚Šã“ã®æ–¹æ³•ã§ã¯å‡¦ç†ã‚³ã‚¹ãƒˆãŒå¤§ãããªã‚‹ã®ãŒèª²é¡Œã¨ãªã‚Šã¾ã—ãŸã€‚ ãã“ã§ãƒ‡ãƒ¼ã‚¿ã®èªã¿è¾¼ã¿ã§ã®å‡¦ç†ã‚³ã‚¹ãƒˆã‚’削減ã™ã‚‹ãŸã‚ã«æœ€è¿‘ã§ã¯ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã®ã‚ˆã†ã«å¿…è¦ãªã‚«ãƒ©ãƒ ã ã‘ã‚’èªã¿è¾¼ã‚“ã ã‚Šã€ä¸è¦ãªè¡Œãƒ»ãƒšãƒ¼ã‚¸ã‚’スã‚ップã™ã‚‹ãƒ—ッシュダウンã®æ©Ÿèƒ½ã‚’æŒã£ãŸãƒ“ッグデータå‘ã‘ã®ã‚¯ã‚¨ãƒªã‚¨ãƒ³ã‚¸ãƒ³ãŒå¢—ãˆã¦ãã¾ã—ãŸã€‚ 今日㯠Hive , Presto , Drill ã®ãƒ—ッシュダウンã«ã¤ã„ã¦è¦‹ã¦ã„ããŸã„ã¨æ€ã„ã¾ã™ã€‚ プッシュダウンã®ç¨®é¡ž テã‚ストや行ã§ãƒ‡ãƒ¼ã‚¿ã‚’変æ›ã—ã¦ã„るフォーマットã®å ´åˆã«ã¯ã™ã¹ã¦ã®ãƒ•ã‚£ãƒ¼ãƒ«ãƒ‰ã‚’å…¨ã¦èªã¿è¾¼ã‚€ã“ã¨ã«ãªã‚Šã¾ã™ã€‚ ORCã‚„Parquetãªã©ã®ã‚«ãƒ©ãƒ ナーフォーマットã®å ´åˆã«ã¯åˆ—毎ã«ãƒ‡ãƒ¼ã‚¿ã‚’ä¿æŒã—ã¦ã„ã‚‹ãŸã‚ã€ç‰¹å®šã®ã‚«ãƒ©ãƒ や列ã§ã®çµ±è¨ˆæƒ…å ±ï¼ˆMaxã‚„Min）ãªã©ã‚’æŒã£ã¦
How to growth the delish kitchen team to data-driven team
Databricksã¨Sparkã¦ã‚™ã¯ã—ã‚™ã‚ã‚‹ [ビッグデータETL処ç†/データå¯è¦–化] 実践入門 / Databricks and Spark with ETL and Visualization
Hive (SQL-style) Query Language | Treasure Data
{"serverDuration": 35, "requestCorrelationId": "b45a8231fbaabbfb"}
『Prestoã¨ã¯ä½•ã‹ï¼ŒPrestoã§ä½•ãŒã§ãã‚‹ã‹ã€ - トレジャーデータ（Treasure Data）ブãƒã‚°
トレジャーデータã¯ã‚¯ãƒ©ã‚¦ãƒ‰ã§ãƒ‡ãƒ¼ã‚¿ãƒžãƒãƒ¼ã‚¸ãƒ¡ãƒ³ãƒˆã‚µãƒ¼ãƒ“スをæä¾›ã—ã¦ã„ã¾ã™ã€‚ Hadoop Conference Japan 2014 以å‰ã«å‘ŠçŸ¥ã—ãŸHadoop Conference Japan 2014ã§ï¼Œå¼Šç¤¾Software Architectã®å¤æ©‹ãŒç™ºè¡¨ã—ã¾ã—ãŸã€‚ テーマã¯ï¼ŒFacebookãŒå…¬é–‹ã—ãŸæ–°ã—ã„分散処ç†åŸºç›¤ï¼ŒPresto。実ã¯FacebookãŒå½¼ã‚‰ã®è¶…大è¦æ¨¡ãªãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆã«å¯¾ã—ã¦ã‚¤ãƒ³ã‚¿ãƒ©ã‚¯ãƒ†ã‚£ãƒ–ã«çµæžœã‚’è¿”ã›ã‚‹ã‚ˆã†ã«ã¨é–‹ç™ºã•ã‚ŒãŸã‚‚ã®ã§ã™ã€‚開発ãŒå§‹ã¾ã£ã¦ã¾ã 2年も経ã£ã¦ãŠã‚Šã¾ã›ã‚“ãŒï¼Œä»Šã§ã¯ãƒˆãƒ¬ã‚¸ãƒ£ãƒ¼ãƒ‡ãƒ¼ã‚¿ã‚’åˆã‚ã¨ã—ã¦å¤šãã®ãƒãƒƒã‚«ãƒ¼é”ãŒã‚³ãƒŸãƒƒã‚¿ãƒ¼ã¨ã—ã¦å‚åŠ ã™ã‚‹æ´»ç™ºçš„ãªãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã«æˆé•·ã—ã¦ã„ã¾ã™ã€‚ Prestoã¯Hiveã‚„Impalaã¨åŒã˜ã€ŒSQL Query Engineã€ã§ã‚り，特ã«æ•°ç™¾GBを超ãˆã‚‹å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã«å¯¾ã—ã¦ã‚‚インタラクティブãªãƒ¬ã‚¹ãƒãƒ³ã‚¹ã‚’（コンマ0秒以下，é…ãã¦
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Project Tardigrade delivers ETL at Trino speeds to early users
DMM.comã®ãƒ“ッグデータ基盤を支ãˆã‚‹æŠ€è¡“
{{#tags}}- {{label}}
{{/tags}}