Spark Internals - Hadoop Source Code Reading #16 in Japan
The document discusses Spark internals and provides an overview of key components such as the Spark code base size and growth over time, core developers, Scala basics used in Spark, RDDs, tasks, caching/block management, and schedulers for running Spark on clusters including Mesos and YARN. It also includes tips for using IntelliJ IDEA to work with Spark's Scala code base.Read less
「Hadoopã®æ™‚代ã¯çµ‚ã‚ã£ãŸã€ã®æ„味をæ£ã—ãç†è§£ã™ã‚‹ - 科å¦ã¨éžç§‘å¦ã®è¿·å®®
Hadoopã®æ™‚代ã¯çµ‚ã‚ã£ãŸã€ã¨ã„ã†è¨€èª¬ã‚’ãŸã¾ã«è¦‹ã‹ã‘るよã†ã«ãªã‚Šã¾ã—ãŸã€‚ ã‚‚ã¡ã‚ん終ã‚ã£ã¦ãªã©ã„ã¾ã›ã‚“。ã—ã‹ã—ã€Hadoopã¨ãã®å–ã‚Šå·»ã環境ãŒå¤‰åŒ–ã—ãŸã®ã¯äº‹å®Ÿã§ã™ã€‚ 本記事ã§ã¯ã€ã“ã®å¤‰åŒ–ãŒä½•ãªã®ã‹ã‚’明らã‹ã«ã—ã€ãã®ä¸Šã§ã€ãªãœHadoopã®æ™‚代ã¯çµ‚ã‚ã£ãŸã¨ã„ã†ä¸»å¼µãŒå®Ÿæ…‹ã‚’æ£ã—ã表ã—ã¦ã„ãªã„ã®ã‹ã‚’説明ã—ã¦ã„ãã¾ã™ã€‚ DISCLAIMER ç§ã¯Hadoopã‚’ä¸å¿ƒã¨ã—ãŸãƒ‡ãƒ¼ã‚¿åŸºç›¤ã‚’å–り扱ã†ãƒ™ãƒ³ãƒ€ãƒ¼ã€Clouderaã®ç¤¾å“¡ã§ã™ã€‚ ä¸ç«‹çš„ã«æ›¸ãよã†åŠªã‚ã¾ã™ãŒã€æ‰€å±žçµ„ç¹”ã«ã‚ˆã£ã¦ç™ºç”Ÿã™ã‚‹ãƒã‚¤ã‚¢ã‚¹ã®å®Œå…¨ãªæŽ’除をä¿è¨¼ã™ã‚‹ã“ã¨ã¯ã§ãã¾ã›ã‚“。 以上をã”了承ã®ä¸Šã€èªã¿é€²ã‚ã¦ãã ã•ã„。 è¦ç´„ データ基盤ã¯ã€Hadoopã®ç™»å ´ã«ã‚ˆã‚Šéžå¸¸ã«å®‰ä¾¡ã¨ãªã‚Šã€ä»Šã¾ã§ã§ã¯ä¸å¯èƒ½ã ã£ãŸå¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’å–り扱ãˆã‚‹ã‚ˆã†ã«ãªã‚Šã¾ã—ãŸã€‚ Hadoopã¯ã€NoSQLブームã®ä¸ã€å‡¦ç†ã‚¨ãƒ³ã‚¸ãƒ³ã§ã‚ã‚‹MapReduceã¨ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã§ã‚ã‚‹HDFSãŒ
The Hadoop Ecosystem Table
The Hadoop Distributed File System (HDFS) offers a way to store large files across multiple machines. Hadoop and HDFS was derived from Google File System (GFS) paper. Prior to Hadoop 2.0.0, the NameNode was a single point of failure (SPOF) in an HDFS cluster. With Zookeeper the HDFS High Availability feature addresses this problem by providing the option of running two redundant NameNodes in the s
Hadoop and Kerberos
4. Page 4 © Hortonworks Inc. 2014 Background: YARNã«ã‚ˆã‚‹Hadoopã®ãƒžãƒ«ãƒãƒ†ãƒŠãƒ³ãƒˆåŒ– •  Hadoop2ã§å°Žâ¼Šã•ã‚ŒãŸYARNã«ã‚ˆã‚Šã€Hadoopクラ スタを複数ã®ã²ã¨ã‚„組織ã€ãƒ¯ãƒ¼ã‚¯ãƒãƒ¼ãƒ‰ã«ã‚ˆã£ã¦ 共⽤ã™ã‚‹ã“ã¨ãŒå®¹æ˜“ã«ãªã£ãŸã€‚ •  巨⼤ãªHDFSクラスタã«æ§˜ã€…ãªãƒ‡ãƒ¼ã‚¿ã‚’æ ¼ç´ã—ã¦ãŠ ãã€ãã®ãƒ‡ãƒ¼ã‚¿ã«å¯¾ã—ã¦æ§˜ã€…ãªå‡¦ç†ã‚’⾛らã›ã‚‹ã“ ã¨ãŒå¯èƒ½ã«ã€‚ 5. Page 5 © Hortonworks Inc. 2014 1 ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° N HDFS Hadoop Distributed File System DATA MANAGEMENT ストレージ(HDFS)ã¨ã‚³ãƒ³ãƒ”ュー ティング(MapReduce)ãŒçµåˆã—㦠ã„㟠Before YARN MapReduce クラスタ全体ã®ãƒª
Hadoopã¨ã‚¯ãƒ©ã‚¦ãƒ‰ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸
ã–ã£ã¨è¦ç´„ã™ã‚‹ã¨ オンデマンドã€ã‚¢ãƒ‰ãƒ›ãƒƒã‚¯ãªãƒ¯ãƒ¼ã‚¯ãƒãƒ¼ãƒ‰ã¯ã‚¯ãƒ©ã‚¦ãƒ‰ã§å‹•ä½œã•ã›ã‚‹ã¨çµŒæ¸ˆåˆç†æ€§ãŒé«˜ã„。必è¦ãªãƒªã‚½ãƒ¼ã‚¹ã‚’å¿…è¦ãªåˆ†ã ã‘利用ã—ã€çµ‚ã‚ã£ãŸã‚‰ç ´æ£„ã§ãã‚‹ã‹ã‚‰ã€‚（当ãŸã‚Šå‰ã®è©±ã€‚）ãã“ã§ãƒã‚¤ãƒ³ãƒˆã«ãªã£ã¦ãã‚‹ã®ãŒAmazon S3ã‚„Windows Azure Storage Blobã®ã‚ˆã†ãªã‚¯ãƒ©ã‚¦ãƒ‰ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã€‚ã“れらã®ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã¯é«˜ã„å¯ç”¨æ€§ã¨åœ°ç†çš„分散ãªã©ã«ã‚ˆã‚‹ãƒ‡ãƒ¼ã‚¿è€ä¹…性ã€ãƒžãƒ«ãƒãƒ†ãƒŠãƒ³ã‚·ãƒ¼ã‚’æŒã¡ãªãŒã‚‰ã‚‚経済的ãªä¾¡æ ¼ã§åˆ©ç”¨ã§ãる。クラウド上ã®ãƒ‡ãƒ¼ã‚¿ãƒ¬ã‚¤ã‚¯ã¯é–“é•ã„ãªãã“れらã®ã‚¯ãƒ©ã‚¦ãƒ‰ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã¨ãªã‚‹ã€‚ã¨ã„ã†ã“ã¨ã§ã€ã‚¯ãƒ©ã‚¦ãƒ‰ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã‚’ä¸å¿ƒã«ã€ãã®å‘¨ã‚Šã«ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã®ãŸã‚ã®ã‚¯ãƒ©ã‚¹ã‚¿ã‚’é…ç½®ã—ã¦ã„ã“ã†ã¨ã„ã†ã‚¢ãƒ¼ã‚テクãƒãƒ£ãŒèªžã‚‰ã‚Œã¦ã„る。ã—ã‹ã—ã€ã“ã“ã«ã¯ã„ãã¤ã‹è§£æ±ºã™ã¹ã課題ãŒã‚る。 クラウドストレージã¯File System APIã§ã¯ãªã REST APIã§åˆ©ç”¨ã™ã‚‹å¿…è¦ãŒã‚る。当然ãƒãƒ¼ã‚«ãƒ«ã«ã‚ã‚‹HDF
HiveServerを使用ã—ã¦Pythonã‚„Perlã‹ã‚‰HiveQLを実行ã™ã‚‹ - ãŸã”ã‚‚ã‚Šã™ãƒ¡ãƒ¢
HiveServerã¯Thriftプãƒãƒˆã‚³ãƒ«ã‚’ã—ゃã¹ã‚‹*1ã®ã§ã€ãŠãªã˜ãThriftã§æŽ¥ç¶šã™ã‚‹ã¨ä»»æ„ã®ã‚¯ã‚¨ãƒªã‚’発行ã§ããŸã‚Šã—ã¦å¤§å¤‰ä¾¿åˆ©ã€‚ã¨ã„ã†ã“ã¨ã§ã€ã‚„ã£ãŸã®ã§ã€ãã®ãƒ¡ãƒ¢ã€‚ 準備 ã¾ãšHiveServerã ã‘ã©ã€hiveコマンドをå©ã„ã¦ã‚¯ã‚¨ãƒªãŒå®Ÿè¡Œã§ãる状態ãªã‚‰ä»¥ä¸‹ã®ã‚³ãƒžãƒ³ãƒ‰ã§èµ·å‹•ã™ã‚‹ã€‚*2 $ hive --service hiveserver ãŸã ã—ã‚らゆるデータ投入ãªã©ã‚’Thrift経由ã§ã‚„ã‚‹ã®ã¯æ£ç›´ã‚ã‚“ã©ãã•ã„。hiveã¨å©ã‘ã°èµ·å‹•ã™ã‚‹Hive CLIã§ã‚‚データæ“作ã¯ã—ãŸã„。ãªã®ã§ conf/hive-default.xml ã«Metastoreã®è¨å®šã‚’ã™ã‚‹ã€‚今回ã¯æ‰‹å…ƒã®MySQLã« hive データベースを作りã€ãれを使ã†ã‚ˆã†ã«ã—ãŸã€‚ã“ã®ã‚ãŸã‚ŠãŒå¤§å¤‰å‚考ã«ãªã£ãŸã€‚ Hiveã®metastoreã‚’MySQLを使ã£ã¦Local Metastoreå½¢å¼ã§åˆ©ç”¨ã™ã‚‹ - blog.kats
Apache Spark ã®ç´¹ä»‹ï¼ˆå‰åŠï¼šSparkã®ã‚ホン）
第16回 Hadoopソースコードリーディング(2014/05/29) 発表資料 『Apache Sparkã®ã”紹介ã€ï¼ˆå‰åŠï¼šSparkã®ã‚ホン） NTTデータ 基盤システム事æ¥æœ¬éƒ¨ OSSプãƒãƒ•ã‚§ãƒƒã‚·ãƒ§ãƒŠãƒ«ã‚µãƒ¼ãƒ“ス 土橋 昌 (Masaru Dobashi) http://oss.nttdata.co.jp/ 後åŠã¯ã“ã¡ã‚‰ → http://www.slideshare.net/hadoopxnttdata/apache-sparkRead less
Cloudera | ãƒã‚¤ãƒ–リッドデータカンパニー
ãƒ‡ãƒ¼ã‚¿ã‚’ä¿¡é ¼ã—ã€AI ã‚’ä¿¡é ¼ã™ã‚‹ ä¿¡é ¼ã§ãるデータã€ä¿¡é ¼ã§ãるモデルã€ä¿¡é ¼ã§ãã‚‹ AI を実ç¾ã™ã‚‹ãŸã‚ã«ã€ã“ã‚Œã»ã©å¤šãã®ã‚¯ãƒ©ã‚¦ãƒ‰ã®ã•ã¾ã–ã¾ãªãƒ‡ãƒ¼ã‚¿ã‚¿ã‚¤ãƒ—を管ç†ã§ãã€ã‚ªãƒ¼ãƒ—ンデータã®ã‚¤ãƒŽãƒ™ãƒ¼ã‚·ãƒ§ãƒ³ã¨å¤§è¦æ¨¡å±•é–‹ã«å¯¾å¿œã§ãるプラットフォームã¯ä»–ã«ã‚ã‚Šã¾ã›ã‚“。
Scaling the Facebook data warehouse to 300 PB
At Facebook, we have unique storage scalability challenges when it comes to our data warehouse. Our warehouse stores upwards of 300 PB of Hive data, with an incoming daily rate of about 600 TB. In the last year, the warehouse has seen a 3x growth in the amount of data stored. Given this growth trajectory, storage efficiency is and will continue to be a focus for our warehouse infrastructure. There
Pig, Hiveãªã©8種類ã®MapReduce言語ã«ã¤ã„ã¦ã®æ¯”較 - nokunoã®æ—¥è¨˜
以下ã®è¨˜äº‹ã§ã¯Pig, Hiveãªã©8種類ã®è¨€èªžã§MapReduceã®ä¸€ç•ªå˜ç´”ãªä¾‹ã€WordCountを記述ã—ãŸå ´åˆã®ã‚¹ã‚¯ãƒªãƒ—トã®æ¯”較を行ã£ã¦ã„ã¾ã™ã€‚ã¨ã¦ã‚‚興味深ã‹ã£ãŸã®ã§ç´¹ä»‹ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚Pigs, Bees, and Elephants: A Comparison of Eight MapReduce Languages « Dataspora ãªãŠã€ä»Šå›žã¯RSSè³¼èªã—ã¦ã„ã‚‹DataSporaã®ãƒ–ãƒã‚°ã‹ã‚‰ç™ºè¦‹ã—ã¾ã—ãŸãŒã€ã‚¨ãƒ³ãƒˆãƒªã‚’寄稿ã—ãŸã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã®å€‹äººãƒ–ãƒã‚°ã‚‚大変興味深ã„ã®ã§ã‚ªã‚¹ã‚¹ãƒ¡ã§ã™ã€‚ ã¯ã˜ã‚ã«MapReduceを美ã—ã効率的ã«æ›¸ããŸã‚ã«ã€ç§ã¯æ§˜ã€…ãªè¨€èªžã‚’比較ã—ã¾ã—ãŸã€‚æžœãŸã—ã¦ãã®å‹è€…ã¯ï¼ï¼Ÿç§ã®å€‹äººãƒ–ãƒã‚°ã§ã¯çµ±è¨ˆã‚„グラフã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã‚’MapReduceã§è¨˜è¿°ã™ã‚‹æ–¹æ³•ã‚’紹介ã—ã€æ“¬ä¼¼ã‚³ãƒ¼ãƒ‰ã«ã‚ˆã‚‹å®Ÿè£…を示ã—ã¾ã—ãŸã€‚擬似コードã«ã¯2ã¤ã®å•é¡Œç‚¹ãŒã‚ã‚Šã¾ã™ï¼šèª°ã‚‚ãŒãã®å‘½ä»¤ã‚’ç†è§£ã§ãã‚‹ã¨
Googleã®è™Žã®å「BigQueryã€ã‚’FluentdユーザーãŒä½¿ã‚ãªã„ç†ç”±ãŒãªããªã£ãŸç†ç”± #gcpja - Qiita
From Fluentd Meetupã«è¡Œã£ã¦ãã¾ã—㟠ã“れをèªã‚“ã 時ã€BigQueryã®æ¤œç´¢ã‚¹ãƒ”ードã«ã¤ã„ã¦ã¡ã‚‡ã£ã¨è£œè¶³ã—ãŸããªã£ãŸã€‚確ã‹ã«Fluentd Meetupã®ãƒ‡ãƒ¢ã§ã¯9億件を7秒程度ã§æ¤œç´¢ã—ã¦ã„ãŸãŒã€BigQueryã®çœŸã®å®ŸåŠ›ã¯ã“れより1〜2ケタ上ã ã‹ã‚‰ã 。ã¡ã‚‡ã£ã¨æ‰‹å…ƒã§å°‘ã—大ãã‚ã®ãƒ†ãƒ¼ãƒ–ルã§è©¦ã—ã¦ã¿ãŸã‚‰ã€120å„„è¡Œã®æ£è¦è¡¨ç¾ãƒžãƒƒãƒä»˜ã集計ãŒ5秒ã§å®Œäº†ã—ãŸã€‚è«–ã‚ˆã‚Šè¨¼æ‹ ã§ã€ãƒ‡ãƒ¢ãƒ“デオ（1分16秒）を作ã£ã¦ã¿ãŸï¼š From The Speed of Google BigQuery ã“ã‚Œã¯é€Ÿã™ãŽã‚‹ã€‚何ã‹ã®ã‚¤ãƒ³ãƒã‚ã§ã‚る（最åˆã«ãƒ‡ãƒ¢ã‚’見ãŸæ™‚ãã†æ€ã£ãŸï¼‰ã€‚æ£è¦è¡¨ç¾ã‚’ã„ã‚ã„ã‚変ãˆã¦ã¿ã¦ã‚‚スピードã¯å¤‰ã‚らãªã„。ã¤ã¾ã‚Šã€ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã‚’事å‰æ§‹ç¯‰ã§ããªã„クエリã«å¯¾ã—ã¦ã“ã®ã‚¹ãƒ”ードãªã®ã§ã‚る。 ä¾¡æ ¼ã‚‚å®‰ã„。ã•ã™ãŒã«120å„„è¡Œã®ã‚¯ã‚¨ãƒªã¯1回ã§200円もã‹ã‹ã£ã¦æ°—軽ã«å®Ÿè¡Œã§ããªã•ãã†ã§ã‚ã‚‹ãŒã€1.2å„„
ã€14-B-2】グリーを支ãˆã‚‹ãƒ‡ãƒ¼ã‚¿åˆ†æžåŸºç›¤ã®éŽåŽ»ã¨ç¾åœ¨ï¼ˆæ©‹æœ¬æ³°ä¸€ã€”グリー〕）
グリーã§ã¯ãƒ¦ãƒ¼ã‚¶ã«å–œã‚“ã§ã‚‚らãˆã‚‹ã‚µãƒ¼ãƒ“スをæä¾›ã™ã‚‹ãŸã‚ã®ç¶™ç¶šçš„ãªæ”¹å–„ã‚’é‡è¦–ã—ã¦ãŠã‚Šã€å‰µæ¥æœŸã‚ˆã‚Šãƒã‚°ãƒ‡ãƒ¼ã‚¿ã®åˆ†æžåŸºç›¤ã®é–‹ç™ºãƒ»é‹ç”¨ã«æ³¨åŠ›ã—ã¦ã¾ã„ã‚Šã¾ã—ãŸã€‚昨年よりã€å¾“æ¥ã®è‡ªç¤¾é–‹ç™ºã®è§£æžåŸºç›¤ã«åŠ ãˆã€Hadoopã‚„fluentdãªã©ã‚’æœ¬æ ¼çš„ã«é‹ç”¨é–‹å§‹ã—ã€è§£æžåŸºç›¤ã®ã•ã‚‰ãªã‚‹å¼·åŒ–を実施ã—ã¦ãŠã‚Šã¾ã™ã€‚サービスã®æˆé•·ã‚’支ãˆã‚‹ãƒ‡ãƒ¼ã‚¿åˆ†æžåŸºç›¤ã®æ§‹ç¯‰ãƒ»é‹ç”¨ãƒ»æ´»ç”¨æ–¹æ³•ã«ã¤ã„ã¦è‡ªç¤¾ã®äº‹ä¾‹ã‚’ベースã«ãŠè©±ã—ã¾ã™ã€‚Read less
大è¦æ¨¡ã‚µã‚¤ãƒˆã‚’支ãˆã‚‹ãƒ“ッグデータプラットフォーム技術
2. 自己紹介 Privileged and Confidential 2 é 峯 康夫(ã¨ãŠã¿ã ã‚„ã™ãŠ) 事æ¥æˆ¦ç•¥çµ±æ‹¬æœ¬éƒ¨ データソリューション本部 データインフラ開発部 2010å¹´ æ–°å’入社 Hadoopクラスタ立ã¡ä¸Šã’ã®éƒ¨ç½²ã«é…属 2012å¹´ データソリューションé…属 Hadoopã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 処ç†åŸºç›¤ãªã©ã‚’担当
niw.at — ãŸã®ã—ã„ Scalding 入門
TL; DR: git clone https://github.com/niw/scalding_examples.git ã–ã£ã¨ã‚°ã‚°ã£ãŸæ„Ÿã˜ã€Scalding ã«ã¤ã„ã¦ã¯ã¾ã ã‚ã¾ã‚Šæ—¥æœ¬èªžæƒ…å ±ãªã•ãã†ãªã®ã§ã€ã“ã†åºƒã‚ãŸã‚Šã™ã‚‹ç›®çš„ã‚‚è¾¼ã‚ã¦ã¡ã‚‡ã£ã¨ã¾ã¨ã‚ã¦ãŠã“ã†ã¨æ€ã„ã¾ã™ã€‚ Scalding ã¨ã¯ Scalding ã¨ã¯ã€Scala ã«ç›¸å½“入れ込んã§ã‚‹ Twitter ã§ä½¿ã‚ã‚Œã¦ã„るライブラリã§ã€Hadoop ã® MapReduce ã‚’ Scala ã§ç°¡å˜ã«æ›¸ã‘ã‚‹ã‚‚ã®ã§ã™ã€‚ä¸èº«ã¯ Cascading をラップã—ãŸã‚‚ã®ã«ãªã£ã¦ã„ã¾ã™ã€‚ Scala ã«ç›¸å½“入れ込んã§ã‚‹ Twitter ã§ã¯ã—ã‹ã—ãªãŒã‚‰ Pig ãŒé »ç¹ã«ä½¿ã‚ã‚Œã¦ã„ã‚‹ã®ã§ã™ãŒã‚ã‚‹æ–¹é¢ã§ã¯ Scalding ãŒä½¿ã‚ã‚Œã¦ãŠã‚Šã¾ã—ã¦ã€Pig ã¨è‚©ã‚’並ã¹ã‚‰ã‚Œã‚‹ãらã„ã«ä½¿ãˆã¦ã€ã•ã‚‰ã« Scala ã®ç§˜ã‚ãŸåŠ›ã‚‚使ãˆã‚‹ã‚“ã ãœâ€¦! ã¨ã€å°‘ãªãã¨ã‚‚
Starting Small: Set Up a Hadoop Compute Cluster Using Raspberry Pis
What is Hadoop? Hadoop is a big data computing framework that generally refers to the main components: the core, HDFS, and MapReduce. There are several other projects under the umbrella as well. For more information, see this interview with Cloudera CSO Mike Olson. What is a Raspberry Pi? The Pi is a small, inexpensive ($39) ARM based computer. It is meant primarily as an educational tool. Is Hado
挑戦ã™ã‚‹ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ãŸã¡ ヒストリー[3-1]｜ITエンジニア専門ã®è»¢è·æƒ…å ±ã¯ãƒ•ã‚©ã‚¹ã‚¿ãƒ¼ã‚ャリア
1979年生れ。2005年よりISPã€SIer（NTTãƒ‡ãƒ¼ã‚¿å…ˆç«¯æŠ€è¡“æ ªå¼ä¼šç¤¾ï¼‰2社ã§ã®å‹¤å‹™ã‚’経験後ã€2010å¹´8æœˆæ ªå¼ä¼šç¤¾ãƒ©ã‚¤ãƒ–ドア入社(2012å¹´1月NHN Japanæ ªå¼ä¼šç¤¾ã«çµŒå–¶çµ±åˆå¾Œã€2013å¹´4月ã«LINEæ ªå¼ä¼šç¤¾ã¸ç¤¾å変更)。ç¾åœ¨ã«è‡³ã‚‹ã¾ã§ãƒ©ã‚¤ãƒ–ドアã®å„サービスã«ãŠã‘る稼動状æ³ã®æŠŠæ¡ã¨å¯è¦–化ãªã©ã‚’ä¸å¿ƒã«ã€ã‚µãƒ¼ãƒ“スをã¾ãŸã„ã 観点ã§ã®ãƒ„ール整備ãªã©ã‚’è¡Œã†ã€‚ 今回ã€æ ªå¼ä¼šç¤¾ãƒŽãƒ¼ãƒãƒ©ã‚¹ãƒ»ãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ã‚ºã®ç¥žæž—æ°ã‚ˆã‚Šã”ç´¹ä»‹ã‚’é ‚ãã¾ã—ãŸãŒã€ã©ã®æ§˜ãªç¹‹ãŒã‚Šã§ã—ょã†ã‹ï¼Ÿ ã‚‚ã¨ã‚‚ã¨ã€ç¾åœ¨ã®LINEæ ªå¼ä¼šç¤¾ã«å…¥ç¤¾ã™ã‚‹å‰ã‹ã‚‰Google App Engineを趣味ã§ã„ã˜ã£ã¦ã„ãŸæ™‚期ãŒã‚ã‚Šã€ãã®é–¢ä¿‚ã®ã‚³ãƒŸãƒ¥ãƒ‹ãƒ†ã‚£ãªã©ã§ã€ã€Œã‚¯ãƒ©ã‚¦ãƒ‰ã€ã€Œåˆ†æ•£å‡¦ç†ã€ã®è©±ãŒã‚ã‚Šã€Hadoopç³»ã®æ–¹ã¨å‹‰å¼·ä¼šï¼ˆé£²ã¿ä¼šå«ã‚）ã§çŸ¥ã‚Šåˆã„ã¾ã—ãŸã€‚æ›´ã«ç¾åœ¨ã®æ¥å‹™ã«ãªã£ã¦Hadoopを集計ãªã©ã§åˆ©ç”¨ã™ã‚‹ã“ã¨ã«ãªã‚Šã€ç¥žæž—ã•ã‚“もノーãƒãƒ©ã‚¹ãƒ»ãƒ†ã‚¯
Googleã®ä¸¦åˆ—ãƒã‚°è§£æžå‘ã‘言語「Sawzallã€ãŒå…¬é–‹ã•ã‚ŒãŸã®ã§ä½¿ã£ã¦ã¿ãŸ | Preferred Research Blog
最近光麺ã«ãƒãƒžã£ã¦ã„る太田ã§ã™ã€‚ グーグルã€åˆ†æ•£å‡¦ç†ã®ãŸã‚ã«ãƒ‡ã‚¶ã‚¤ãƒ³ã•ã‚ŒãŸè¨€èªžã€ŒSawzallã€ã‚’オープンソースã§å…¬é–‹ ? Publickeyã§ç´¹ä»‹ã•ã‚Œã¦ã„ã‚‹ã€ä¸¦åˆ—ãƒã‚°è§£æžå‘ã‘言語「Sawzallã€ã‚’試ã—ã¦ã¿ã¾ã—ãŸã€‚å‹•ã‹ã—æ–¹ã®ãƒ‰ã‚ュメントãŒå°‘ãªã‹ã£ãŸã®ã§ã€ç´¹ä»‹ã‚¨ãƒ³ãƒˆãƒªã‚’書ã„ã¦ã¿ã¾ã™ã€‚ プãƒã‚¸ã‚§ã‚¯ãƒˆãƒšãƒ¼ã‚¸ ドã‚ュメント Sawzallã«ã¤ã„ã¦ã¯ã€5å¹´å‰ã«è«–æ–‡ãŒç™ºè¡¨ã•ã‚Œã¦ãŠã‚Šä¸€éƒ¨æ¦‚è¦ã‚’知るã“ã¨ã¯å‡ºæ¥ã¾ã—ãŸãŒã€å…ˆæ—¥å®Ÿè£…ãŒã‚ªãƒ¼ãƒ—ンソースã§å…¬é–‹ã•ã‚Œã¾ã—ãŸã€‚è«–æ–‡ã®ç¬¬ä¸€è‘—者ã¯UNIXã‚„Plan9ã®é–‹ç™ºè€…ã§çŸ¥ã‚‰ã‚Œã‚‹Rob Pikeæ°ã§ã™ã€‚ Interpreting the Data: Parallel Analysis with Sawzall MapReduceã®OSS実装ã¨ã—ã¦ã€ŒHadoopã€ãŒè‰¯ã知られã¦ã„ã¾ã™ãŒã€Hadoopå‘ã‘ã®è¨€èªžã¨ã—ã¦ã¯Hiveã‚„Pigç‰ãŒæœ‰åã§ã™ã€‚ Hive: MapRed
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
http://s3.amazonaws.com/public-repo-1.hortonworks.com/index.html
https://jp.techcrunch.com/2013/04/02/20130329treasure-data-projects-500-percent-growth-this-year-launches-new-plazma-distributed-database/
次世代アーã‚テクãƒãƒ£ã«ã¤ã„ã¦ã®è€ƒãˆã‚’ã¾ã¨ã‚ã¦ãŠã。ã¾ãšã¯ã€Hbaseã®å‹‰å¼·ä¼šã®ãŠè©±ã€‚æŸç•Œéšˆã§ã¯å‰²ã¨è©±é¡Œã«ãªã£ãŸã®ã§ã€ç´°ã‹ã„ブãƒã‚°ã‚„サイトã¯çµæ§‹ã€ç´¹ä»‹ã•ã‚Œã¦ã„る。ã®ã§ç‰¹ã«è©³ç´°ã¯çœã。一応tatsuyaã•ã‚“ã®Slideshareã¯Tokyo HBase Meetup - Realtime Big Data at Facebook with Hadoop and ...slideを見ã¦ã„ã‚‹ã ã‘ã§ã¯ã€ã‚ˆãã‚ã‹ã‚‰ãªã„ã¨æ€ã†ãŒJonathanã¨ã®ä¼šè©±ã§ã¯ã€FBã¯ãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰ã®éƒ¨åˆ†ã‚’å«ã‚ã¦ãƒãƒƒãƒå‡¦ç†ã¯åˆ¥ã®Hadoopク
{{#tags}}- {{label}}
{{/tags}}