VMware ㌠Spring Hadoop を発表
Spring Bootã«ã‚ˆã‚‹APIãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰æ§‹ç¯‰å®Ÿè·µã‚¬ã‚¤ãƒ‰ 第2版 何åƒäººã‚‚ã®é–‹ç™ºè€…ãŒã€InfoQã®ãƒŸãƒ‹ãƒ–ック「Practical Guide to Building an API Back End with Spring Bootã€ã‹ã‚‰ã€Spring Bootを使ã£ãŸREST API構築ã®åŸºç¤Žã‚’å¦ã‚“ã 。ã“ã®æœ¬ã§ã¯ã€å‡ºç‰ˆæ™‚ã«æ–°ã—ãリリースã•ã‚ŒãŸãƒãƒ¼ã‚¸ãƒ§ãƒ³ã§ã‚ã‚‹ Spring Boot 2 を使用ã—ã¦ã„る。ã—ã‹ã—ã€Spring Boot3ãŒæœ€è¿‘リリースã•ã‚Œã€é‡è¦ãªå¤‰...
NTTデータãŒã€ŒHadoopã€æˆ¦ç•¥ã®æœ€æ–°å‹•å‘を米国ã§æŠ«éœ²--富士通ã¨ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã‚·ã‚¹ãƒ†ãƒ å…±åŒé–‹ç™º
注目ãŒé›†ã¾ã‚‹ãƒ“ックデータ分野を支ãˆã‚‹æŠ€è¡“ã®æœ¬å‘½ã¯ã€ã‚ªãƒ¼ãƒ—ンソースã®åˆ†æ•£å‡¦ç†ã‚½ãƒ•ãƒˆHadoopã ã‚ã†ã€‚Hadoopã¯ã€GoogleãŒå”±ãˆã‚‹å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿å‡¦ç†æ–¹å¼ã‚’実装ã—ãŸã‚ªãƒ¼ãƒ—ンソースソフトウェアã§ã€ãƒ†ãƒ©ãƒã‚¤ãƒˆï½žãƒšã‚¿ãƒã‚¤ãƒˆç´šã®ãƒ‡ãƒ¼ã‚¿ã®è“„ç©ãƒ»å‡¦ç†ã‚’å¾—æ„ã¨ã™ã‚‹ã€‚IBMã¯Hadoopをベースã¨ã—ãŸè£½å“をリリースã—ã€ã‚ªãƒ©ã‚¯ãƒ«ã¯ä¸»è¦è£½å“Exadataã¨Hadoopã®ã‚³ãƒã‚¯ã‚¿ã‚’発表ã—ã¦é€£æºã‚’推ã—進ã‚ã¦ã„る状æ³ã 。 ã“ã†ã—ãŸä¸ã€ç±³å›½ãƒ‹ãƒ¥ãƒ¼ãƒ¨ãƒ¼ã‚¯ã§11月8日より2日間「Hadoop World NYC 2011ã€ãŒé–‹å‚¬ã•ã‚ŒãŸã€‚Hadoop Worldã¯ç¬¬3回目ã®é–‹å‚¬ã§ã€æœ€æ–°äº‹ä¾‹ã‚„技術ã«é–¢ã™ã‚‹æƒ…å ±ãŒä¸€åŒã«é›†ã¾ã‚‹ã‚¤ãƒ™ãƒ³ãƒˆã¨ã—ã¦çŸ¥ã‚‰ã‚Œã¦ã„る。27カ国ã‹ã‚‰1400å以上ãŒé›†ã¾ã‚Šã€60を超ãˆã‚‹è¬›æ¼”ãŒç¹°ã‚Šåºƒã’られãŸã€‚ ã“ã®ã‚¤ãƒ™ãƒ³ãƒˆã«ãŠã„ã¦ã€NTTデータã¯ã€ŒHadoop's Life in Enterprise Syste
Tokyo HBase Meetup - Realtime Big Data at Facebook with Hadoop and HBase (ja)
The document discusses Facebook's use of HBase to store messaging data. It provides an overview of HBase, including its data model, performance characteristics, and how it was a good fit for Facebook's needs due to its ability to handle large volumes of data, high write throughput, and efficient random access. It also describes some enhancements Facebook made to HBase to improve availability, stab
Apache Cassandraã¨Apache Hadoopを一体化ã—ãŸã€ŒBriskã€ç™ºè¡¨ | OSDN Magazine
「Apache Cassandraã€ã®å•†ç”¨ã‚µãƒ¼ãƒ“スをæä¾›ã™ã‚‹ç±³DataStaxã¯3月22日（米国時間）ã€Cassandraã¨ã€ŒApache Hadoopã€ã‚’組ã¿åˆã‚ã›ãŸãƒ‡ã‚£ã‚¹ãƒˆãƒªãƒ“ューション「Briskã€ã‚’発表ã—ãŸã€‚1カ月åŠå¾Œã®ãƒªãƒªãƒ¼ã‚¹ã«å‘ã‘ã€ãƒ¦ãƒ¼ã‚¶ãƒ¼ç™»éŒ²ã‚’開始ã—ã¦ã„る。 Apache Cassandraã¨Apache Hadoopã¯ã¨ã‚‚ã«éžå–¶åˆ©å›£ä½“Apache Software Foundation（ASF）ã®ã‚ªãƒ¼ãƒ—ンソースプãƒã‚¸ã‚§ã‚¯ãƒˆã€‚Apache Cassandraã¯å…ƒã€…ã¯ç±³Facebookã§é–‹ç™ºã•ã‚ŒãŸæŠ€è¡“。オープンソースã®åˆ†æ•£ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ç®¡ç†ã‚·ã‚¹ãƒ†ãƒ ã§ã€å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ç”¨ã®æ‹¡å¼µæ€§ãªã©ã‚’特徴ã¨ã™ã‚‹ã€‚一方ã€Apache Hadoopã¯ç±³Yahoo!ãŒASFã«å¯„è´ˆã—ãŸæŠ€è¡“ã§ã€å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ç”¨ã®åˆ†æ•£ã‚³ãƒ³ãƒ”ューティング用ソフトウェアã¨ãªã‚‹ã€‚ DataStaxãŒç™ºè¡¨ã—ãŸBriskã¯ã€Hadoopã¨H
MapReduceã«ã‚ˆã‚‹å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã‚’利用ã—ãŸæ©Ÿæ¢°å¦ç¿’
æƒ…å ±å‡¦ç†å¦ä¼š 第217回自然言語処ç†ç ”究会 http://www.nl-ipsj.or.jp/NL217program.html This document summarizes a research paper on scaling laws for neural language models. Some key findings of the paper include: - Language model performance depends strongly on model scale and weakly on model shape. With enough compute and data, performance scales as a power law of parameters, compute, and data. - Overfitting is univer
Inside of Asakusa DSL
Project Tungsten Bringing Spark Closer to Bare Meta （Hadoop / Spark Conferenc... Hadoop / Spark Conference Japan 2016 ã‚ーノート講演資料 『Project Tungsten Bringing Spark Closer to Bare Metal〠Reynold Xin (databricks) ▼イベントページ http://hadoop.apache.jp/hcj2016-program/ http://hcj2016.eventbrite.com/
Hadoopã§åŸºå¹¹ãƒãƒƒãƒã‚’高速化ã€ã‚ªãƒ¼ãƒ—ンソースã®ãƒ•ãƒ¬ãƒ¼ãƒ ãƒ¯ãƒ¼ã‚¯ç™»å ´ ï¼ ï¼ IT
2011/02/10 ウルシステムズã¯2月9æ—¥ã€Hadoopを使ã£ã¦ä¼æ¥ã®åŸºå¹¹æ¥å‹™ã‚·ã‚¹ãƒ†ãƒ ã®ãƒãƒƒãƒã‚’高速処ç†ã™ã‚‹ãŸã‚ã®ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ãƒ•ãƒ¬ãƒ¼ãƒ ワーク「Asakusa Frameworkã€ã‚’開発ã€æ£å¼ç‰ˆã‚’オープンソースã¨ã—ã¦3æœˆé ƒã«æä¾›ã™ã‚‹ã¨ç™ºè¡¨ã—ãŸã€‚ãªãŠã€ã‚¤ãƒ³ãƒ†ãƒƒã‚¯ã¯è‡ªç¤¾ã®ä»®æƒ³ãƒ›ã‚¹ãƒ†ã‚£ãƒ³ã‚°ã‚µãƒ¼ãƒ“ス「EINS/SPS（アインスエスピーエス）ã€ä¸Šã«Hadoop基盤を構築ã—ãŸã€‚ウルシステムズã¯ã“ã®Hadoop基盤を用ã„ã€Asakusaを使ã£ãŸåŸºå¹¹æ¥å‹™å‡¦ç†ã®åŸºç›¤ã‚µãƒ¼ãƒ“スを自社ã®é¡§å®¢ã«å¯¾ã—ã¦æä¾›ã™ã‚‹ã¨ã„ã†ã€‚インテックã¯é †æ¬¡ã€ã‚¦ãƒ«ã‚·ã‚¹ãƒ†ãƒ ズ以外ã®é¡§å®¢ã«ã‚‚Hadoop基盤サービスをæ供開始ã™ã‚‹ã€‚ ウルシステムズã®é–‹ç™ºã—㟠Asakusaã¯ã€å¤§é‡ãƒ‡ãƒ¼ã‚¿ã®å‡¦ç†ã«é©ã—ãŸã‚ªãƒ¼ãƒ—ンソースã®åˆ†æ•£å‡¦ç†åŸºç›¤ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã§ã‚ã‚‹Hadoopã‚’ã€åŸºå¹¹ã‚·ã‚¹ãƒ†ãƒ ã®ãƒãƒƒãƒå‡¦ç†é«˜é€ŸåŒ–ã«ä½¿ã†ãŸã‚ã®ãƒ•ãƒ¬ãƒ¼ãƒ ワーク。Asakusaã¯ã€Hado
「Hadoop徹底入門ã€ãŒå‡ºã¾ã™ - Preferred Networks Research & Development
MacBook Air 11インãƒæ¬²ã—ã„ï¼ã€å¤ªç”°ã§ã™ã€‚ 1/27ã«ã€åŸ·ç†ã«é–¢ã‚らã›ã¦é ‚ã„ãŸã€ŒHadoop徹底入門ã€ã¨ã„ã†æœ¬ãŒã€ç¿”泳社ã•ã‚“ã‹ã‚‰å‡ºç‰ˆã•ã‚Œã¾ã™ã€‚ OSS分散フレームワーク「Hadoopã€ã®ã€æ—¥æœ¬èªžã§ã¯åˆã‚ã¦ã¨ãªã‚‹æ›¸ã下ã‚ã—本ã«ãªã‚Šã¾ã™ã€‚執ç†ã¯NTTデータã§Hadoopã®ãŠä»•äº‹ã‚’ã•ã‚Œã¦ã„ã‚‹ã€ä¸‹åž£ã•ã‚“ã€çŒ¿ç”°ã•ã‚“ã€è—¤äº•ã•ã‚“ã€æ¿±é‡Žã•ã‚“ã€ãã—ã¦ç§ã«ãªã‚Šã¾ã™ã€‚ã¾ãŸã€ç¿”泳社ã®çŸ³å·ã•ã‚“ã«ã¯éžå¸¸ã«ãŠä¸–話ã«ãªã‚Šã¾ã—ãŸã€‚ 目次ã¯ã“ã®ãƒ–ãƒã‚°ã®æœ€å¾Œã«æŽ²è¼‰ã•ã›ã¦é ‚ãã¾ã—ãŸ(詳細ã¯ã“ã¡ã‚‰)。Hadoopã¨ã¯ä½•ã‹ï¼Ÿã¨ã„ã£ãŸèª¬æ˜Žã«å§‹ã¾ã‚Šã€Hadoopã®å‘¨è¾ºãƒ—ãƒãƒ€ã‚¯ãƒˆ(Hive, Pig, HBase, Thrift)も詳ã—ãã‚«ãƒãƒ¼ã•ã‚Œã¦ã„ã¾ã™ã€‚ Hadoopã«é–¢ã—ã¦ç¾åœ¨æ—¥æœ¬èªžã§èªã‚る大ããªæƒ…å ±æºã¨ã—ã¦æœ‰åãªã®ã¯ã€ã‚ªãƒ©ã‚¤ãƒªãƒ¼ã•ã‚“ã‹ã‚‰å‡ºç‰ˆã•ã‚Œã¦ã„る「Hadoopã€æœ¬ã«ãªã‚Šã¾ã™ã€‚ 本書ã¯ã“ã®æœ¬ã¨è£œå®Œé–¢ä¿‚ã«æœ‰ã‚‹ã¨æ€ã£ã¦ã„
HBaseã¨ã¯ã©ã‚“ãªNoSQLデータベースãªã®ã‹ï¼Ÿ 日本語ã§èªã‚ã‚‹æƒ…å ±ã‚’é›†ã‚ã¦ã¿ãŸ
FacebookãŒæ–°ã—ã„サービス「Messagesã€ã®åŸºç›¤ã¨ã—ã¦ã€NoSQLデータベースã®ã€ŒHBaseã€ã‚’é¸æŠžã—ãŸã“ã¨ã‚’ã€å…ˆæ—¥ã®è¨˜äº‹ã€ŒFacebookãŒæ–°ã‚µãƒ¼ãƒ“スã®åŸºç›¤ã«ã—ãŸã®ã¯ã€MySQLã§ã‚‚Cassandraã§ã‚‚ãªãã€HBaseã ã£ãŸã€ã§ç´¹ä»‹ã—ã¾ã—ãŸã€‚ HBaseã¯ã€Facebookã«ã‚ˆã‚‹ã¨æ¬¡ã®ã‚ˆã†ãªç‰¹å¾´ã‚’å‚™ãˆã¦ã„ã‚‹ã¨èª¬æ˜Žã•ã‚Œã¦ã¾ã™ã€‚ è² è·ã«å¯¾ã—ã¦éžå¸¸ã«é«˜ã„スケーラビリティã¨æ€§èƒ½ã‚’ç™ºæ® CassandraよりもシンプルãªConsistency Model（一貫性モデル）を備ãˆã¦ã„ã‚‹ 自動ãƒãƒ¼ãƒ‰ãƒãƒ©ãƒ³ã‚¹ã€ãƒ•ã‚§ã‚¤ãƒ«ã‚ªãƒ¼ãƒãƒ¼ã€åœ§ç¸®æ©Ÿèƒ½ サーãƒãƒ¼ã”ã¨ã«æ•°å個ã®ã‚·ãƒ£ãƒ¼ãƒ‰ã‚’割り当ã¦å¯èƒ½ã€ãªã©ãªã© ã“ã®HBaseã¯ã©ã®ã‚ˆã†ãªãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ãªã®ã§ã—ょã†ã‹ï¼Ÿ æƒ…å ±ã‚’é›†ã‚ã¦ã¿ã¾ã—ãŸã€‚ HBase入門ã®ãƒ—レゼンテーション 最åˆã«ç´¹ä»‹ã™ã‚‹ã®ã¯ã€ŒHBaseエãƒãƒ³ã‚¸ã‚§ãƒªã‚¹ãƒˆã€Tatsuya Kawanoæ°ã®ãƒ—レゼン
Hadoopã®ã‚¸ãƒ§ãƒ–ã®ãƒ‘フォーマンスãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°
Hadoop 0.21ã§ã¯Counterã§GCã«ä½¿ã£ã¦ã„る時間ãŒè¦‹ã‚Œã‚‹ã‚ˆã†ã«ãªã‚Šã¾ã—ãŸã€‚ ã“ã‚“ãªæ„Ÿã˜ã§ã™ã€‚ ã“ã®ä¾‹ã§ã¯5秒程度ã§ã™ãŒã€ã‚¸ãƒ§ãƒ–ã«ã‚ˆã£ã¦ã¯ã‚‚ã£ã¨GCã«æ™‚間を使ã£ã¦ã„ã‚‹å ´åˆãŒã‚り〠もã£ã¨è©³ç´°ã‚’調ã¹ã¦ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°å‡ºæ¥ãªã„ã‹ã¨ã„ã†è©±ã§ã™ã€‚ ã¾ãšã¯GCã®ãƒã‚°ã‚’å–ã‚Šã¾ã™ã€‚ <name>mapred.child.java.opts</name> <value>-Xloggc:/tmp/hadoop-mikami/@[email protected] -Xmx1024m</value> ã“ã®ã‚ˆã†ã«-Xloggc ã§æŒ‡å®šã—ãŸå ´æ‰€ã«ãƒã‚°ã‚’å–ã‚Œã¾ã™ã€‚ @taskid@ ã«ã¯ attempt_201010311624_0037_m_000000_0 ã¿ãŸã„ãªæ„Ÿã˜ã§attempt_id ãŒå…¥ã‚Šã¾ã™ã€‚ 以下ãŒå…ˆç¨‹ã®ã‚¸ãƒ§ãƒ–ã®ã‚ã‚‹Mapタスクã§ã®GCãƒã‚°ã§ã™ 0.164: [GC 3072K->416K(889
NTTデータã®Hadoopå ±å‘Šæ›¸ãŒã™ã”ã‹ã£ãŸ - 科å¦ã¨éžç§‘å¦ã®è¿·å®®
æ¥ç•Œãƒˆãƒƒãƒ— ã®ã‚¨ãƒ³ã‚¿ãƒ¼ãƒ—ライズ Hadoop ä¼æ¥ Cloudera ã«å…¥ç¤¾ã—ã¾ã—㟠http://www.cloudera.co.jp/ 今年ã®6月ã«ã€ã€Œå¹³æˆï¼’１年度 産å¦é€£æºã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢å·¥å¦å®Ÿè·µäº‹æ¥å ±å‘Šæ›¸ã€ã¨ã„ã†ãƒ‰ã‚ュメント群ãŒçµŒç”£çœã‹ã‚‰å…¬è¡¨ã•ã‚Œã¾ã—ãŸã€‚ ãã®ã†ã¡ã®ä¸€ã¤ã«ã€NTTデータã«å§”託ã•ã‚ŒãŸHadoopã«é–¢ã™ã‚‹å®Ÿè¨¼å®Ÿé¨“ã®å ±å‘Šæ›¸ãŒã‚ã‚Šã¾ã—ãŸã®ã§ã€ä»Šæ›´ãªãŒã‚‰èªã‚“ã§ã¿ã‚‹ã“ã¨ã«ã—ã¾ã—ãŸã€‚ Hadoop界隈ã®äººã¯ã‚‚ã†ã¿ã‚“ãªã¨ã£ãã«èªã‚“ã§ã‚‹ã®ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“ã‘ã©ã€‚ http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf ã€Œé«˜ä¿¡é ¼ã‚¯ãƒ©ã‚¦ãƒ‰å®Ÿç¾ç”¨ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢é–‹ç™ºï¼ˆåˆ†æ•£åˆ¶å¾¡å‡¦ç†æŠ€è¡“ç‰ã«ä¿‚ã‚‹ãƒ‡ãƒ¼ã‚¿ã‚»ãƒ³ã‚¿ãƒ¼é«˜ä¿¡é ¼åŒ–ã«å‘ã‘ãŸå®Ÿè¨¼äº‹æ¥ï¼‰ã€ã¨ã„ã†
見ãˆã¦ããŸHadoopã®â€œä½¿ã„ã©ã“ã‚â€â”€ã€ŒHadoop Hack Night Vol.2ã€é–‹å‚¬ | gihyo.jp
見ãˆã¦ããŸHadoopã®â€œä½¿ã„ã©ã“ã‚â€â”€ã€ŒHadoop Hack Night Vol.2ã€é–‹å‚¬ 8月4æ—¥ã€å…本木ミッドタウンã®ãƒ¤ãƒ•ãƒ¼æ ªå¼ä¼šç¤¾ã«ã¦ã€ä»Šå›žã§2回目ã¨ãªã‚‹Hadoopをテーマã«ã—ãŸã‚¤ãƒ™ãƒ³ãƒˆã€ŒHadoop Hack Night Vol.2ã€ãŒé–‹å‚¬ã•ã‚ŒãŸã€‚ Hadoop（ãƒãƒ‰ã‚¥ãƒ¼ãƒ—）ã¯ã€ã„ã¾æ³¨ç›®ã®ã‚¯ãƒ©ã‚¦ãƒ‰ã‚³ãƒ³ãƒ”ューティングãªã©ã«åˆ©ç”¨ã•ã‚Œã¦ã„ã‚‹MapReduce技術ãŒä½¿ãˆã‚‹ã‚ªãƒ¼ãƒ—ンソースソフトウェア。大è¦æ¨¡ãªãƒ‡ãƒ¼ã‚¿ã®è§£æžå‡¦ç†ãªã©ã«åˆ†æ•£ã‚·ã‚¹ãƒ†ãƒ を利用ã—ãŸã„å ´åˆã«å¤§ããªåŠ›ã‚’発æ®ã™ã‚‹ã€‚ ã“ã®ã‚ˆã†ã«æ³¨ç›®ã‚’集ã‚ã¦ã„ã‚‹Hadoopã ãŒã€å®Ÿéš›ã«æ•°ãƒ†ãƒ©ãƒã‚¤ãƒˆä»¥ä¸Šã¨ã„ã£ãŸå¤§å®¹é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’処ç†ã—ãªã‘ã‚Œã°ãªã‚‰ãªã„ケースã¯ã¾ã ãã‚Œã»ã©å¤šããªã„。大ããªæœŸå¾…を集ã‚ãªãŒã‚‰ã€Œç”ŸããŸå®Ÿä¾‹ã€ã«ä¹ã—ã„ã®ã‚‚Hadoopã‚’ã‚ãã‚‹1ã¤ã®çŠ¶æ³ã ã‚ã†ã€‚ãã“ã§ã€ä»Šå›žã®ã€ŒHadoop Hack Night Vol.2ã€ã¯ã€Œã‚±ãƒ¼ã‚¹ã‚¹ã‚¿ãƒ‡ã‚£
Adobe ㌠Hadoop ã®ãŸã‚ã® Puppet レシピをリリース
Spring Bootã«ã‚ˆã‚‹APIãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰æ§‹ç¯‰å®Ÿè·µã‚¬ã‚¤ãƒ‰ 第2版 何åƒäººã‚‚ã®é–‹ç™ºè€…ãŒã€InfoQã®ãƒŸãƒ‹ãƒ–ック「Practical Guide to Building an API Back End with Spring Bootã€ã‹ã‚‰ã€Spring Bootを使ã£ãŸREST API構築ã®åŸºç¤Žã‚’å¦ã‚“ã 。ã“ã®æœ¬ã§ã¯ã€å‡ºç‰ˆæ™‚ã«æ–°ã—ãリリースã•ã‚ŒãŸãƒãƒ¼ã‚¸ãƒ§ãƒ³ã§ã‚ã‚‹ Spring Boot 2 を使用ã—ã¦ã„る。ã—ã‹ã—ã€Spring Boot3ãŒæœ€è¿‘リリースã•ã‚Œã€é‡è¦ãªå¤‰...
Yahoo Developer Network | SlideShare
The Yahoo Developer Network (YDN) is Yahoo!'s central resource for developers and partners. YDN offers developer tools, APIs, web services, and resources that help developers build rich web experiences, integrate key data sources, and drive traffic. hadoop hug yahoo hadoopsummit apache hadoopindiasummit hdfs technology big data #yahoohack #hyderabad #india yahoo! #yahoo yarn spark hive indiahadoop
HadoopãŒã‚¹ã‚±ãƒ¼ãƒ«ãƒ»ã‚¢ã‚¦ãƒˆã™ã‚‹ä»•çµ„ã¿
å‰å›žã®è¨˜äº‹ã§ã¯ã€HadoopãŒè†¨å¤§ãªãƒ‡ãƒ¼ã‚¿ã‚’ãƒãƒƒãƒå‡¦ç†ã™ã‚‹ãŸã‚ã®ã€Œã‚¤ãƒ³ãƒ•ãƒ©ã€ã¨ã—ã¦ã®æ€§è³ªã‚’å‚™ãˆã¦ã„ã‚‹ã“ã¨ã€æƒ…å ±çˆ†ç™ºæ™‚ä»£ã®æ–°ãŸãªã‚¤ãƒ³ãƒ•ãƒ©ã¨ã—ã¦æ™®åŠã—ã¤ã¤ã‚ã‚‹ã“ã¨ã‚’説明ã—ã¾ã—ãŸã€‚ãã®ä¸ã§ã€æƒ…å ±çˆ†ç™ºæ™‚ä»£ã«å¿…è¦ã¨ã•ã‚Œã‚‹ã‚¤ãƒ³ãƒ•ãƒ©ã¯ã€ã€Œã‚¹ã‚±ãƒ¼ãƒ«ãƒ»ã‚¢ã‚¦ãƒˆãŒå¯èƒ½ã§ã‚ã‚‹ã“ã¨ã€ã¨ã„ã†æ¡ä»¶ã‚’å‚™ãˆã¦ã„ãªã‘ã‚Œã°ãªã‚‰ãªã„ã“ã¨ã‚’示ã—ã¾ã—ãŸã€‚サーãƒãƒ¼ã®å°æ•°ã‚’増やã™ã“ã¨ã§å®¹æ˜“ã«ã‚·ã‚¹ãƒ†ãƒ ã®å‡¦ç†æ€§èƒ½ãŒå¢—ã‚„ã›ã‚‹ã“ã¨ã¯ã€Hadoopã®é‡è¦ãªç‰¹å¾´ã§ã™ã€‚今回ã¯ã€HadoopãŒã©ã®ã‚ˆã†ã«ã—ã¦ã‚¹ã‚±ãƒ¼ãƒ«ãƒ»ã‚¢ã‚¦ãƒˆã‚’å¯èƒ½ã«ã—ã¦ã„ã‚‹ã‹ã‚’ã€ã€Œåˆ†æ•£ãƒ•ã‚¡ã‚¤ãƒ«ãƒ»ã‚·ã‚¹ãƒ†ãƒ ã€ã¨ã€ŒMapReduceフレームワークã€ã®2ã¤ã®è¦³ç‚¹ã‹ã‚‰è§£èª¬ã—ã¾ã™ã€‚ スケール・アウトã¨ã¯ï¼Ÿ コンピュータ・システムを新ãŸã«æ§‹ç¯‰ã™ã‚‹ã¨ãã¯ã€å¿…ãšã€Œé‹ç”¨ã€ã®ã“ã¨ã‚’考ãˆã¦ãŠãå¿…è¦ãŒã‚ã‚Šã¾ã™ã€‚システム・トラブルãŒç™ºç”Ÿã—ãŸå ´åˆã®å¯¾å¿œç–を決ã‚ãŸã‚Šã€å°†æ¥ã®ä»•æ§˜å¤‰æ›´ã«å‚™ãˆã¦ãƒ—ãƒã‚°ãƒ©ãƒ ã«æ‹¡å¼µæ€§ã‚’æŒãŸã›ãŸã‚Š
Hadoopã¯ä¼æ¥ã®ãŸã‚ã®æ–°ãŸãªæƒ…å ±åˆ†æžãƒ—ラットフォームã¨ãªã‚‹ã€ã¨Cloudera
グーグルãŒå¤§è¦æ¨¡åˆ†æ•£ã‚·ã‚¹ãƒ†ãƒ ã®ãŸã‚ã«ç”¨ã„ã¦ã„ã‚‹MapReduceã¨ã„ã†æŠ€è¡“ã‚’ã€ã‚ªãƒ¼ãƒ—ンソースã¨ã—ã¦å®Ÿè£…ã—ãŸJavaベースã®ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã€ŒHadoopã€ã§ã™ã€‚ Hadoopã¯å½“åˆã€Yahoo!ã‚„Facebookã€Facebookã¨ã„ã£ãŸãƒãƒƒãƒˆä¼æ¥ãŒæ•°ãƒ†ãƒ©ãƒã‚¤ãƒˆã€ãƒšã‚¿ãƒã‚¤ãƒˆã«ãŠã‚ˆã¶å¤§è¦æ¨¡ãªãƒã‚°ãªã©ã‚’分æžã™ã‚‹ã®ã«åˆ©ç”¨ã—ã¦ã„ã¾ã—ãŸãŒã€ç¾åœ¨ã§ã¯VISAã‚„JP Morgan Chaseã€China Moblieãªã©ä¸€èˆ¬ã®ä¼æ¥ã§ã‚‚大è¦æ¨¡ãªãƒ‡ãƒ¼ã‚¿å‡¦ç†ã«Hadoopを用ã„ã¦ã„ã¾ã™ã€‚多ãã®å‡¦ç†ãŒãƒãƒƒãƒˆã§è¡Œã‚れるã«ã¤ã‚Œã€ã€ŒBig Dataã€ã¨å‘¼ã°ã‚Œã‚‹å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã¯å‡¦ç†ã®ãƒ‹ãƒ¼ã‚ºã¯ã•ã¾ã–ã¾ãªä¼æ¥ã«åºƒãŒã£ã¦ã„ã¾ã™ã€‚ Hadoopã¯æ–°ã—ã„データ分æžãƒ—ラットフォームã«ãªã‚‹ Hadoopã®å•†ç”¨ãƒ‡ã‚£ã‚¹ãƒˆãƒªãƒ“ューションをæä¾›ã™ã‚‹ã€ŒClouderaã€ã¯ã€Hadoopã‚’ã‚らゆるä¼æ¥ã€çµ„ç¹”ã®æƒ…å ±åˆ†æžãƒ—ラットフォームã«ã™ã‚‹ã¨ã„ã†ãƒ“ジョ
HMaster Japan: HBase: Java VM ã® GC ã¨ãƒ¡ãƒ¢ãƒªãƒ¼é–¢é€£ã®è¨å®š
2010å¹´6月6日日曜日 HBase: Java VM ã® GC ã¨ãƒ¡ãƒ¢ãƒªãƒ¼é–¢é€£ã®è¨å®š Question: Java VM ã®ã‚¬ãƒ™ãƒ¼ã‚¸ã‚³ãƒ¬ã‚¯ã‚·ãƒ§ãƒ³ï¼ˆGC）ã®æŒ™å‹•ãŒã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 性能ã«å½±éŸ¿ã‚’与ãˆãŸã‚Šã—ãªã„ã§ã—ょã†ã‹ï¼Ÿ Answer: フルGCã®ç™ºç”Ÿã‚„慢性的ãªãƒ¡ãƒ¢ãƒªãƒ¼ä¸è¶³ãªã©ã«ã‚ˆã‚Šã€HBase ãŒç¨¼å‹•ã—ã¦ã„ã‚‹ Java VM ãŒä¸€æ™‚åœæ¢ã™ã‚‹ã¨ã€DBæ“作ã®ãƒ¬ã‚¹ãƒãƒ³ã‚¹æ‚ªåŒ–ã«ã¤ãªãŒã‚Šã¾ã™ã€‚ã¾ãŸã€ä¸€æ™‚åœæ¢ã®æ™‚é–“ãŒæ•°å秒を超ãˆã‚‹ã¨ã€ãã®ãƒŽãƒ¼ãƒ‰ãŒ HBaseクラスターã‹ã‚‰åˆ‡ã‚Šé›¢ã•ã‚Œã‚‹ï¼ˆãƒŽãƒ¼ãƒ‰ãŒè‡ªä¸»çš„ã«ã‚·ãƒ£ãƒƒãƒˆãƒ€ã‚¦ãƒ³ã™ã‚‹ï¼‰ã“ã¨ã‚‚ã‚ã‚Šã¾ã™ã€‚ ã“れらã«ã¤ã„ã¦ã¯ã€ä»¥ä¸‹ã®æ–¹æ³•ã§äºˆé˜²ã§ãã¾ã™ã€‚ Java VM ã®ã‚¬ãƒ™ãƒ¼ã‚¸ã‚³ãƒ¬ã‚¯ã‚¿ã¨ã—ã¦ã€Sun Java 6 ã® CMS GC（コンカレント マーク＆スイープ GC）をé¸æŠžã—ã¾ã™ã€‚HBase 0.20 以é™ã§ã¯ã€CMS GC ã¯ãƒ‡ã‚£ãƒ•ã‚©ãƒ«ãƒˆã§é¸æŠžã•ã‚Œã¦ã„ã¾ã™ã®ã§ã€è¨å®šã®å¤‰
Hadoopを使ã„ã“ãªã™(1)
ã¾ãšã€ 1 ã®å…¥åŠ›ãƒ•ã‚¡ã‚¤ãƒ«ã‚’分割ã™ã‚‹æ–¹æ³•ã¯ã€InputFormatクラスã®ã€getSplits関数を上書ãã™ã‚‹ã“ã¨ã§ã€ã‚«ã‚¹ã‚¿ãƒžã‚¤ã‚ºã§ãã¾ã™ã€‚ ã¾ãŸã€ 3 ã®InputSplitã‹ã‚‰ã€Keyã¨Valueを抽出ã™ã‚‹å‡¦ç†ã‚‚ã€InputFormatクラスを通ã˜ã¦ã‚«ã‚¹ã‚¿ãƒžã‚¤ã‚ºã§ãã¾ã™ã€‚ InputFormatã®getRecordReader関数を通ã˜ã¦ã€RecordReaderクラスを生æˆã™ã‚‹ã®ã§ã™ãŒã€ã“ã‚Œã«ä»»æ„ã®RecordReaderクラスを指定ã™ã‚Œã°OKã§ã™ã€‚ 2 ã®Map処ç†ã§ã™ãŒã€ãƒ¦ãƒ¼ã‚¶ãŒæŒ‡å®šã—ãŸMapperクラスã®å‡¦ç†ã‚’実行ã—ã¾ã™ã€‚ Mapperクラスã¯ã€MapRunnerクラスを通ã˜ã¦ã€åˆæœŸåŒ–処ç†ã€map関数を繰り返ã™éŽç¨‹ã€çµ‚了処ç†ã¨ã„ã£ãŸä¸€é€£ã®æµã‚Œã‚’実行ã—ã¾ã™ã€‚ MapRunnerクラスをカスタマイズã™ã‚Œã°ã€ã“ã†ã—ãŸæµã‚Œã‚’制御ã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ 0.20.0ã‹ã‚‰ã®æ–°ã—ã„MapRed
Hadoopã‚’æ¥å‹™ã§ä½¿ã£ã¦ã¿ãŸè©± - クックパッド開発者ブãƒã‚°
8月ã«å…¥ç¤¾ã—ãŸä½ã€…木ã§ã™ã€‚ã“ã‚“ã«ã¡ã‚ï¼ å…¥ç¤¾ã—ã¦ã‹ã‚‰ã¯Hadoopを使ã†ã“ã¨ãŒå¤šãã€æ—¥ã€…ã€å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã¨æ ¼é—˜ã—ã¦ã„ã¾ã™ã€‚大変ã§ã¯ã‚ã‚Šã¾ã™ãŒã€å€‹äººã§ã¯ãªã‹ãªã‹è§¦ã‚‹ã“ã¨ãŒå‡ºæ¥ãªã„よã†ãªå¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã‚’触れるã®ã¯æ¥½ã—ã„ã§ã™ã€‚ ã•ã¦ã€Hadoopã¯æœ€è¿‘色々ãªã¨ã“ã‚ã§ä½¿ã‚れ始ã‚ã¦ãã¦ã„ã‚‹ã¨æ€ã†ã‚“ã§ã™ãŒã€å®Ÿéš›ã«åˆ©ç”¨ã—ã¦ã¿ã¦å›°ã£ãŸäº‹ã‚„tipsãªã©ã€å®Ÿè·µçš„ãªæƒ…å ±ã¯ã¾ã ã‚ã¾ã‚Šå…¬é–‹ã•ã‚Œã¦ã„ã¾ã›ã‚“。ãã®è¾ºã®æƒ…å ±ã‚’ã¿ã‚“ãªæ±‚ã‚ã¦ã„ã‚‹ã¯ãšâ€¦ï¼ï¼ ãã“ã§ã€åƒ•ãŒå®Ÿéš›ã«è§¦ã£ã¦ã¿ã¦å›°ã£ãŸäº‹ã‚„Hadoopを使ã†ä¸Šã§ãƒã‚¤ãƒ³ãƒˆã ã¨æ€ã£ãŸã“ã¨ãªã©ã‚’社内勉強会ã§ç™ºè¡¨ã—ãŸã®ã§å…¬é–‹ã—ã¦ã¿ã¾ã™ã€‚Hadoopを使ã£ã¦ã„る（使ã„ãŸã„ã¨æ€ã£ã¦ã„る）方ã®å‚考ã«ãªã‚Œã°å¹¸ã„ã§ã™ã€‚ [slideshare id=2711363&doc=20091214techblog-091213183529-phpapp02] Hadoopã®åˆ©ç”¨ã¯ã¾ã ã¾ã 試行錯誤ã®é€£ç¶š
ランã‚ング
ãŠçŸ¥ã‚‰ã›
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
United States
{{#tags}}- {{label}}
{{/tags}}