ã†ã‚‹ã†ç§’ã«ã‚ˆã‚‹java障害ã¨é€£å‹•ã—ã¦ç”Ÿã˜ãŸHDFSãƒ¡ã‚¿ãƒ‡ãƒ¼ã‚¿ç ´æã‹ã‚‰ã®å¾©å¸°æ‰‹é † - 生物物ç†è¨ˆç®—化å¦è€…ã®é››
※本記事ã§ã¯ã†ã‚‹ã†ç§’ã«ã‚ˆã‚‹javaã®ç•°å¸¸ã¨ã€ãã‚Œã«ä¼´ã£ã¦ç”Ÿã˜ãŸHadoop 0.21.0 HDFSã®ãƒ¡ã‚¿ãƒ‡ãƒ¼ã‚¿ç ´æã‹ã‚‰ã®å¾©æ—§æ‰‹é †ã‚’説明ã—ã¾ã™ã€‚ãªãŠã€æœ¬å¾©æ—§æ‰‹é †ã¯ç§ã®ç’°å¢ƒã§ä¸Šæ‰‹ãã„ã£ãŸã ã‘ã§ã‚ã‚Šã€ä»–ã®ç’°å¢ƒã§åŒæ§˜ã®æ‰‹é †ã‚’è¡Œã£ãŸã¨ã—ã¦ã‚‚復旧ã§ãã‚‹ä¿è¨¼ã¯ã‚ã‚Šã¾ã›ã‚“ã®ã§ã€ã”注æ„ãã ã•ã„。 昨日（2012/7/1）Hadoopクラスタã®ä¸€éƒ¨ãƒžã‚·ãƒ³ã§CPUè² è·ãŒçªç„¶MAXã«å¼µã‚Šä»˜ã„ã¦ã„ã‚‹ã“ã¨ã«æ°—付ãã¾ã—ãŸã€‚ 今日ã«ãªã£ã¦ã“ã®ç¾è±¡ã¯ã†ã‚‹ã†ç§’ã®ã‚ã¨ã«javaã«ç”Ÿã˜ãŸä¸å…·åˆã§ã‚ã‚‹ã“ã¨ãŒåˆ†ã‹ã‚Šã¾ã—ãŸï¼ˆå‚考：http://d.hatena.ne.jp/sh2/20120702ã€ã“ã®ãƒ–ãƒã‚°ã®è¨˜è¿°ã¨åŒæ§˜ã«javaã¨ksoftirqdプãƒã‚°ãƒ©ãƒ ãŒå¤§ããªCPUè² è·ã‚’å ã‚続ã‘ã¦ã„ã¾ã—ãŸï¼‰ã€‚ ã“ã®éšœå®³ãŒèµ·ãã¦ã„ãŸã®ã¯OSãŒfedora10, 13ã®ãƒžã‚·ãƒ³ç¾¤ã§ã€ä»–ã®ãƒžã‚·ãƒ³ã¯CentOSã§ã‚ã‚Šä¸å…·åˆç„¡ã動作ã—ã¦ã„ã¾ã—ãŸã€‚ 試行錯
Amazon EMR セミナーã®è¨˜éŒ² - 急ãŒã°å›žã‚Œã€é¸ã¶ãªã‚‰è¿‘é“
Amazon EMR セミナーã«è¡Œã£ã¦ããŸã®ã§ã€å€‹äººçš„ã«ã¾ã¨ã‚ã¦ãŠã http://kokucheese.com/event/index/34636/ 日時： 2012/5/18 14:00 – 17:00 ä¼šå ´ï¼š アマゾン目黒オフィス æ±äº¬éƒ½ç›®é»’区下目黒1-8-1アルコタワーアãƒãƒƒã‚¯ã‚¹16F メインスピーカーã¯ã€EMRã®Senior Product Manager ã® Adam Grayæ° å ´æ‰€ã¯ç›®é»’ã®AmazonJapanã®æœ¬ç¤¾ã€‚渋谷ã®æ±é‚¦ç”Ÿå‘½ãƒ“ルã®æ™‚ã¨ã¯å¤§é•ã„ã§ã€ãƒ“ル全ã¦ãŒAmazonã¨ã„ã†é™£å®¹ã€‚16Fã®ã‚»ãƒŸãƒŠãƒ¼ãƒ«ãƒ¼ãƒ ã¯ãŠãらã200åå‰å¾Œã¯ä½™è£•ã§å…¥ã‚Œã‚‹ã—ã£ã‹ã‚Šã—ãŸéƒ¨å±‹ã§ã€æ±äº¬ã§ã®AWSã®ã‚»ãƒŸãƒŠãƒ¼ã¯å¤§æŠµã¯ã“ã“ã§ã‚„ã£ã¦ã„ã‚‹ã“ã¨ãŒå¤šã„。 今回ã®ã‚»ãƒŸãƒŠãƒ¼ã¯ã©ã†ã‚„ら複数回やã£ãŸã‚ˆã†ã§ã€è‡ªåˆ†ã¯ã“ã®é‡‘曜日ã«ã€åŒã˜ä¼šç¤¾ã®ä»–ã®ãƒ¡ãƒ³ãƒãƒ¼ã¯ç¿Œæ—¥ã«å‘¼ã°ã‚ŒãŸã‚ˆã†ã 。パートナーå‘ã‘ã®ãƒ—ライベートセミナーã§ã€ã€Œ
ã€å…¬å¼ã€‘3.Hadoopã§åŸºå¹¹ãƒãƒƒãƒã‚’è¡Œã†ãŸã‚ã« - Asakusa Framework
ã€ãƒŽãƒ¼ãƒãƒ©ã‚¹ãƒ»ãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ã‚º ã®è©³ç´°ã¯ã“ã¡ã‚‰ã€‘ 　http://www.nautilus-technologies.com/ 　http://www.facebook.com/NautilusTechnologies 　https://twitter.com/#!/NAUTILUS_Tech ã€Asakusa Frameworkã®è©³ç´°ã¯ã“ã¡ã‚‰ã€‘ 　http://www.asakusafw.com/ 　https://twitter.com/#!/asakusa_hadoop ã€ã“ã®å‹•ç”»ã«ã¤ã„ã¦ã€‘ ã“ã®å‹•ç”»ã§ã¯ã€Hadoopã®é©ç”¨åŸºæº–ã‚„ã€ãƒãƒƒãƒå‡¦ç†åŸºç›¤ã¨ã—ã¦ã®Hadoopã«ã€Œä½•ãŒè¶³ã‚Šãªã„ã®ã‹ï¼Ÿã€ã€ãã—ã¦Hadoopã®è¶³ã‚Šãªã„ã¨ã“ã‚を補ã†Asakusa Frameworkã«ã¤ã„ã¦ã®è§£èª¬ã‚’ã—ã¦ã„ã¾ã™ã€‚ Hadoopã¯ä¿¡é ¼æ€§ã®é«˜ã„ã€ã‚¹ã‚±ãƒ¼ãƒ©ãƒ–ルãªåˆ†æ•£å‡¦ç†åŸºç›¤ã‚’æä¾›ã™ã‚‹
第1回EMR勉強会ã®ãƒ¡ãƒ¢ - ã²ã—ã ã¾ã®å¤‰æ›´å±¥æ´
ã²ã—ã ã¾ï¼¨ï¼°ã®æ›´æ–°å±¥æ´ã€‚ 主ã«ï¼´ï¼²ï¼°ï¼§ãƒªãƒ—レイã®å…ƒãƒã‚¿é›†ã€ãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚°æŠ€è¡“メモã¨è‡ªä½œã‚½ãƒ•ãƒˆã€å¥½ããªã‚²ãƒ¼ãƒ や音楽ã§ã™ã€‚ Amazon Elastic MapReduceã®å‹‰å¼·ä¼šã€Žç¬¬1回EMR勉強会（Hadoop on AWS）ã€ã«å‚åŠ ã—ã¾ã—ãŸã®ã§ã€ãã®ãƒ¡ãƒ¢ã§ã™ã€‚（Twitterã®ã‚¿ã‚°â†’#emrstudy_jpã€ä»–ã®äººã®ãƒ¡ãƒ¢â†’ãã‚ã®ã•ã‚“） ï¼ˆä¼šå ´ã®æœ€å¯„り駅ã¯ãƒ†ãƒ¬ã‚³ãƒ センター駅。ゆりã‹ã‚‚ã‚ã¯å›½éš›å±•ç¤ºå ´æ£é–€ä»¥å¤–ã§åˆã‚ã¦é™ã‚ŠãŸã‹ã‚‚ｗ） 最åˆã¯ã‚¯ãƒªã‚¨ãƒ¼ã‚·ãƒ§ãƒ³ãƒ©ã‚¤ãƒ³æ ªå¼ä¼šç¤¾ã®æŽã•ã‚“。 ã¾ãšAmazon Web Service（AWS）ã®ç°¡å˜ãªç´¹ä»‹ã¨ã—ã¦ã€AWSã¯Web系・æ¥å‹™ç³»ãƒ»Highパフォーマンス（並列）・BigDataç‰ã€è‰²ã€…ãªåˆ†é‡Žã§ä½¿ã‚ã‚Œã¦ã„る。 EMRã¯ã‚¯ãƒ©ã‚¦ãƒ‰åž‹Hadoopサービス。 プãƒã‚°ãƒ©ãƒ や入出力ファイル・ãƒã‚°ã¯S3ã«æ ¼ç´ã™ã‚‹ã€‚（Hiveã®ãƒ¡ã‚¿ãƒ‡ãƒ¼ã‚¿ã¯RDSã«ç½®ã） プãƒã‚°ãƒ©ãƒ ã¯St
"BigData"ã§ã¯ä½•ãŒå•é¡Œãªã®ã‹ï¼Ÿ - 急ãŒã°å›žã‚Œã€é¸ã¶ãªã‚‰è¿‘é“
â€ãƒ“ッグデータã§å¥‡è·¡ãŒèµ·ã“る†ã¯ã„ã©ã†ã‚‚。ã¾ãšã€å€‹äººçš„ã«ã¯æ¥½å¤©çš„ãªé€²æ©å²è¦³ã«ã¯ã€ã¾ã£ãŸã組ã—ãªã„。 従ã£ã¦ã€çªç„¶ã«æ–°æŠ€è¡“ãŒã§ãã¦ã€ãªã‚“ã‹å‡„ã„事ã«ãªã‚‹ã€ã¨ã„ã†ã®ã¯ã•ã‚‰ã«ã¾ã£ãŸãåŒæ„ã—ãªã„。ã™ã¹ã‹ã‚‰ãブレイクスルーã¯èª²é¡Œè§£æ±ºã«ã‚ˆã‚Šèµ·ã“ã‚‹ã¨æ€ã£ã¦ã„ã‚‹ã®ã§ã€å•é¡Œæ„è˜ã®ãªã„ã¨ã“ã‚ã«ã€ã“ã‚“ãªã‚‚ã®ã§ãã¾ã—ãŸçš„ãªç™ºæƒ³ã¯ã€åŸºæœ¬çš„ã«ãƒ—ラスã«ãªã‚‰ãªã„ã“ã¨ãŒå¤šã„ã¨æ€ã£ã¦ã„る。ç¾çŠ¶ã®ãƒ“ッグデータブームã¯2011å¹´ã®ç§‹å£ç¾åœ¨ã¯å®Œå…¨ã«ãƒã‚¤ãƒ—ã«ãªã£ã¦ãŠã‚Šã€ãƒãƒ–ルã¨è¨€ã£ã¦ã‚‚ã„ã„ã¨æ€ã†ã€‚å°è±¡ã¨ã—ã¦ã€åæ•°å¹´å‰ã®ãƒŠãƒŽãƒ†ã‚¯ãƒ»ãƒ–ームã«ä¼¼ã¦ã„る。 ã¨ã¯ã„ãˆã€éŽåº¦ã®æœŸå¾…ã¨ã„ã†å´é¢ã‚’除ã‘ã°ã€ãã‚Œãªã‚ŠåŠ¹æžœã‚‚ã‚る部分もã‚ã‚Šã€â€ãã“ã ã‘â€ã‚’見ã¦ã„ã‘ã°ãã‚Œãªã‚Šã«åŠ¹æžœã¯ã‚る（ã¨æ€ã†ï¼‰ã€‚大体ã«ãŠã„ã¦ã€ä»Šå¾Œã¯ä»¥ä¸‹ã®äºŒã¤ã®ãƒ¦ãƒ¼ã‚¹ã‚±ãƒ¼ã‚¹ãƒ»ã‚«ãƒ†ã‚´ãƒªãƒ¼ã«é›†ç´„ã•ã‚Œã‚‹ã¨æ€ã†ã€‚ã™ãªã‚ã¡ã€ãƒ“ッグデータã®æ‹ り所ã¯ã¾ãšã‚‚ã£ã¦ä»¥ä¸‹ã®ï¼’点ã 。 1 Webã®ãƒã‚°è§£æž ã¨ã„ã†ã‹
Hadoopソースコードリーディング第7回ã«å‚åŠ ã—ã¾ã—ãŸã€‚ | @johtani ã®æ—¥è¨˜
一定期間更新ãŒãªã„ãŸã‚広告を表示ã—ã¦ã„ã¾ã™
Hadoopã¯ãƒ«ã‚¤ãƒ¼ãƒ€ã®é…’å ´ - wyukawa's diary
昨日ã®æ·±å¤œã«æŸæ°è¬›å¸«ã«ã‚ˆã‚‹ã€ŒJavaエンジニアã®ãŸã‚ã®Hadoop入門〠ã®è©±é¡ŒãŒãƒã‚¿ã«ãªã£ã¦ã¾ã—ãŸãŒã€åƒ•ã¯Javaエンジニアã¨ã—ã¦ã‚ャリアをç©ã‚“ã§ãã¦Hadoopã«å…¥é–€ã—ã¾ã—ãŸã€‚ã‚リ Hadoopã¯Javaã§æ›¸ã‹ã‚Œã¦ã„ã‚‹ã®ã§Javaエンジニアã®ã‚ャリアã®ã²ã¨ã¤ã¨ã—ã¦ã„ã„ã¨æ€ã„ã¾ã™ã‘ã©ã。 当åˆã¯Hiveã§ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã‚’ã—ã¦ã„ã¾ã—ãŸãŒã†ã¾ãHiveQLãŒæ›¸ã‘ãšã€DBエンジニアã‹ã‚‰Hadooperã«ãªã£ãŸäººã«SQLやデータモデルã«ã¤ã„ã¦æ•™ãˆã¦ã‚‚らã£ãŸã‚Šã—ã¦ã¾ã—ãŸã€‚ 最近ã¯ã‚¤ãƒ³ãƒ•ãƒ©ã¾ã‚りをやるよã†ã«ãªã£ã¦ã€HeartBeatã‚ã‹ã‚“ãーーーーã£ã¦ãªã£ã¦ã€ã‚¤ãƒ³ãƒ•ãƒ©ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã‹ã‚‰Hadooperã«ãªã£ãŸäººã«ã„ã‚ã„ã‚æ•™ãˆã¦ã‚‚らã£ãŸã‚Šã—ã¦ã¾ã—ãŸã€‚ ã‹ã‚ˆã†ã«Hadoopを使ã†å ´åˆã¯ã„ã‚ã„ã‚ãªã‚¹ã‚ルãŒæ±‚ã‚られã¾ã™ã€‚ ã¾ãšã‚¤ãƒ³ãƒ•ãƒ©æ§‹ç¯‰ã€é‹ç”¨ãªã‚‰ã–ã£ã¨ä¸‹è¨˜ã®ã‚ˆã†ãªä½œæ¥ãŒå¿…è¦ã«ãªã‚‹ã§ã—ょã†ã€‚ ãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢é¸å®š ãƒãƒ¼
Heroku Adds Automated Support for Hadoop with Help of Stealth Startup | Services Angle
Heroku has added automated support for Hadoop through Treasure-Data, a startup that is still in “stealth,†mode, according to its Web site. Heroku currently offers Hadoop support with Amazon Elastic MapReduce as a manual set up. But Treasure-Data adds something more. It helps remove the complexity that comes with managing Hadoop clusters. According to the Heroku Web site: Through Treasure Data Had
アトムã¨ãƒ“ット〜Hadoopã§ãƒãƒƒãƒãŒé€Ÿããªã£ã¦ä½•ãŒã†ã‚Œã—ã„ã‹ï¼Ÿ - 急ãŒã°å›žã‚Œã€é¸ã¶ãªã‚‰è¿‘é“
ã¾ãšã€ç¤¾å†…ã®ã‚ªãƒ¼ãƒ—ニングã§èª¬æ˜Žã—ãŸå†…容ã ã£ãŸã‚Šã™ã‚‹ã®ã§ã™ãŒã€ä¸€å›žã¾ã¨ã‚ã¦ãŠããŸã„ã®ã§ã€‚ æ–ã£ã¦ãŠãã¨ã“ã®è¨€ã„æ–¹ã¯ãƒ‹ã‚³ãƒ©ã‚¹ãƒ»ãƒã‚°ãƒãƒãƒ³ãƒ†ã‚£ã‹ã‚‰å–ã£ã¦ã„ã¾ã™ã€‚å½¼ã®ä¸»å¼µã¯æ˜Žç¢ºã§ã„ã¾ã¾ã§ã‚¢ãƒˆãƒ （物質）的ãªå˜åœ¨ã ã£ãŸã‚‚ã®ãŒã€ãƒ“ット（電åæƒ…å ±ï¼‰çš„ãªå˜åœ¨ã«å‡Œé§•ã•ã‚Œã‚‹ã€ã„や大ãã姿を変ãˆã¦ã‚‹ã¨ã„ã†æŒ‡æ‘˜ã§ã”ã–ã„ã¾ã™ã。Being digitalãŒå‡ºç‰ˆã•ã‚ŒãŸã®ãŒ95å¹´ãªã®ã§ã€ã‚‚ã†15年以上ã«ãªã‚‹ã‚ã‘ã§ã™ã。ã¾ã€ã–ã£ãã‚Šã™ãŽã¦ã‚¢ãƒ¬ã§ã™ãŒã€‚・・ワーディングã¨ã—ã¦ä¾¿åˆ©ãªã®ã§åˆ©ç”¨ã•ã›ã¦ã‚‚らã„ã¾ã™ã€‚ ã¾ãšã€ä¸»é¡Œã¯ä½•ã‹ã¨ã„ã†ã¨ã€ã€ŒãƒãƒƒãƒãŒé€Ÿããªã£ã¦ä½•ãŒã†ã‚Œã—ã„ã®ã‹ï¼Ÿã€ã¨ã„ã†å•é¡Œã®èƒŒæ™¯ã‚’ã¡ã‚ƒã‚“ã¨èª¬æ˜Žã—ã¦ãŠããŸã„。もã¨ã‚‚ã¨Hadoopã§ä½•ãŒã—ãŸã‹ã£ãŸã®ã‹ã¨ã„ã†ã¨ã€ãã‚‚ãã‚‚ãƒãƒƒãƒã®ã‚¹ãƒ”ードを上ã’ãŸã‹ã£ãŸã€‚ãã‚‚ãã‚‚RDBMSã§ã¯ã¾ãé™ç•ŒãŒã‚ã£ãŸã¨ã„ã†ã®ãŒäº‹ã®èµ·ã“り。んã§åˆ†æ•£å‡¦ç†ã‚’è¡Œã†ã¨IOãŒåˆ†æ•£ã•ã‚Œã‚‹ã®ã§ã€ã‚¹ãƒ”ードãŒã‚ãŒã‚Šã¾ã™ã
HPE Ezmeral Learn On-Demand
WELCOME TO HPE E Z M E R A L LEARN ON-DEMAND Click a tile and start your journey
Hadoopã®ãƒˆãƒ©ãƒ–ルシューティングã«é–¢ã™ã‚‹è³‡æ–™ãŒã‚ã£ãŸã®ã§ã‚ã‚‚ã£ã¨ã - wyukawa's diary
Hadoop World 2011ã§Clouderaã®äººãŒç™ºè¡¨ã—ãŸè³‡æ–™ã‚’見ã¤ã‘ãŸã®ã§ã¯ã£ã¦ãŠã。 Hadoop Troubleshooting 101 - Kate Ting - Cloudera View more presentations from Cloudera, Inc. Clouderaã®ã‚µãƒãƒ¼ãƒˆãƒãƒ¼ãƒ ã®æ¥µæ„ãŒè©°ã‚è¾¼ã¾ã‚Œã¦ã„るよã†ã 。 内容的ã«ã¯Hadoop徹底入門ã®10ç« ã®ã€Œæ€§èƒ½å‘上ã®ãŸã‚ã®ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã€ã¨è‹¥å¹²ã‹ã¶ã£ã¦ã„ã‚‹ãŒå‚考ã«ãªã‚Šã¾ã™ã€‚ io.sort.mb < mapred.child.java.opts　ã¨ã™ã‚‹ã“ã¨ã¨ã‹ï¼ˆã¦ã„ã†ã‹mapred.child.java.optsを増やã™ã“ã¨ã¯ã‚ã‚‹ã‹ã‚‚ã—ã‚Œãªã„ãŒio.sort.mbã£ã¦ã„ã˜ã‚‹ã‚‚ã‚“ãªã®ã‹ãªï¼‰ã€ãƒ—ãƒã‚»ã‚¹æ•°ã‚„ファイルディスクリプタã„ã˜ã‚Œã¨ã‹ã€map出力ã®ã‚¹ãƒ¬ãƒƒãƒ‰ã„ã˜ã‚Œã¨ã‹ã€Jetty 6.1.26ã¯ä½¿ã†ãªã¨ã‹ã€ç››ã‚Š
Mapreduce2.0 - 急ãŒã°å›žã‚Œã€é¸ã¶ãªã‚‰è¿‘é“
次世代Hadoopã®é–‹ç™ºãŒé€²ã‚“ã§ã„る。ç¾çŠ¶ã®æŽ¨ç§»ã§ã¯ã€å°‘ãªãã¨ã‚‚分散クラウドã§ã®ã€ŒOSSインフラã€ã¨ã—ã¦ã¯HadoopãŒæœ€æœ‰åŠ›å€™è£œã§ã‚ã‚‹ã“ã¨ã¯é–“é•ã„ãªã„。クラウド上ã§ã®åˆ†æ•£å‡¦ç†åŸºç›¤ã§ã®æŠ€è¡“競争ã§ã¯Googleã‚„AmazonãŒç›¸å½“抜ãã‚“ã§ã„ã‚‹ç¾åœ¨ã€ãã‚Œã«å¯¾æŠ—ã—ã†ã‚‹å¯èƒ½æ€§ãŒã‚ã‚‹OSSã¯Hadoopã®æ½®æµã®å»¶é•·ç·šä¸Šã«ã—ã‹è€ƒãˆã‚‰ã‚Œãªã„。ãã®å½¢ã¨ã—ã¦Hadoop-MapReduce2.0ãŒã‚るよã†ã«è¦‹ãˆã‚‹ã€‚ç¾åœ¨ã®çŠ¶æ…‹ã§è‡ªåˆ†ãªã‚Šã®æ¬¡ä¸–代Hadoopã®ç†è§£ã‚’ã¾ã¨ã‚ã¦ãŠã。基本的ã«å…¨éƒ¨ã¯è¦‹åˆ‡ã‚Œã¦ã„ãªã„ã®ã§ã€ãã®ã‚ãŸã‚Šã¯ã‚ã—ã‹ã‚‰ãšã€‚基本的ã«æ¬¡ä¸–代Hadoopã®ä»•çµ„ã¿ã¯å¤§ãã二ã¤ã®è¦ç´ ã‹ã‚‰ãªã‚‹ ç¾åœ¨ã®ã¨ã“ã‚ã®æŸ±ã¯HDFSã¨Mapreduce2.0ã®äºŒã¤ã 。 ã¾ãšMapReduce。ã“ã‚Œã¯å¾“æ¥ã®ã€ŒMapReduceã€ã¨ã„ã†ã‚‚ã®ã‹ã‚‰ã¯ã»ã©é ã„。むã—ã‚「任æ„ã€ã®åˆ†æ•£å‡¦ç†å®Ÿè¡Œãƒ•ãƒ¬ãƒ¼ãƒ ワークã«ãŸã„ã—ã¦ã€é©åˆ‡ãªãƒªã‚½ãƒ¼ã‚¹ã‚’
第14回 データマイニング+WEB å‹‰å¼·ä¼šï¼ æ±äº¬( #TokyoWebmining 14th)ï¼å¤§è¦æ¨¡åˆ†æ•£ãƒ‡ãƒ¼ã‚¿ãƒžã‚¤ãƒ‹ãƒ³ã‚° ç¥ã‚Šï¼ を開催ã—ã¾ã—㟠- hamadakoichi blog
2011/10/16 "第14回 データマイニング+WEB å‹‰å¼·ä¼šï¼ æ±äº¬"を開催ã—ã¾ã—ãŸã€‚ 第14回 データマイニング+WEB å‹‰å¼·ä¼šï¼ æ±äº¬ ( #TokyoWebmining 14th)−大è¦æ¨¡åˆ†æ•£ãƒ‡ãƒ¼ã‚¿ãƒžã‚¤ãƒ‹ãƒ³ã‚° ç¥ã‚Šâˆ’: Eventbrite Google グループ ä¼šå ´æä¾›ã—é‹å–¶ã‚’手ä¼ã£ã¦ä¸‹ã•ã£ãŸ ãƒ‹ãƒ•ãƒ†ã‚£æ ªå¼ä¼šç¤¾ ã®ã¿ãªã•ã‚“ã€ã©ã†ã‚‚ã‚ã‚ŠãŒã¨ã†ã”ã–ã„ã¾ã—ãŸã€‚ç´ æ•µãªãƒˆãƒ¼ã‚¯ã‚’æä¾›ã—ã¦ãã‚ŒãŸè¬›å¸«ãƒ¡ãƒ³ãƒãƒ¼ã«æ„Ÿè¬ã—ã¾ã™ã€‚ä¼šå ´å‚åŠ ã€USTREAMå‚åŠ ã¨ã‚‚ã«å¤šãã®æ–¹ã€…ã®å‚åŠ ã‚’å¬‰ã—ãæ€ã£ã¦ã„ã¾ã™ã€‚ å‚åŠ è€…ID・ãƒãƒƒã‚¯ã‚°ãƒ©ã‚¦ãƒ³ãƒ‰ä¸€è¦§ï¼š 以下ã€å…¨è¬›å¸«è³‡æ–™ã€é–¢é€£è³‡æ–™ã€ãƒ„イートã¾ã¨ã‚ã§ã™ã€‚ AGENDA： â– Opening Talk： O1.「データマイニング+WEBå‹‰å¼·ä¼šï¼ æ±äº¬ ã«ã¤ã„ã¦ã€(10分) 講師 ： id:hamadakoichi [Twitter:@hamadakoichi] オープニングト
ç¾å®Ÿã®ã‚¢ãƒ—リケーションã¯ã“ã‚Œã‹ã‚‰ã‚‚å‹æ‰‹ã«ç–Žçµåˆã«ãªã£ã¦ã„ã ---ãã—ã¦map-reduceã“ããŒä¸¦åˆ—処ç†ã®çŽ‹é“ - 最尤日記
ã¾ã‚以下ã®æ–‡ç« をダシã«ã™ã‚‹å¿…è¦ã¯ç„¡ã„内容ã«ãªã£ã¡ã‚ƒã£ãŸã‘ã©ï¼š ã•ã¦Hadoop関連ã®æŸã‚»ãƒŸãƒŠãƒ¼ã¸ã®å‚åŠ è€…ãŒ900人を越ãˆãŸãã†ã§ã™ã€‚個人的ã«ã¯Hadoopã‚’å¿…è¦ã¨ã—ã¦ã„る人ã€ã¾ãŸã¯Hadoopã«é–¢ã‚る人ã¨ã„ã†ã®ã¯ãã‚Œã»ã©å¤šããªã„ã¨æ€ã†ã®ã§ã™ãŒã。Hadoopã®ã‚‚ã¨ã¨ãªã£ãŸMapReduceã¯è‰¯ãも悪ãã‚‚ã€ãã‚ã‚ã¦ç™–ãŒå¼·ã„分散処ç†æ‰‹æ³•ã€‚ãれをベースã«ã—ãŸHadoopも当然ã€æ±Žç”¨çš„ãªã‚·ã‚¹ãƒ†ãƒ ã§ã¯ãªãã€ãƒ‡ãƒ¼ã‚¿ç‰¹æ€§ã‚„処ç†å†…容をé¸ã³ã¾ã™ã€‚ã©ã¡ã‚‰ã‹ã¨ã„ã†ã¨æ—¢å˜ã®ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã«å•é¡Œã‚’抱ãˆã¦ã„ã‚‹æ–¹ã§ã€ãã®ä¸ã§å•é¡Œè§£æ±ºã«HadoopãŒãŸã¾ãŸã¾å‘ã„ã¦ã„ã‚‹æ–¹ã«ãªã‚‹ã¨æ€ã†ã®ã§ã™ãŒã。 ãã‚Œã¨Hadoopを使ã†ã¨åˆ†æ•£ã‚·ã‚¹ãƒ†ãƒ ã¯æ§˜ã€…ãªé›£ã—ã„å•é¡Œã‚’解決ã™ã‚‹ã¨æ€ã£ã¦ã„ã‚‹æ–¹ãŒå¤šã„ã®ã‚‚æ°—ã«ãªã‚Šã¾ã™ã€‚分散システムã®ã¯é›£ã—ã„å•é¡Œã®ã»ã¨ã‚“ã©ã¯ã€å…ƒã‚’辿れã°é€šä¿¡é…延ã«èµ·å› ã—ã¾ã™ã€‚ã¤ã¾ã‚Šã‚³ãƒ³ãƒ”ュータ間ã§æƒ…å ±å…±æœ‰ã™ã‚‹å ´åˆã€ä»–ã®ã‚³ãƒ³ãƒ”ュータã«
Hadoop Conferene Japan Fall 2011 - 急ãŒã°å›žã‚Œã€é¸ã¶ãªã‚‰è¿‘é“
Hadoop Conference Japan Fall 2011㌠終ã‚ã£ãŸã®ã§ã€ãã®å°è±¡ã‚’記録ã—ã¦ãŠããŸã„。 詳細ã¯ã€æ—¥çµŒã®ä¸ç”°ã•ã‚“ã®è¨˜äº‹ãŒ 今ã®ã¨ã“ã‚一番的確ãªæ„Ÿã˜ã€‚ HadoopカンファレンスãŒé–‹å‚¬ã€æœ¬æ ¼æ™®åŠã‚’見æ®ãˆãŸæ”¯æ´ã‚µãƒ¼ãƒ“スや先進事例ãŒå……実 | 日経 xTECH（クãƒã‚¹ãƒ†ãƒƒã‚¯ï¼‰ 内容ã¯ã“ã®æ–¹ã®è¨˜äº‹ãŒã™ã’ーã®ã§ Attending Hadoop Conference Japan 2011 Fall in Shinbashi, Bellesalle Shiodome! #hcj11f - #garagekidztweetz ã¾ãŸåˆ¥ã®æ–¹ã®ãƒ–ãƒã‚°è¨˜è¿°ã‚‚ã‚ã‚‹ã®ã§ã€å‚考ã«ã€‚ http://d.hatena.ne.jp/smg-engineer/20110926/1317067540 ã¾ãšã¯ã€ä¸»å‚¬ã—ã¦é ‚ã„ãŸãƒªã‚¯ãƒ«ãƒ¼ãƒˆç¤¾ã®æ–¹ã€…㫠厚ã御礼申ã—上ã’ãŸã„。本当ã«ã‚ã‚ŠãŒã¨ã†ã”ã–ã„ã¾ã—ãŸã€‚ 凄ã大変
Hadoopã®ç¾åœ¨ - 急ãŒã°å›žã‚Œã€é¸ã¶ãªã‚‰è¿‘é“
ã‚‚ã¨ã‚‚ã¨Hadoopã¯æ³¨ç›®ã®ä»•çµ„ã¿ã§ã‚ã£ãŸã‘ã© ã“ã“ã«æ¥ã¦ã•ã‚‰ã«å¤§ããªæµã‚Œã«ãªã‚ã†ã¨ã—ã¦ã‚‹ã€‚ å„種ã®ã‚¤ãƒ™ãƒ³ãƒˆã‚„記事ã«ã—ã¦ã‚‚大型ã®ã‚‚ã®ãŒå¤šã 一種ã®Hype状態ã«ãªã£ã¦ãã¦ã„る。 Hadoop Japan Conference 2011 Fall Hadoop Conference Japan 2011 Fall Tickets, Mon, Sep 26, 2011 at 10:00 AM | Eventbrite 登録人数ã§1000人を超ãˆã¦ã„る。 Cloud Computing World Tokyo 2011 ＆ Next Generation Data Center2011 Apache Hadoop: A New Paradigm for Data Processing http://www.idg.co.jp/expo/ngdc/2011/index.html ã“ã®ã‚¤ãƒ™ãƒ³ãƒˆãŒã‚ã£
Asakusa Frameworkメモ(Hishidama's Asakusa Framework Memo)
データモデル データをHiveã§èªã‚€ [/2014-12-13] データをPigã§èªã‚€Â [2011-08-15] テã‚ストファイルを扱ㆠ[2015-12-05] シーケンスファイルを扱ㆠ[2012-07-11] ãƒã‚¤ãƒŠãƒªãƒ¼ãƒ•ã‚¡ã‚¤ãƒ«ã‚’扱ㆠ[2012-07-10] データモデルドライãƒãƒ¼ [/2015-07-25] テストドライãƒãƒ¼ [2011-08-27] dmdlファイルã®èªã¿è¾¼ã¿ [2018-11-25] サンプル Oracleシーケンス [/2018-11-01] Asakusa Frameworkã®æ¦‚è¦ AsakusaFWã¯ã€ï¼ˆè¤‡æ•°ã®ãƒžã‚·ãƒ³ã§ï¼‰åˆ†æ•£ã—ã¦å‡¦ç†ã‚’è¡Œã†ãƒãƒƒãƒã‚¢ãƒ—リケーションを開発ã™ã‚‹ç‚ºã®ãƒ•ãƒ¬ãƒ¼ãƒ ワーク。[/2015-07-04] AsakusaFWã®ç‹¬è‡ªè¨€èªžï¼ˆAsakusa DSL）ã§å‡¦ç†ã‚’記述ã—ã€ã‚³ãƒ³ãƒ‘イルã™ã‚‹ã“ã¨ã§ã€å®Ÿè¡Œç”¨ã®ãƒã‚¤ãƒŠãƒªãƒ¼ã‚’生æˆã™ã‚‹ã€‚ AsakusaF
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
日立ã€ãƒãƒƒãƒå‡¦ç†ã‚’高速化ã™ã‚‹ã€Œã‹ã‚“ãŸã‚“Hadoopソリューション for ãƒãƒƒãƒå‡¦ç†ã€
Loading...
Amazon.co.jp: Hadoop MapReduce デザインパターン ―MapReduceã«ã‚ˆã‚‹å¤§è¦æ¨¡ãƒ†ã‚ストデータ処ç†: Jimmy Lin (è‘—), Chris Dyer (è‘—), 神林飛志 (監修), 野æ‘直之 (監修), 玉å·ç«œå¸ (翻訳): 本
{{#tags}}- {{label}}
{{/tags}}