Amazon Elastic Map Reduce (EMR) beyond basics -- Sujee Maniyam
Created_at :Jan 2011 Amazon Elastic Map Reduce (EMR) Beyond Basics The code for all this is at GitHub: https://github.com/sujee/amazon-emr-beyond-basics Environment I run these commands from an linux EC2 instance. It doesn't have to be a 'powerful' instance, as it doesn't do much work. So an M1.SMALL type is fine. The following needs to be installed ec2 tools We use these tools to launch
Amazon Elastic MapReduce – madoverload
Amazon Web Servicesã«ã¯ã€Amazon Elastic MapReduce(EMR)ã¨ã„ã†ã‚µãƒ¼ãƒ“スもã‚ã‚Šã€Hadoopジョブを簡å˜ã«èµ°ã‚‰ã›ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚Hadoopトレーニングã§ã¯ã€CDHを使ã£ã¦æ¼”ç¿’ã‚’è¡Œãªã„ã¾ã—ãŸãŒã€ã‚·ãƒ³ã‚°ãƒ«ãƒŽãƒ¼ãƒ‰ã ã£ãŸãŸã‚分散処ç†ã®é†é†å‘³ãŒãªã‹ãªã‹å‘³ã‚ãˆã¾ã›ã‚“。 家ã«è¤‡æ•°ãƒŽãƒ¼ãƒ‰ã®ãƒžã‚·ãƒ³ãŒãªãã¦ã‚‚ç°¡å˜ã«è©¦ã™ã“ã¨ãŒã§ãã‚‹EMRを試ã—ã¦ã¿ã¾ã—ãŸã€‚ 準備 EMRã®åˆ©ç”¨å‰ã«ã„ãã¤ã‹ã®æº–備をã—ã¾ã™ã€‚詳細ã¯ã€Getting Started Guide ã‚’å‚ç…§ã—ã¦ãã ã•ã„。 EMRã®åˆ©ç”¨é–‹å§‹ EMRを利用ã™ã‚‹å‰ã«ã€EMRã®åˆ©ç”¨ç”³è«‹ã‚’è¡Œã†å¿…è¦ãŒã‚ã‚Šã¾ã™ã€‚ã“ã‚Œã¯ã€ãƒžãƒãƒ¼ã‚¸ãƒ¡ãƒ³ãƒˆã‚³ãƒ³ã‚½ãƒ¼ãƒ«ã§Elastic MapReduceタブをクリックã—ãŸéš›ã«ã€åˆ©ç”¨ç”³è«‹æ¸ˆã¿ã§ãªã‘ã‚Œã°ç”³è«‹ãƒšãƒ¼ã‚¸ã¸ã®ãƒªãƒ³ã‚¯ãŒå‡ºã‚‹ã®ã§ã€ãã“ã‹ã‚‰ç”³è«‹ã™ã‚Œã°OKã§ã™ã€‚ EMRコマンドラインクライアントã®ãƒ€ã‚¦ãƒ³
Svengali - クラウド時代ã®åˆ†æ•£ãƒžã‚·ãƒ³æ“作ライブラリ プãƒã‚¸ã‚§ã‚¯ãƒˆæ—¥æœ¬èªžãƒˆãƒƒãƒ—ページ - OSDN
クラウド時代ã®åˆ†æ•£ãƒžã‚·ãƒ³æ“作ライブラリ。Rubyã§ã™ã€‚ Keywords: 分散システム, サーãƒ, è¨å®š, è¨å®šãƒ•ã‚¡ã‚¤ãƒ«, 自動化, デプãƒã‚¤, é…布, クラスタ, サーãƒç®¡ç†, 分散環境, é¢å€’, リモート, シェルスクリプト, SSH, distributed, distributed resource, GXP, Capistrano, Archer, Punc, Func, Rake, SSH, Ruby, Capistrano, dsh, pdsh, Megascript, (perl)+ システムè¦ä»¶ [ Requirements ] -Ruby interpereter (ruby command) -RubyGems packages: "net-ssh" and "net-sftp"
クラウド時代ã®åˆ†æ•£ãƒžã‚·ãƒ³æ“作ライブラリ Svengali - Ryoã®é–‹ç™ºæ—¥è¨˜
ã”無沙汰ã—ã¦ã¾ã™ã€‚ryo_gridã§ã™ã€‚ å‰ã€…ã‹ã‚‰å…¬é–‹ã™ã‚‹ã¨è¨€ã£ã¦ã„ãŸãƒ©ã‚¤ãƒ–ラリ http://ryo.hayamin.com/idea/twit/6056*1 http://d.hatena.ne.jp/kanbayashi/20091020/p1 http://d.hatena.ne.jp/kanbayashi/20091217/p1 を公開ã—ã¾ã™ã€‚ コンテンツ Svengaliã¨ã¯ 何ãŒã§ãる㋠サンプルコード インストール ドã‚ュメント プラグイン プラットフォームSvengaliã¨ã„ã†åå‰ã«ã¤ã„㦠ã“ã‚Œã‹ã‚‰ ã•ã‚‰ã«ãã®å…ˆã¸ ã”è¦æœ›ã¯ã‚³ãƒãƒ© ã‚ーワード å¿…è¦ãªæ–¹ãŒã€ã“ã“ã«è¾¿ã‚Šç€ã‘るよã†ã«ã—ã¨ãã¾ã—ょã†ã€‚ 分散システム, サーãƒ, è¨å®š, è¨å®šãƒ•ã‚¡ã‚¤ãƒ«, 自動化, デプãƒã‚¤, é…布, クラスタ, サーãƒç®¡ç†, 分散環境, é¢å€’, リモート, SSH, distributed, di
Chukanã«ãƒ¦ãƒ‹ãƒƒãƒˆãƒ†ã‚¹ãƒˆãƒ•ãƒ¬ãƒ¼ãƒ ワークを統åˆã—ã¦ã¿ã‚‹ - sdyuki-devel
perlç•Œã§ã‚ˆã使ã‚ã‚Œã¦ã„るらã—ã„proveã§å®Ÿè¡Œã§ãるユニットテストフレームワークを書ã„ã¦Chukanã«çµ±åˆã—ã¦ã¿ãŸã€‚ç†ç”±ã¯ï¼Ÿã¨èžã‹ã‚Œã‚Œã° Chukan::Test ãŒä½œã‚ŠãŸã‹ã£ãŸï¼Rubyçš„ã«ã¯RSpecを使ã£ã¦ãŠã‘ã°ã„ã„æ°—ãŒã™ã‚‹ã€‚ 見ãŸç›®çš„ã«ã¯perlã®Test::Baseã®Ruby移æ¤ç‰ˆã€ã‹ã‚‚知れãªã„。 分散システムã®ãƒ†ã‚¹ãƒˆã§æ›¸ããŸããªã‚‹æ‰‹ç¶šãåž‹ã®ãƒ†ã‚¹ãƒˆã¨ã€ãƒ‡ãƒ¼ã‚¿é§†å‹•åž‹ã®ãƒ†ã‚¹ãƒˆã‚’æ··ãœã¦æ›¸ã‘る。 テストケースã®ä¾‹ï¼š #!/usr/bin/env ruby require 'chukan' include Chukan::Test # テスト開始 test "load mylibrary" do # test "テストå" do require "mylibrary" # 真を返ã™ãƒã‚ºã®ãƒ–ãƒãƒƒã‚¯ end # end run {|b| # __END__ 以下ã®YAMLドã‚ュメントを繰り
code.mfac.jp - Trac
SVN Repository svn ls http://code.mfac.jp/svn/ 公開ã—ã¦ã‚‹ã‚‚ã® Archer MFã§ä½¿ã£ã¦ã„ã‚‹ã€ãƒ‡ãƒ—ãƒã‚¤ãƒ„ール。 http://www.slideshare.net/tokuhirom/archer/1 オレオレCPAN MFã®ç¤¾å“¡ãŒä½œã£ãŸCPANモジュール。 オレオレJavaScript? MFã®ç¤¾å“¡ãŒä½œã£ãŸJavaScriptライブラリ。 MoFege? Sledgeã®ãƒ©ãƒƒãƒ‘ー。 EggPlan? MoFegeã¤ã‹ã£ã¦ä½œã£ãŸã€ã‚»ã‚¯ã‚·ãƒ¼ã‚¿ã‚¹ã‚¯ç®¡ç†ã‚·ã‚¹ãƒ†ãƒ 。 未公開ã®ãƒ¢ã‚¸ãƒ¥ãƒ¼ãƒ«ã«ä¾å˜ã—ã¦ã„ã‚‹ã®ã§å‹•ãã¾ã›ã‚“ ;-) MadEye? サーãƒç›£è¦–ç³» Moxy モãƒã‚¤ãƒ«ã‚µã‚¤ãƒˆé–‹ç™ºç”¨ãƒ—ãƒã‚ã‚· UserAgentå½è£…ã‚„ã€HTMLã®å¹…ã®ãƒªã‚µã‚¤ã‚ºã‚’è¡Œãªã£ã¦ãれる BackPaper? no paste! 公開予定ãªã‚‚㮠発表資料ã¨ã‹ ãŠã™ã™ã‚ ãŠã™ã™ã‚CPAN
Archer » SlideShare
1. Archer Automating Application Deployment Tool Tokuhiro Matsuno@Shibuya.pm Mobile Factory, Inc. 2007-02-14(Wed) Developer’s Summit 2. 自己紹介 æ¾é‡Žå¾³å¤§ (id:tokuhirom) http://d.hatena.ne.jp/tokuhirom/ Mobile Factory, Inc. 　システム開発部所属。 ä½“é‡ 55kg 身長 159cm WAF 大好ã。 主㫠Sledge. Soozy Conference 　やりã¾ã™
Lucie - Trac
クラスタ管ç†ãƒ„ール Lucie Lucie 㯠Linux クラスタ用ã®è‡ªå‹•ç®¡ç†ãƒ„ールã§ã™ã€‚以下ã®ç‰¹å¾´ãŒã‚ã‚Šã¾ã™ã€‚ ã•ã¾ã–ã¾ãªã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢æ§‹æˆã®ã‚¯ãƒ©ã‚¹ã‚¿ãƒŽãƒ¼ãƒ‰ã‚’統一的ã«ç®¡ç†ã§ãã¾ã™ システム管ç†ã®è©³ç´°ã‚’éš è”½ã—ã¾ã™ã€‚シェルスクリプトãªã©ã®ç‰¹åˆ¥ãªçŸ¥è˜ã‚„スã‚ルを必è¦ã¨ã—ã¾ã›ã‚“ æ•°åå°è¦æ¨¡ã®ã‚¯ãƒ©ã‚¹ã‚¿ã‹ã‚‰ã€æ•°åƒå°è¦æ¨¡ã®å¤§è¦æ¨¡åˆ†æ•£ã‚¯ãƒ©ã‚¹ã‚¿ã¾ã§ã‚’ã‚«ãƒãƒ¼ã—ã¾ã™ 一度è¨å®šã‚’è¡Œã†ã¨ã€è¨å®šãŒå£Šã‚ŒãŸå ´åˆã«ã¯è‡ªå‹•çš„ã«å¾©æ—§ã—ã¾ã™ Ajax ã«ã‚ˆã‚‹ Web インタフェースを備ãˆã¦ã„ã¾ã™ GPL2 ライセンスã«ã‚ˆã‚‹ãƒ•ãƒªãƒ¼ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã§ã™ クイックスタート 1. ダウンãƒãƒ¼ãƒ‰ Lucie ã®æœ€æ–°ç‰ˆã‚’ダウンãƒãƒ¼ãƒ‰ã—ã€å±•é–‹ã—ã¦ãã ã•ã„。 2. Lucie ã‚’èµ·å‹• % ./lucie start 3. インストーラã¨ãƒŽãƒ¼ãƒ‰ã‚’è¿½åŠ % ./installer add <name> -u <url> % ./node add <no
楽天ã€Rubyベースã®åˆ†æ•£KVS「ROMAã€ã®ã‚½ãƒ¼ã‚¹ã‚’公開 | gihyo.jp
10月24æ—¥ã€æ¥½å¤©æ ªå¼ä¼šç¤¾æœ¬ç¤¾ã«ã¦é–‹å‚¬ã•ã‚ŒãŸæ¥½å¤©ãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ã‚«ãƒ³ãƒ•ã‚¡ãƒ¬ãƒ³ã‚¹2009内ã«ã¦ã€æ¥½å¤©ãŒç‹¬è‡ªé–‹ç™ºã™ã‚‹Rubyベースã®åˆ†æ•£Key Value Store「ROMAã€ã®å…¬é–‹ãŒç™ºè¡¨ã•ã‚ŒãŸã€‚ ROMAã¯ã€github上ã«ã¦GPLv3ã®ã‚‚ã¨ã‚ªãƒ¼ãƒ—ンソースã«ã¦å…¬é–‹ã•ã‚Œã¦ã„る。 ROMAã¯ã™ã§ã«æ¥½å¤©ã®ã‚µãƒ¼ãƒ“ス「楽天トラベルã€ã®ä¸€éƒ¨æ©Ÿèƒ½ã«ã¦åˆ©ç”¨ã•ã‚Œã¦ãŠã‚Šã€ä»Šå¾Œã¯ROMA自体ã®ãƒ–ラッシュアップãªã©ã‚’目的ã«ã€ã‚ªãƒ¼ãƒ—ンソースã¨ã—ã¦å…¬é–‹ã•ã‚ŒãŸã€‚ ROMAã«ã¤ã„ã¦ç™ºè¡¨ã‚’è¡Œã£ãŸæ¥½å¤©æŠ€è¡“ç ”ç©¶æ‰€ã‚·ãƒ‹ã‚¢ã‚µã‚¤ã‚¨ãƒ³ãƒ†ã‚£ã‚¹ãƒˆè¥¿æ¾¤ç„¡æˆ‘æ°ã€‚åŒæ°ã®ãƒ—レゼンテーションã¯ç«‹ã¡è¦‹ãŒå‡ºã‚‹ã»ã©æº€å¸ã ã£ãŸã€‚ã¾ãŸã€é€”ä¸æ¥½å¤©æŠ€è¡“ç ”ç©¶æ‰€ãƒ•ã‚§ãƒãƒ¼ã¾ã¤ã‚‚ã¨ã‚†ãã²ã‚æ°ãŒç™»å ´ã™ã‚‹ãªã©ã€ä¼šå ´ãŒç››ã‚Šä¸ŠãŒã£ãŸã€‚ ROMA URL：http://github.com/roma/roma/
分散システムã®ãƒ†ã‚¹ãƒˆã‚’自動化ã™ã‚‹ - Blog by Sadayuki Furuhashi
複数ã®ãƒ—ãƒã‚»ã‚¹ãŒç›¸äº’ã«é€£æºã—ã¦å‹•ãシステムã®ãƒ†ã‚¹ãƒˆã‚’自動化ã—ãŸã„。 普通ã«æ›¸ãã¨ãƒ—ãƒã‚»ã‚¹ã‚’èµ·å‹•ã—ãŸã‚ã¨çµ‚了ã™ã‚‹ã¾ã§å¾…ã£ã¦ã—ã¾ã†ã®ã§ã€è¤‡æ•°ã®ãƒ—ãƒã‚»ã‚¹ã‚’åŒæ™‚ã«èµ·å‹•ã§ããªãã¦å›°ã‚Šã¾ã™ã€‚&を付ã‘ã¦ãƒãƒƒã‚¯ã‚°ãƒ©ã‚¦ãƒ³ãƒ‰ã§èµ·å‹•ã•ã›ã‚‹ã¨ã€å¾Œã§çµ‚了ã•ã›ãŸã¨ãã€ã¾ãš ps aux | grepã—ã¦PIDを調ã¹ã¦ã€ã‚·ã‚°ãƒŠãƒ«ã‚’飛ã°ã—ã¦ã€ã—ã°ã‚‰ããƒãƒ¼ãƒªãƒ³ã‚°ã—ã¦æœ¬å½“ã«çµ‚了ã™ã‚‹ã¾ã§å¾…ã¤ã€ãªã‚“ã¦ã“ã¨ã«ãªã£ã¦é¢å€’ã§ã™ã€‚ ãã‚Œã‹ã‚‰èµ·å‹•ã—ã¦ã‹ã‚‰ã—ã°ã‚‰ãã¯åˆæœŸåŒ–処ç†ãŒèµ°ã£ã¦ã„ã‚‹ã®ã§ã€æ¨™æº–出力ã«ã€Œstartedã€ã¨è¡¨ç¤ºã•ã‚Œã‚‹ã¾ã§å¾…ã¡ãŸã‹ã£ãŸã‚Šã—ã¾ã™ã€‚ ãã®ã‚ãŸã‚Šã‚’ã†ã¾ã扱ã†ãŸã‚ã®ãƒ©ã‚¤ãƒ–ラリを書ã„ã¦ã¿ã¾ã—ãŸã€‚↓ã“ã‚“ãªæ„Ÿã˜ã§è‡ªå‹•åŒ–ã§ãã¾ã™ã€‚ #!/usr/bin/env ruby require 'chukan' include Chukan srv = spawn("server -arg1 -arg2") # 'server' コマ
8ç« Rinda
I like Ruby. (07-05) 借り物人生 (07-05) 通販生活 (07-05) I like iPod (05-24) RWiki (05-14) Download (05-14) ソフトウェア・シンãƒã‚¸ã‚¦ãƒ 2003 (04-28) ruby-amazonã§AmazonWebService (04-16) DI ary (04-05) KoyaãªTropy (03-29) Rindaã¯åˆ†æ•£å‡¦ç†ã‚·ã‚¹ãƒ†ãƒ Lindaã®tuple spaceã®Rubyã«ã‚ˆã‚‹å®Ÿè£…ã§ã™ Lindaã§ã¯ã‚¿ãƒ—ルã¨ã‚¿ãƒ—ル空間ã®äºŒã¤ã®æ¦‚念ãŒã‚ã‚Šã¾ã™ã€‚ タスクã¯ã‚¿ãƒ—ルをタプル空間ã¸æ›¸ã込んã り〠タプル空間ã‹ã‚‰ã‚¿ãƒ—ルをå–り出ã—ãŸã‚Šã™ã‚‹ã“ã¨ã§é€šä¿¡ã‚’è¡Œãªã„ã¾ã™ã€‚ Lindaã®ãƒ¢ãƒ‡ãƒ«ã¯ãã‚ã‚ã¦å˜ç´”ã§ã™ãŒã€ 複雑ãªãƒ—ãƒã‚»ã‚¹é–“通信を容易ã«è¨˜è¿°ã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ ã“ã®ç« ã§ã¯Lindaã®Rubyã«ã‚ˆã‚‹å®Ÿè£…ã§ã‚ã‚‹Rinda
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
ConfigureNodes – Lucie
Linux/クラスタ/lucie - PukiWiki
{{#tags}}- {{label}}
{{/tags}}