分散システムã«ã¤ã„ã¦èªžã‚‰ã›ã¦ãã‚ŒNTT Tech Conference #2 ã«ã¦è©±ã—ãŸè³‡æ–™ 時間ãŒè¶³ã‚Šãªã‹ã£ãŸã®ã§å…¨éƒ¨ã¯è©±ã›ãªã‹ã£ãŸã€‚Read less
The Amazon Builders' Library
ã€æ¯Žæœˆæ›´æ–°ãƒ»æ—¥æœ¬ã® AWS エンジニアãŒã‚¯ãƒ©ã‚¦ãƒ‰è§£èª¬ã€‘ åˆå¿ƒè€…å‘ã‘解説ã€æœ€æ–°ã®ã‚¯ãƒ©ã‚¦ãƒ‰ãƒã‚¤ãƒ†ã‚£ãƒ–ãªé–‹ç™ºæ‰‹æ³•ãƒ»åˆ©ç”¨ã‚·ãƒ¼ãƒ³åˆ¥ãƒãƒ³ã‚ºã‚ªãƒ³ã‚’å¦ã¶ »
Distributed systems for fun and profit
Availability is in some sense a much wider concept than uptime, since the availability of a service can also be affected by, say, a network outage or the company owning the service going out of business (which would be a factor which is not really relevant to fault tolerance but would still influence the availability of the system). But without knowing every single specific aspect of the system, t
並列データベースシステムã®æ¦‚念ã¨åŽŸç†
3. 講義内容 ï® åºè«– - 並列データベースã®å‰ã« ï® ä¸¦åˆ—å‡¦ç†ã®åŸºç¤Ž ï® ï® ä¸¦åˆ—å‡¦ç†ã®Terminology 並列計算機アーã‚テクãƒãƒ£ ï® ä¸¦åˆ—ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã®ã‚¢ãƒ¼ã‚テクãƒãƒ£ ï® ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹å‡¦ç†ã®ä¸¦åˆ—化 ï® çµåˆå‡¦ç†ã®é«˜é€ŸåŒ– ï® ï® ï® ï® ä¸¦åˆ—ãƒãƒƒã‚·ãƒ¥çµåˆ 並列ソート パーティショニング手法 多é‡çµåˆã‚„計算機間ã®ãƒ‡ãƒ¼ã‚¿äº¤æ›ã§ç™ºç”Ÿã™ã‚‹å•é¡Œ ï® MapReduceã«ã‚ˆã‚‹é–¢ä¿‚演算ã®ä¸¦åˆ—å‡¦ç† 3 4. データベース開発ã®æµã‚Œ ï® Coddã®è«–æ–‡: 1970å¹´ ï® ï® ï® ï® System Rã‚„Ingres: 70年代ä¸ç›¤ Oracle, IBM DB2, Ingres: 80年代åºç›¤ 並列データベースã®éš†ç››: 80å¹´ä»£å¾ŒåŠ ï® ï® A Relational Model of Data for Large Shared Data Banks, Communications of ACM 商用
Apache Sparkã«ãŠã‘るメモリ - アプリケーションをè½ã¨ã•ãªã„メモリè¨è¨ˆæ‰‹æ³• -
- Apache Spark is an open-source cluster computing framework for large-scale data processing. It was originally developed at the University of California, Berkeley in 2009 and is used for distributed tasks like data mining, streaming and machine learning. - Spark utilizes in-memory computing to optimize performance. It keeps data in memory across tasks to allow for faster analytics compared to dis
分散システムã€æœ¬å½“ã«ã€Œæ£ã—ãã€é–‹ç™ºã§ãã¾ã™ã‹ï¼Ÿ #JTF2018 / July Tech Festa 2018
July Tech Festa 2018 ã§ä½¿ç”¨ã—ãŸã‚¹ãƒ©ã‚¤ãƒ‰ã§ã™ã€‚二相コミットを例ã¨ã—ã¦ã€åˆ†æ•£ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã®æ¤œè¨¼ã«ãƒ¢ãƒ‡ãƒ«æ¤œæŸ»ã‚’使用ã™ã‚‹æ‰‹æ³•ã«ã¤ã„ã¦è§£èª¬ã—ã¦ã„ã¾ã™ã€‚ã¾ãŸã€ä»£è¡¨çš„ãªãƒ¢ãƒ‡ãƒ«æ¤œæŸ»ãƒ„ールã§ã‚ã‚‹ SPINã€TLA+ã€P ã«ã¤ã„ã¦ã€åŒã˜ã‚·ã‚¹ãƒ†ãƒ ã‚’å„ツールã§è¨˜è¿°ã—ã¦ã¿ã‚‹ã“ã¨ã§ãã®ç‰¹å®šã®é•ã„ã«ã¤ã„ã¦å¦ã³ã¾â€¦
分散システムã«ã¤ã„ã¦èªžã‚‹ã¨ãã«æˆ‘々ã®èªžã‚‹ã“㨠― 分散システムã«ã¾ã¤ã‚ã‚‹é‡è¦ãªæ¦‚念ã«ã¤ã„㦠| POSTD
分散システムã«ã¤ã„ã¦ã¯ã€ã‚‚ã†éšåˆ†ã¨å‰ã‹ã‚‰å¦ã³ãŸã„ã¨æ€ã£ã¦ã„ã¾ã—ãŸã€‚ãŸã ã€ãã‚Œã¯ä¸€åº¦é¦–ã‚’çªã£è¾¼ã‚“ã ら最後ã€ã‚´ãƒ¼ãƒ«ã®ãªã„è¿·è·¯ã«è¿·ã„込むよã†ãªã‚‚ã®ãªã®ã§ã™ã€‚ã©ã“ã¾ã§ã‚‚続ã„ã¦ã„るウサギã®ç©´ã®ã‚ˆã†ãªã‚‚ã®ã§ã™ã€‚分散システムã«é–¢ã™ã‚‹æ–‡çŒ®ã¯æ˜Ÿã®æ•°ã»ã©å˜åœ¨ã—ã¾ã™ã€‚様々ãªå¤§å¦ã‹ã‚‰ãŸãã•ã‚“ã®è«–æ–‡ãŒç™ºè¡¨ã•ã‚Œã¦ã„ã‚‹ã°ã‹ã‚Šã§ãªãã€è†¨å¤§ãªæ•°ã®æ›¸ç±ã‚‚ã‚ã‚‹ã®ã§ã™ã€‚ç§ã®ã‚ˆã†ãªå…¨ãã®åˆå¿ƒè€…ã«ã¯ã€ã©ã®è«–文をèªã‚“ã らã„ã„ã®ã‹ã€ã©ã®æ›¸ç±ã‚’è²·ã£ãŸã‚‰ã„ã„ã®ã‹ã€è¦‹å½“ã‚‚ã¤ãã¾ã›ã‚“。 ãã‚“ãªã¨ãã€ä¸€éƒ¨ã®ãƒ–ãƒã‚¬ãƒ¼ãŒã€ 分散システムエンジニア （ãã‚ŒãŒã©ã†ã„ã†æ„味ã§ã‚れ）ã«ãªã‚‹ãªã‚‰çŸ¥ã£ã¦ãŠãã¹ãè«–æ–‡ã¨ã„ã†ã‚‚ã®ã‚’推奨ã—ã¦ã„ã‚‹ã®ã‚’見ã¤ã‘ã¾ã—ãŸã€‚ãã®ä¸€éƒ¨ã‚’紹介ã—ã¾ã—ょã†ã€‚ FLP , Zab , Time, Clocks and the Ordering of Events in a Distributed Systems , Viewstamped
Hadoopã¯ã©ã®ã‚ˆã†ã«å‹•ãã®ã‹ ─並列・分散システム技術ã‹ã‚‰èªã¿è§£ãHadoop処ç†ç³»ã®è¨è¨ˆã¨å®Ÿè£… 記事一覧 | gihyo.jp
第21回Sparkã®è¨è¨ˆã¨å®Ÿè£…ï¼»2］～Sparkã«ãŠã‘るデータ共有ã®ä»•çµ„ã¿ã¨è€éšœå®³æ€§ã®å®Ÿç¾æ–¹æ³• 猿田浩輔，山田浩之 2016-06-08
分散プãƒã‚°ãƒ©ãƒŸãƒ³ã‚°ãƒ¢ãƒ‡ãƒ«ãŠã‚ˆã³ãƒ‡ã‚¶ã‚¤ãƒ³ãƒ‘ターンã®è€ƒå¯Ÿ ãã®3 - Software Transactional Memo
昨日ã«å¼•ã続ã„ã¦åˆ†æ•£ã‚·ã‚¹ãƒ†ãƒ ã®ãƒ‡ã‚¶ã‚¤ãƒ³ãƒ‘ターンã«ã¤ã„ã¦æ›¸ã„ã¦ã„ããŸã„。 ã ãŒãれ以å‰ã«æ•…障モデルã«é–¢ã™ã‚‹å‰æを忘れã¦ã¯ãªã‚‰ãªã„。人ã«ã‚ˆã£ã¦æ§˜ã€…ãªæ–¹é‡ãŒã‚ã‚‹ãŒã€å€‹äººçš„ã«ã¯åˆ†æ•£ã‚·ã‚¹ãƒ†ãƒ ã®ä¸–ç•Œã«ãŠã„ã¦æ„è˜ã—ãªãã¦ã¯ãªã‚‰ãªã„故障モデルã¯4ã¤ã ã¨è€ƒãˆã¦ã„る。僕ã¯å‰å›žã®ãƒ–ãƒã‚°ã«æ›¸ã„㟠Replication ã®æœ¬ã‚’ベースã«æ›¸ã„ã¦ãŠã‚Šã€å°‘ã—言葉é£ã„や定義ãŒä»–ã¨ã‚„ã‚„é•ã†ç‚¹ã¯è¨±ã—ã¦æ¬²ã—ã„。ã¾ãŸã€é€šä¿¡ã®è„±è½ãƒ»é…延ã¨ã¯ãƒ¬ã‚¤ãƒ¤ãƒ¼ãŒç•°ãªã‚‹è°è«–ã§ã‚る。 故障モデルã®åˆ†é¡ž æ•…éšœãŒèµ·ããªã„モデル ã“ã‚Œã¯æ•…éšœãŒèµ·ããªã„世界を仮定ã™ã‚‹ãƒ¢ãƒ‡ãƒ«ã§ã‚る。ã“れ自体ã¯ãƒ—ãƒãƒ€ã‚¯ã‚·ãƒ§ãƒ³ã«ãã®ã¾ã¾æŠ•å…¥ã§ãã‚‹ã‚‚ã®ã§ã¯ãªã„。ã ãŒã“ã®æ•…障モデルを想定ã—ã¦ã‚‚解ã‘ãªã„å•é¡Œã¯æ•…éšœãŒç™ºç”Ÿã™ã‚‹çŠ¶æ³ã§ã¯çµ¶å¯¾è§£ã‘ãªã„事ãŒæ–言ã§ããŸã‚Šã€åˆæ„プãƒãƒˆã‚³ãƒ«ãŒæ£ã—ã„ã‹ã‚’è°è«–ã™ã‚‹åœŸå°ã¨ãªã£ãŸã‚Šã€æ§˜ã€…ãªå®Ÿç”¨çš„ãªã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ や分散システムã®åœŸå°ã¨ãªã‚‹ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ãŒç”Ÿã¾ã‚Œã‚‹åœŸå£Œ
技術書をèªã‚€èªã‚€è©æ¬º - kuenishi's blog
ã“ã®æ‰‹ã®ã€Œä¿ºã¯ä»Šã‹ã‚‰ã“れをèªã‚“ã§ãƒã‚°ã‚’残ã™ãœãƒ¼ï¼ã€çš„宣言ã¯éŽåŽ»ã«ä½•åº¦ã‹ã‚„ã£ã¦å½“然失敗ã—ã¦ããŸã®ã§ãã‚“ãªã«æœŸå¾…ã—ãªã„ã§é ‚ããŸã„。 Principles of Distributed Database Systems ã“ã‚Œã¯å¾¡å¾’町ã¨å乗るトランザクションãŠã˜ã•ã‚“ãŒä¸»å°Žã—ã¦åƒ•ã‚‚便乗ã•ã›ã¦ã„ãŸã ã„ã¦ã„る本。分散データベースã®æ´å²ã‚’ANSIã®é ƒã‹ã‚‰ã¡ã‚‡ã„ã¡ã‚‡ã„触れãªãŒã‚‰ã€ã©ã†ã„ã†é¢¨ã«æœ€é©ãªã‚¯ã‚¨ãƒªã‚’実行ã§ãã‚‹ã‹ã«ãƒ•ã‚©ãƒ¼ã‚«ã‚¹ã—ã¦ã„ã‚‹æ„Ÿã˜ã®æœ¬ã€‚SQLã¨ã‹ã‚¯ã‚¨ãƒªãƒ—ランニングã¨ã‹æœ€é©é…ç½®ã¨ã‹é›†åˆã®åˆ†å‰²ã¨ã‹ãã†ã„ã†è©±ãŒå¤šãã€CAP定ç†ã¨ã‹ãƒˆãƒ©ãƒ³ã‚¶ã‚¯ã‚·ãƒ§ãƒ³ã¨ã‹ã¯ã‚ã¾ã‚Šå‡ºã¦ã“ãªã„。途ä¸ã¾ã§ã—ã‹èªã‚“ã§ãªã„ã®ã§ãã‚“ãªå°è±¡ã ã‘ã©ã€ä»Šå¾Œã©ã†ãªã‚‹ã‹ãªâ€¦ï¼Ÿï¼ 860p Principles of Distributed Database Systems 作者: M. Tamer Oezsu,Patrick Valduriez出
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
GitHub - PlatformLab/RAMCloud: **No Longer Maintained** Official RAMCloud repo
GitHub - theanalyst/awesome-distributed-systems: A curated list to learn about distributed systems
Reddit - Dive into anything
http://heather.cs.ucdavis.edu/parprocbook
{{#tags}}- {{label}}
{{/tags}}