ChordアルゴリズムによるDHT入門

Feb 19, 2011113 likes32,425 views

今回はDHTを実現するアルゴリズムである「Chord」の細かい解説スライドを作成しました。（掲載URL： http://did2.blog64.fc2.com/blog-entry-347.html ） Chordの説明はたくさん書かれています。もちろん、それらと同じように書いたのではほとんど意味がないと思うので、論文を読んでもすぐには分からない全体像から、どこが重要か、どの点によってメリットが生まれているかなどに注目しつつ、飲み込みやすいストーリーになるように注意しました。なおかつ、出来るだけ論文に沿うように気を付けてみました。

GTC 2021に登壇した際の資料となります。 https://www.nvidia.com/en-us/gtc/catalog/?linkId=100000039037143&search=S31217# Yahoo! JAPANでは、機械学習/ディープラーニング向けのAI Platformをオンプレミスで構築し、社内のサイエンティストとサービス開発者に広く利用されています。従来、社内における、GPUなどの計算リソース活用は非効率であり、エンジニアにとってGPUを含めた機械学習環境の構築・運用、開発のコストも非常に高いものでした。そこで、AI Platformの提供により、計算リソースの有効利用を促進し、なおかつ、利用者にとってより最適な実行環境の実現を進めています。本資料では、Kubernetes、NVIDIA GPU、Mellanox NICなどを用いて構成されるAI Platformについて、インフラレイヤーの説明からプラットフォームの全体構成、提供機能、実際の運用で直面した問題の事例について紹介します。

分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11Sadayuki Furuhashi

Dockerfile を書くためのベストプラクティス解説編Masahito Zembutsu

オンプレML基盤on Kubernetes パネルディスカッションYahoo!デベロッパーネットワーク

Consistent hashpaulowniaceae

分散システムについて語らせてくれKumazaki Hiroki

Marp TutorialRui Watanabe

Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55Preferred Networks

アジャイルな見積りと計画づくり勉強会Arata Fujimura

DockerコンテナでGitを使うKazuhiro Suga

トランザクション入門 Kumazaki Hiroki

分散トレーシング技術について（Open tracingやjaeger）NTT Communications Technology Development

ヤフー発のメッセージキュー「Pulsar」のご紹介Yahoo!デベロッパーネットワーク

マイクロにしすぎた結果がこれだよ！mosa siru

This document summarizes a microservices meetup hosted by @mosa_siru. Key points include: 1. @mosa_siru is an engineer at DeNA and CTO of Gunosy. 2. The meetup covered Gunosy's architecture with over 45 GitHub repositories, 30 stacks, 10 Go APIs, and 10 Python batch processes using AWS services like Kinesis, Lambda, SQS and API Gateway. 3. Challenges discussed were managing 30 microservices, ensuring API latency below 50ms across availability zones, and handling 10 requests per second with nginx load balancing across 20 servers.

O/Rマッパーによるトラブルを未然に防ぐkwatch

Apache Avro vs Protocol BuffersSeiya Mizuno

その Pod 突然落ちても大丈夫ですか！？（OCHaCafe5 #5 実験！カオスエンジニアリング発表資料）NTT DATA Technology & Innovation

PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜Preferred Networks

PFNは，「現実世界を計算可能にする」をVisionとして，膨大な計算量を必要とするシミュレーションや深層学習などの計算ワークロードを実行するためのオンプレML基盤を持っています．この取り組みについて、「使いやすい環境」、「リソースの効率的かつフェアな利用」、「信頼性・運用省力化」の観点から紹介します。本イベント「オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜」では、オンプレミスの Kubernetes クラスタ上に構築された機械学習基盤を持つ PFN とヤフーのエンジニアが自社での取り組みについて語り尽くします！イベントサイト: https://ml-kubernetes.connpass.com/event/239859/

45分間で「ユーザー中心のものづくり」ができるまで詰め込むYoshiki Hayama

データセンターネットワークでのPrometheus活用事例Yahoo!デベロッパーネットワーク

続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2Preferred Networks

PFN は、「現実世界を計算可能にする」を Vision として，膨大な計算量を必要とするシミュレーションや深層学習などの計算ワークロードを実行するためのオンプレ ML 基盤を持っています。この発表では、「オンプレクラスタの概要」と最近のトピックとして「新しく構築した「MN-2b」」、「Pod のリソース要求量の最適化を助けるしくみ」、「Kubernetes クラスタのアップグレード」についてお話します。本イベント「オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜」では、オンプレミスの Kubernetes クラスタ上に構築された機械学習基盤を持つ PFN とヤフーのエンジニアが自社での取り組みについて語り尽くします！イベントサイト: https://ml-kubernetes.connpass.com/event/255797/

Union find(素集合データ構造)AtCoder Inc.

ソーシャルゲームのためのデータベース設計Yoshinori Matsunobu

Introduction to DHT with ChordHiroya Nagao

SymphonyHiroya Nagao

More Related Content

What's hot (20)

オンプレML基盤on Kubernetes パネルディスカッションYahoo!デベロッパーネットワーク

Consistent hashpaulowniaceae

分散システムについて語らせてくれKumazaki Hiroki

Marp TutorialRui Watanabe

Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55Preferred Networks

アジャイルな見積りと計画づくり勉強会Arata Fujimura

DockerコンテナでGitを使うKazuhiro Suga

トランザクション入門 Kumazaki Hiroki

分散トレーシング技術について（Open tracingやjaeger）NTT Communications Technology Development

ヤフー発のメッセージキュー「Pulsar」のご紹介Yahoo!デベロッパーネットワーク

マイクロにしすぎた結果がこれだよ！mosa siru

O/Rマッパーによるトラブルを未然に防ぐkwatch

Apache Avro vs Protocol BuffersSeiya Mizuno

その Pod 突然落ちても大丈夫ですか！？（OCHaCafe5 #5 実験！カオスエンジニアリング発表資料）NTT DATA Technology & Innovation

PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜Preferred Networks

45分間で「ユーザー中心のものづくり」ができるまで詰め込むYoshiki Hayama

データセンターネットワークでのPrometheus活用事例Yahoo!デベロッパーネットワーク

続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2Preferred Networks

Union find(素集合データ構造)AtCoder Inc.

ソーシャルゲームのためのデータベース設計Yoshinori Matsunobu

オンプレML基盤on Kubernetes パネルディスカッションYahoo!デベロッパーネットワーク

Consistent hashpaulowniaceae

分散システムについて語らせてくれKumazaki Hiroki

Marp TutorialRui Watanabe

Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55Preferred Networks

アジャイルな見積りと計画づくり勉強会Arata Fujimura

DockerコンテナでGitを使うKazuhiro Suga

トランザクション入門 Kumazaki Hiroki

分散トレーシング技術について（Open tracingやjaeger）NTT Communications Technology Development

ヤフー発のメッセージキュー「Pulsar」のご紹介Yahoo!デベロッパーネットワーク

マイクロにしすぎた結果がこれだよ！mosa siru

O/Rマッパーによるトラブルを未然に防ぐkwatch

Apache Avro vs Protocol BuffersSeiya Mizuno

その Pod 突然落ちても大丈夫ですか！？（OCHaCafe5 #5 実験！カオスエンジニアリング発表資料）NTT DATA Technology & Innovation

PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜Preferred Networks

45分間で「ユーザー中心のものづくり」ができるまで詰め込むYoshiki Hayama

データセンターネットワークでのPrometheus活用事例Yahoo!デベロッパーネットワーク

続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2Preferred Networks

Union find(素集合データ構造)AtCoder Inc.

ソーシャルゲームのためのデータベース設計Yoshinori Matsunobu

Viewers also liked (7)

Introduction to DHT with ChordHiroya Nagao

SymphonyHiroya Nagao

Async deepdive before de:codeKouji Matsui

プログラミングコンテストでのデータ構造 2　～平衡二分探索木編～Takuya Akiba

これからの「async/await」の話をしようKouji Matsui

async/awaitダークサイド is 何Kouji Matsui

continuatioN LinkingKouji Matsui

Introduction to DHT with ChordHiroya Nagao

SymphonyHiroya Nagao

Async deepdive before de:codeKouji Matsui

プログラミングコンテストでのデータ構造 2　～平衡二分探索木編～Takuya Akiba

これからの「async/await」の話をしようKouji Matsui

async/awaitダークサイド is 何Kouji Matsui

continuatioN LinkingKouji Matsui

More from Hiroya Nagao (19)

Microsoft PowerPoint Web App アップロードテストスライドHiroya Nagao

20111111 NS研究会 [奨励講演] 柔軟な経路表を中心とする構造化オーバレイ理論の一検討Hiroya Nagao

Sensor and Overlay WS5Hiroya Nagao

20111004 修士論文中間発表Hiroya Nagao

GFRT-Chord (IEEE P2P 2011 Poster)Hiroya Nagao

FRT-Chord (IEEE P2P 2011 Poster)Hiroya Nagao

A 3D Visualization System for Structured Overlays (IEEE P2P 2011 Poster)Hiroya Nagao

IEEE P2P 2011 Flexible Routing TablesHiroya Nagao

This document discusses flexible routing tables (FRT), a new approach for designing routing algorithms in overlay networks. FRT defines a total order on routing tables based on an identifier assigned to each entry. This allows routing tables to dynamically adjust while maintaining the invariant of the total order. The document outlines the key procedures of FRT, including entry learning and filtering, and evaluates its scientific and engineering impacts. Examples are given of how FRT has been applied to develop new routing algorithms for Chord and XOR-based overlays. In conclusion, FRT provides a unified framework for routing in both full-mesh and multi-hop overlay networks.