リアルタイムサーバー 〜Erlang/OTPで作るPubSubサーバー〜
Download as pptx, pdf28 likes16,967 views
第5回 ゲームサーバ勉強会 で発表した リアルタイムサーバー〜Erlang/OTPで作るPubSubサーバー〜 の資料です。 ArkPS Server としてオープンソース化予定。
![user/room 8
message/user/sec 0.2
waittime[
ms] 5000
rooms 100 1000 2000 3000 3500 3750
(想定) users 800 8000 16000 24000 28000 30000
(想定)
message/sec 1280 12800 25600 38400 44800 48000
(実測)
message/sec 1270 12783 25560 38328 44787 21054
(Server)CPU [%] 66.5 360.4 404.7 560.9 635.8 444.4
(Server)RAM [%] 0.6 2.4 3.7 6.2 7.2 16.5
RTT Med [ms] 1 2 5 12 19 34
RTT Avg [ms] 14 11 12 14 27 1260
RTT Max [ms] 44 49 75 356 536 62798
End to End Med
[ms] 1 3 8 18 39 460
End to End Avg
[ms] 2 12 13 21 50 3017
End to End Max
[ms] 747 738 754 1003 1315 100979](https://image.slidesharecdn.com/201606185slideshare-160619070041/85/Erlang-OTP-PubSub-74-320.jpg)
![user/room 8
message/user/sec 1
waittime[
ms] 1000
rooms 100 400 800 900 1000
(想定) users 800 3200 6400 7200 8000
(想定)
message/sec 6400 25600 51200 57600 64000
(実測)
message/sec 6360 25527 48195 53240 25154
(Server)CPU [%] 275.8 618.3 709.3 774.7 766.7
(Server)RAM [%] 0.5 1.1 2.7 3 11.2
RTT Med [ms] 1 1 5 12 5
RTT Avg [ms] 10 7 24 40 494
RTT Max [ms] 45 48 491 1100 34295
End to End Med
[ms] 2 11 36 80 310
End to End Avg
[ms] 10 13 54 120 970
End to End Max
[ms] 554 550 981 2923 44120](https://image.slidesharecdn.com/201606185slideshare-160619070041/85/Erlang-OTP-PubSub-75-320.jpg)
![user/room 8
message/user/sec 15
waittime[
ms]
66.66666
6666666
7
rooms 10 50 70 80 90 100
(想定) users 80 400 560 640 720 800
(想定)
message/sec 9600 48000 67200 76800 86400 96000
(実測)
message/sec 9096 46047 58600 60764 63539 26390
(Server)CPU [%] 229.8 694.7 776.6 775.6 787.9 786.2
(Server)RAM [%] 0.4 0.5 0.6 0.7 0.7 8
RTT Med [ms] 38 2 7 10 15 24
RTT Avg [ms] 30 14 15 17 23 194
RTT Max [ms] 45 67 93 122 522 20686
End to End Med
[ms] 19 19 24 33 46 73
End to End Avg
[ms] 18 21 27 37 50 293
End to End Max
[ms] 618 631 657 718 1231 39470](https://image.slidesharecdn.com/201606185slideshare-160619070041/85/Erlang-OTP-PubSub-76-320.jpg)
![user/room 8
message/user/sec 0.2
waittime[
ms] 5000
rooms 100 2000 3750 6250 7500 8750
(想定) users 800 16000 30000 50000 60000 70000
(想定)
message/sec 1280 25600 48000 80000 96000 112000
(実測)
message/sec 1281 25639 48124 78742 94555 97731
(Server)CPU [%] 46.9 312.2 426.8 625 723.2 718
(Server)RAM [%] 2 6.8 9.8 14 17.3 18.7](https://image.slidesharecdn.com/201606185slideshare-160619070041/85/Erlang-OTP-PubSub-79-320.jpg)
![user/room 8
message/user/sec 1
waittime[
ms] 1000
rooms 100 400 800 1000 1200 1400 1600
(想定) users 800 3200 6400 8000 9600 11200 12800
(想定)
message/sec 6400 25600 51200 64000 76800 89600 102400
(実測)
message/sec 6356 25472 51202 63890 75912 88143 99033
(Server)CPU [%] 139.4 269.1 425 500.3 625.8 699.2 765.3
(Server)RAM [%] 2 3.6 5 5 5.2 5.2 6.6](https://image.slidesharecdn.com/201606185slideshare-160619070041/85/Erlang-OTP-PubSub-80-320.jpg)
![user/room 8
message/user/sec 15
waittime[
ms]
66.66666
6666666
7
rooms 10 50 70 80 90 100 110 120 130 140
(想定) users 80 400 560 640 720 800 880 960 1040 1120
(想定)
message/sec 9600 48000 67200 76800 86400 96000 105600 115200 124800 134400
(実測)
message/sec 8912 45967 64648 74035 83211 91581 99596 106775 112889 116739
(Server)CPU [%] 161.5 374.2 489.7 535.8 582.1 632.1 666.4 703.7 726.9 784.7
(Server)RAM [%] 2.1 2.3 2.3 2.3 2.3 2.2 1.8 2.6 3 3.4](https://image.slidesharecdn.com/201606185slideshare-160619070041/85/Erlang-OTP-PubSub-81-320.jpg)
![[CEDEC 2021] 運用中タイトルでも怖くない！ 『メルクストーリア』におけるハイパフォーマンス・ローコストなリアルタイム通信技術の導入事例](https://cdn.slidesharecdn.com/ss_thumbnails/cedec2021-210825103749-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Viewers also liked (14)
Similar to リアルタイムサーバー 〜Erlang/OTPで作るPubSubサーバー〜 (20)
リアルタイムサーバー 〜Erlang/OTPで作るPubSubサーバー〜
- 1. リアルタイムサーバー Erlang/OTP で作る PubSub サーバー
- 2. 自己紹介 @yamionp gumi ってところで R&D をしています サーバーさわりはじめて 15 年 Python 5年 Erlang 6ヶ月
- 3. 関わったもの
- 4. 今日話す事
- 13. HTTPの問題 通信はユーザー側からしか開始できない（Serverから送れない） 無いわけではない (それで十分な場合も多い) 高頻度の通信が難しい（毎秒10回通信 オーバーヘッド レインテンシ
- 14. ServerClient SYN SYN+ACK ACK 最初に Connection を確立する TCP Connection を直接使う
- 16. HTTPでもTCPは使っているが Response を返したら Connection を破棄する （ステートレス） ServerClient
- 19. なぜ自作なのか
- 20. いろいろあるが・・・ Windows Server は (我々にとって) 運用コストが高い 機能過多 既存システムとの相性 ゲームでの通信に特有な仕様への対応 落としたくない。土日に寝ていられるシステムを
- 21. ちなみに
- 22. フルメッシュ
- 23. スター ここの話をします
- 24. Pub/Subモデル
- 25. Pub/Sub(出版/購読)モデルとは 非同期メッセージングモデルの一種 Subscribe (購読) しているユーザーにメッセージを Publish (出版) する Sub側は Topic という単位で購読する Pub側は Topic にメッセージを送る Pub側は Sub側を意識する必要がなく、疎結合になる
- 30. Room モデルとの違い Room の作成/削除が必要ない Roomの管理が必要ない Sub側 が 0 の Topic にも Publish できる Pub側が Topic を Subscribe している必要はない
- 31. 導入イメージ
- 33. プロトコル
- 35. 概要 TCP を採用 TLV ベースのプロトコル構造 最小限の固定ヘッダと拡張部分のTLV化 4 bytes 単位
- 36. 固定ヘッダ 1 bit 1 6 3 2 Type (メッセージの種類) Length (全体の長さ) SenderTimestamp (送信者時間) ※後述 ReceiverTimesamp (受信者時間) ※後述 Payload (送信内容)
- 37. Payload も連続した TLV の形をとる 1 1 6 3 2 SectionType SectionLength Value
- 38. つまり
- 39. 1 1 6 3 2 Type Length SenderTimestamp ReceiverTimesamp SectionType SectionLength Value SectionType SectionLength Value
- 42. 固定ヘッダ 1 bit 1 6 3 2 Type (メッセージの種類) Length (全体の長さ) SenderTimestamp (送信者時間) ※後述 ReceiverTimesamp (受信者時間) ※後述 Payload (送信内容)
- 43. Client Server Timer Timer 1 1000 Sender Receiver 1 0 ※ ※初回は相手のTimerが わからないので0 送信までに300msかかったので 受け取った1に300を足す Sender Receiver 1300 301 1300 321 この時点で自分のタイマーが 321なのでRTTは20ms 421 送信までに100msかかったので 受け取った1300に100を足す Sender Receiver 421 1400 1420 この時点で自分のタイマーが 1420なのでRTTは20ms521 1520 この時点で自分のタイマーが 1520なのでRTTは20ms Sender Receiver 521 1500 受信から送信までに200msかかったので 受け取った1300に200を足す
- 46. サーバー
- 49. ステートフル・データレス 状態（ステート）は持つが、データは持たない。 永続化はしない 必要なデータは外部に問い合わせ or 通知 (ex. 認証 起動したらすぐ使える状態
- 50. 認証 App PubSub 1.game start 2.IP:Port, Token, Topic 3.Token 4.Token 5.OK 6.OK
- 51. 品質重視 ドキュメント 暗黙のルールを作らない Sphinxを採用(& packetdiag) 負荷試験 性能を保証する 自動テスト デグレさせない End to End テスト タイムアウト 同時処理
- 56. Erlang採用事例紹介 League of Legends https://engineering.riotgames.com/news/chat-service-architecture-servers Call of Duty https://en.wikipedia.org/wiki/Demonware http://www.erlang-factory.com/upload/presentations/395/ErlangandFirst- PersonShooters.pdf WhatsApp http://www.erlang-factory.com/upload/presentations/558/efsf2012-whatsapp-scaling.pdf Game of War https://erlangcentral.org/senior-erlang-engineer-machine-zone/
- 58. プロセスデザイン tcp session session_udp ErlangVM ※ system process link link
- 59. tcp session session_udp ※ system process session_sup sessions_sup arkps_sup session_udp_sup ErlangVM udp_sup gen_udp simple_one_for_one one_for_all one_for_one one_for_one one_for_one
- 60. 停止フロー
- 61. tcp session session_udp ※ system process session_sup sessions_sup arkps_sup session_udp_sup ErlangVM udp_sup gen_udp simple_one_for_one one_for_all one_for_one one_for_one one_for_one session がなんらかの理由で Down
- 62. tcp session session_udp ※ system process session_sup sessions_sup arkps_sup session_udp_sup ErlangVM udp_sup gen_udp simple_one_for_one one_for_all one_for_one one_for_one one_for_one 検知した session_sup が session_udp_sup に停止を送り session_udp_sup がそれを受けて session_udpを停止
- 63. tcp session session_udp ※ system process session_sup sessions_sup arkps_sup session_udp_sup ErlangVM udp_sup gen_udp simple_one_for_one one_for_all one_for_one one_for_one one_for_one session_udp の停止を確認して session_udp_sup が停止
- 64. tcp session session_udp ※ system process session_sup sessions_sup arkps_sup session_udp_sup ErlangVM udp_sup gen_udp simple_one_for_one one_for_all one_for_one one_for_one one_for_one 監視下のすべてのプロセスの終了を確認して session_sup が停止
- 65. tcp session session_udp ※ system process session_sup sessions_sup arkps_sup session_udp_sup ErlangVM udp_sup gen_udp simple_one_for_one one_for_all one_for_one one_for_one one_for_one link している tcp も停止
- 66. 負荷試験
- 68. Locustを使いました Python製分散負荷試験ツール このためにフル機能の Python クライアントを開発 接続側はどんなに頑張っても限界がくるので数で解決 スポットインスタンス安い m4.large のスポットインスタンスが t2.medium オンデマンドより安 い
- 69. Locust Slaves PubSub Locust Master m4.2xlargem4.xlarge CPU: 8 RAM: 32GB CPU: 4 RAM: 16GB x8
- 71. PubSub
- 72. PubSub
- 73. PubSub
- 74. user/room 8 message/user/sec 0.2 waittime[ ms] 5000 rooms 100 1000 2000 3000 3500 3750 (想定) users 800 8000 16000 24000 28000 30000 (想定) message/sec 1280 12800 25600 38400 44800 48000 (実測) message/sec 1270 12783 25560 38328 44787 21054 (Server)CPU [%] 66.5 360.4 404.7 560.9 635.8 444.4 (Server)RAM [%] 0.6 2.4 3.7 6.2 7.2 16.5 RTT Med [ms] 1 2 5 12 19 34 RTT Avg [ms] 14 11 12 14 27 1260 RTT Max [ms] 44 49 75 356 536 62798 End to End Med [ms] 1 3 8 18 39 460 End to End Avg [ms] 2 12 13 21 50 3017 End to End Max [ms] 747 738 754 1003 1315 100979
- 75. user/room 8 message/user/sec 1 waittime[ ms] 1000 rooms 100 400 800 900 1000 (想定) users 800 3200 6400 7200 8000 (想定) message/sec 6400 25600 51200 57600 64000 (実測) message/sec 6360 25527 48195 53240 25154 (Server)CPU [%] 275.8 618.3 709.3 774.7 766.7 (Server)RAM [%] 0.5 1.1 2.7 3 11.2 RTT Med [ms] 1 1 5 12 5 RTT Avg [ms] 10 7 24 40 494 RTT Max [ms] 45 48 491 1100 34295 End to End Med [ms] 2 11 36 80 310 End to End Avg [ms] 10 13 54 120 970 End to End Max [ms] 554 550 981 2923 44120
- 76. user/room 8 message/user/sec 15 waittime[ ms] 66.66666 6666666 7 rooms 10 50 70 80 90 100 (想定) users 80 400 560 640 720 800 (想定) message/sec 9600 48000 67200 76800 86400 96000 (実測) message/sec 9096 46047 58600 60764 63539 26390 (Server)CPU [%] 229.8 694.7 776.6 775.6 787.9 786.2 (Server)RAM [%] 0.4 0.5 0.6 0.7 0.7 8 RTT Med [ms] 38 2 7 10 15 24 RTT Avg [ms] 30 14 15 17 23 194 RTT Max [ms] 45 67 93 122 522 20686 End to End Med [ms] 19 19 24 33 46 73 End to End Avg [ms] 18 21 27 37 50 293 End to End Max [ms] 618 631 657 718 1231 39470
- 78. fprof でプロファイリング sendが遅い port_command で非同期にしたら解決 gen_udp/tcp:send がボトルネックなときにやること http://qiita.com/mururu/items/9b77e49b5b8a2815ceb6 10万/s 出ました
- 79. user/room 8 message/user/sec 0.2 waittime[ ms] 5000 rooms 100 2000 3750 6250 7500 8750 (想定) users 800 16000 30000 50000 60000 70000 (想定) message/sec 1280 25600 48000 80000 96000 112000 (実測) message/sec 1281 25639 48124 78742 94555 97731 (Server)CPU [%] 46.9 312.2 426.8 625 723.2 718 (Server)RAM [%] 2 6.8 9.8 14 17.3 18.7
- 80. user/room 8 message/user/sec 1 waittime[ ms] 1000 rooms 100 400 800 1000 1200 1400 1600 (想定) users 800 3200 6400 8000 9600 11200 12800 (想定) message/sec 6400 25600 51200 64000 76800 89600 102400 (実測) message/sec 6356 25472 51202 63890 75912 88143 99033 (Server)CPU [%] 139.4 269.1 425 500.3 625.8 699.2 765.3 (Server)RAM [%] 2 3.6 5 5 5.2 5.2 6.6
- 81. user/room 8 message/user/sec 15 waittime[ ms] 66.66666 6666666 7 rooms 10 50 70 80 90 100 110 120 130 140 (想定) users 80 400 560 640 720 800 880 960 1040 1120 (想定) message/sec 9600 48000 67200 76800 86400 96000 105600 115200 124800 134400 (実測) message/sec 8912 45967 64648 74035 83211 91581 99596 106775 112889 116739 (Server)CPU [%] 161.5 374.2 489.7 535.8 582.1 632.1 666.4 703.7 726.9 784.7 (Server)RAM [%] 2.1 2.3 2.3 2.3 2.3 2.2 1.8 2.6 3 3.4
- 82. 実際のゲームでの使われ方
- 83. App PubSub Private Topic Private Topic matching start list matching Private Topic battle starter
- 84. HW障害への対応
- 85. App PubSub PubSub PubSub 1. battle info 2. 割り振り先をMySQLから取得 3. IP:Port, Token, Topic 4. 接続開始 監視サーバー サーバー一覧
- 86. App PubSub PubSub PubSub 1. Down 2. 検知 3. リスト更新 4. 切断されたので問い合わせ 5. Downを確認して割り振り先を決定・保存 6. 新割り振り先を案内 監視サーバー
- 88. Room Worker Room情報をゲームロジックまで含めて面倒をみる 最初に Subscribe する ブローカーからはクライアント扱い
- 89. App PubSub Battle Topic 6.battle info 2.battle start room worker 3.room create 4.subscribe 5. ok 7. IP:Port, Token, Topic 8. subscribe
- 91. ご清聴ありがとうございました
- 92. One More Thing
- 93. ArkPS Server
- 94. OSSとして公開予定