Inside pixiv's infrastructure〜application cluster side〜
•
53 likes•14,164 views
Inside pixiv's infrastructure〜application cluster side〜 in PHPカンファレンス2013
![スマホゲームのチート手法とその対策 [DeNA TechCon 2019]](https://cdn.slidesharecdn.com/ss_thumbnails/techcon2019funakubo-190218065153-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Viewers also liked (9)
Similar to Inside pixiv's infrastructure〜application cluster side〜 (20)
More from Tatsuhiko Kubo (11)
Recently uploaded (9)
![ElasticsearchでSPLADEする [Search Engineering Tech Talk 2025 Winter]](https://cdn.slidesharecdn.com/ss_thumbnails/searchtech-250228102455-ddc5ce09-thumbnail.jpg?width=560&fit=bounds)
Inside pixiv's infrastructure〜application cluster side〜
- 1. inside pixiv’s infrastructure 〜application cluster side〜 久保 達彦 [email protected]
- 2. 自己紹介 ● 久保達彦([email protected]) ● @cubicdaiya(twitter, github) ● シニアソフトウェアエンジニア@pixiv. Inc
- 3. 自己紹介 ◎ピクシブでの担当分野 ○ ミドルウェアの開発・運用 ○ インフラ運用・管理 ○ アプリケーション開発・メンテ ○ 採用活動 ○ その他色々
- 4. 自己紹介 ◎開発・公開中のOSS ○ mruby_nginx_module ■ Embed mruby into Nginx ○ ngx_small_light ■ Dynamic Image Transformation with Nginx ○ neoagent ■ Yet Another Memcached Proxy Server ○ etc...
- 5. pixivについて
- 7. pixivについて ● Webサイト ○ www.pixiv.net ○ m.pixiv.net ○ touch.pixiv.net ○ dic.pixiv.net ○ comic.pixiv.net ○ www.pixiv.com ● スマートフォンアプリ ○ iOS、Android ● etc...
- 8. pixivについて 会員数 820万人 投稿作品数 38,000,000+ ページビュー 38億/月 ネットワーク帯域 10Gbps サーバ台数 400台
- 10. inside pixiv’s infrastructure Front Front・・・ Internet AP AP AP LVS DB DB ・・・ ・・・ ・・・ DB・・・ ・・・ LVS KVS Other KVS・・・ Front Front・・・ Cache Cache・・・ Cache・・・ Dispatcher Dispatcher・・・ Origin Origin・・・ Origin・・・ Other・・・ Other Other・・・ application cluster contents delivery cluster
- 11. 今日は「application cluster」の話をします Front Front・・・ Internet AP AP AP LVS DB DB ・・・ ・・・ ・・・ DB・・・ ・・・ LVS KVS Other KVS・・・ Front Front・・・ Cache Cache・・・ Cache・・・ Dispatcher Dispatcher・・・ Origin Origin・・・ Origin・・・ contents delivery cluster Other・・・ Other Other・・・ application cluster
- 12. 画像アップロードのシステムは時間の都合で 割愛するので詳しくは過去の資料を参照してください ● pixivの画像アップロードシステム http://www.slideshare.net/cubicdaiya/pixiv-6261780 ● pixiv thumbnails http://www.slideshare.net/cubicdaiya/pixiv-thumbnails/
- 13. トピック ● 開発体制 ● Inside application cluster ● データストア＆キャッシュ戦略 ● API for pixiv
- 14. トピック ● 開発体制 ● Inside application cluster ● データストア＆キャッシュ戦略 ● API for pixiv
- 15. 開発体制 ● エンジニア30人くらい ○ インフラチームは5人 ● 所謂Webアプリケーションの開発はPHPがメイン ○ レガシーなものからモダン(?)なものまで ○ 最近はRuby(Rails)が増えてる ● ミドルウェアはC、C++、Python、Lua等色々 ○ PHPで書かれたデーモンもあるよ！
- 16. 開発体制 ● ソースコードはGitで管理 ○ gitosis and github有料プラン(GHE使いたい) ○ www.pixiv.netだけで30万行くらいある ● Redmineでタスク管理 with バックログ ● PHPUnitを活用したテストスイート ● IRC活用 ○ デプロイや自動テスト失敗時にbotがつぶやく ● 一日数回〜十数回くらい本番にデプロイされる
- 17. トピック ● 開発体制 ● Inside application cluster ● データストア＆キャッシュ戦略 ● API for pixiv
- 18. Inside application cluster Front Front・・・ AP AP AP LVS DB DB ・・・ ・・・ ・・・ DB・・・ ・・・ LVS KVS Other KVS・・・ Other・・・ Internet
- 19. Front Front Front・・・ AP AP AP LVS DB DB ・・・ ・・・ ・・・ DB・・・ ・・・ LVS KVS Other KVS・・・ Other・・・ Internet
- 21. AP Front Front・・・ AP AP AP LVS DB DB ・・・ ・・・ ・・・ DB・・・ ・・・ LVS KVS Other KVS・・・ Other・・・ Internet
- 22. AP Internet AP ● アプリケーションサーバ ○ Apache&mod_php ○ Nginx&PHP-FPM ○ Unicorn&Rails ● ミドルウェア ○ APC ○ Fluentd ○ neoagent ○ etc..
- 23. KVS Front Front・・・ AP AP AP LVS DB DB ・・・ ・・・ ・・・ DB・・・ ・・・ LVS KVS Other KVS・・・ Other・・・ Internet
- 24. KVS Internet KVS ● KyotoTycoon ○ 半永続データストレージ ○ オンメモリキャッシュ ● MongoDB ○ APのFluetndからかき集めたデータ ■ エラーログ ■ スロークエリログ ■ アクティビティログ ■ etc
- 25. DB Front Front・・・ AP AP AP LVS DB DB ・・・ ・・・ ・・・ DB・・・ ・・・ LVS KVS Other KVS・・・ Other・・・ Internet
- 26. DB Internet DB ● MySQL ○ 5.1 or 5.5 ○ 永続データストレージ ● 前段にLVSがいる
- 27. Other Front Front・・・ AP AP AP LVS DB DB ・・・ ・・・ ・・・ DB・・・ ・・・ LVS KVS Other KVS・・・ Other・・・ Internet
- 28. Other Internet Other ● 監視系サーバ ○ Nagios ○ Munin ○ リソースモニタWebアプリ ■ written in PHP ● 定期実行バッチサーバ ○ almost written in PHP ● その他 ○ 検索(Apache Solr) ○ レコメンデーションシステム ○ スタックフィード(タイムライン) ○ etc...
- 29. トピック ● 開発体制 ● Inside application cluster ● データストア＆キャッシュ戦略 ● API for pixiv
- 30. データストア&キャッシュ戦略 in pixiv ● MySQL ○ 永続データストレージ ■ ユーザー、イラスト等、 サービスの根幹に関わるデータを保存 ● KyotoTycoon ○ 半永続データストレージ ■ 消えても作り直せるデータのみ保存 ■ 負荷の大きい箇所や素早い応答が必要な場面で使う ○ オンメモリキャッシュ ■ MySQLから取得して構築したデータをキャッシュ
- 31. データストア&キャッシュ戦略 in pixiv ● APC ○ ローカルデータキャッシュ(not オペコードキャッシュ) ● MongoDB ○ Capped Collection only ○ 一定期間のみ保存するログデータ用 ● KVSClient ○ 多段キャッシュ(APCとKyotoTycoon)へ 透過的にアクセスするためのライブラリ
- 33. データストア/キャッシングレイヤー APC -> KyotoTycoon -> MySQLの順にアクセス
- 34. べたに書くと、
- 35. このコードの問題点 ● 複雑 ○ キャッシュが二段ある ● アプリケーション開発者が知らなければならない事項が多い ○ キャッシュの保持期限(expire) ○ 接続先ホスト ○ 接続先ポート番号 ● あとで変更するのが大変 ○ 複数箇所にコードが散らばる可能性がある
- 36. KVSClient 〜The library for accessing to datastore transparently〜
- 37. KVSClientを使うと、
- 39. 詳解KVSClient
- 40. 多段キャッシュへの透過的なアクセス # 実はここでAPC -> KyotoTycoonの順にアクセスしてる
- 41. 多段キャッシュへの透過的なアクセス # 実はここでAPC -> KyotoTycoonの順にアクセスしてる # APCにキャッシュがあればそれを返す
- 42. 多段キャッシュへの透過的なアクセス # 実はここでAPC -> KyotoTycoonの順にアクセスしてる # APCにキャッシュがあればそれを返す # なければKyotoTycoonから取得してAPCにキャッシュ
- 45. トピック ● 開発体制 ● Inside application cluster ● データストア＆キャッシュ戦略 ● API for pixiv
- 46. 去年くらいからの話 ● Ruby(とRails)によるプロダクトが増え始める ○ 既存のPHPコードとの連携が問題に ○ Rubyで再実装とか㍉(行数的に) ● 提携企業向けにAPIを提供する機会がある ○ 昔はその都度イチから開発していた ○ 効率が悪いのでプラットフォーム化したい
- 47. 去年くらいからの話 ● Ruby(とRails)によるプロダクトが増え始める ○ 既存のPHPコードとの連携が問題に ○ Rubyで再実装とか㍉(行数的に) ● 提携企業向けにAPIを提供する機会がある ○ 昔はその都度イチから開発していた ○ 効率が悪いのでプラットフォーム化したい API作ろう！
- 49. api.pixiv.private ● pixivのデータを透過的に扱うためのRESTful API群 ○ written in PHP ● pixiv内部からのみアクセス可能 ● HTTP経由でほかの言語からでもアクセス可能 ● 単なるPHPのライブラリとして使うこともできる
- 51. 活用事例
- 52. www.pixiv.comの場合
- 53. www.pixiv.comの場合
- 55. Inside api.pixiv.private ● 全部PHPで書かれてる(過去の資産を活用するため) ○ 周辺ツールはRubyで書かれてたりする ● 高速な独自フレームワーク上に構築 ○ 当初はSilexを使っていた ○ パフォーマンスに問題があって担当のエンジニアが 開発・移行 ■ 現pixivチーム・リーダー
- 56. うわ・・・私のAPIおそすぎ・・・? pixiv.net は 29ms ログインするだけの API が 90ms... 無料でできるプロファイリング ->今すぐチェック とある開発者の驚愕
- 57. チューニング劇的ビフォーアフター
- 58. 最適化前 平均 90ms 最適化後 平均 8ms
- 60. Silexの初期化が遅い
- 62. 実際のところ、Silexが遅いというよりは ● Silex以外にもボトルネックはたくさんあった ● 当時、パフォーマンスは重視されてなかった ● スケジュールがタイトで書きやすさ重視だった ● フレームワークの用途が合ってなかった
- 63. ● RESTful APIのための薄いフレームワーク ● 所謂Webアプリケーション向けである必要はない ● ルーティング以外のことはしなくていい ● もっと先へ、加速したく(ry 僕たちが本当に欲しかったもの
- 65. tateseta
- 66. tateseta The accelerator, test-enough, simple, easy, tuned application-framework
- 70. Hello, World! by tateseta GET http://api.pixiv.private/v1/hello.json -> {“msg”: “Hello, World!”}
- 72. その他の工夫 ● require は最小限に抑える ○ ルートが確定したコントローラしか読み込まない ● file_existsなどのIO系は遅いので使わない ○ コントローラのphpのファイルの存在チェックしない ● できるかぎり正規表現に頼らない(例：preg_match) ○ strpos や explode などで頑張る
- 73. api.pixiv.public
- 74. api.pixiv.public ● api.pixiv.privateのラッパー ● これもtateseta上に構築 ● OAuth対応 ● スマートフォンアプリ用のAPI群 ● 3rd Party向けのAPIも提供中 ● publicという名前だけど一般公開はしてないです
- 75. ● pixivのシステムはいろんな言語やツールでできてる ○ PHPは今でも一番使われてます ○ 用途や条件に合わせて最適なものを選ぶのがよい ● システムの巨大化・複雑化には抽象化で対抗 ○ インターフェースだけ決めて隠蔽する ● 近年はRuby(Rails)プロダクトも増えてきている ○ RESTful APIでハイブリッド言語開発 まとめ