PHPで書いて覚える非同期処理 / php-async-programming

Transcript

1. @hanhan1978 PHPで 書いて覚える非同期処理 PHPカンファレンス 2021

2. @hanhan1978 • 富所 亮 • 所属 ◦ 株式会社カオナビ • 職業

   ◦ Webアプリケーションエンジニア • ブログ ◦ https://blog.hanhans.net • Yokohama North AM ◦ https://anchor.fm/yokohama-north-am 2

3. はじめに 3

4. 4 PHPアプリケーションは 同期的なBlocking IOが基本

5. 5 私達が書いたプログラムは書いた順番に 処理されて動作する 人間の脳にとてもやさしい

6. 6 非同期は、分かりにくい 界隈では、関連情報が増加してきているのは感じる Swoole, React, AmPHP…. Generator, Fiber

7. 7 書いたプログラムは書いた順番に動くとは 限らない 人間の脳にとても厳しい

8. 8 今回のテーマ

9. 9 「非同期が分からない！」 を分解

10. 10 今日のテーマ

11. 11 裏テーマ

12. 12 システムコールとか、Socket通信とかを PHPで書こうと思う人を増やす

13. 13 Webサーバーが作れるようになるぞ！ https://speakerdeck.com/hanhan1978/phpdewebsabazuo-rou

14. PHPでPHPを動かす時代が来る！ 14 多分

15. 小ネタ 平行じゃない => 並行 平行 : parallel 並行 : concurrent,

    (parallel) 並列 : parallel 15

16. 1. 用語の定義 2. なぜ必要なのか？ 3. 非同期関連の実装 4. PHPで使える解決策 目次 16

17. 同期的なプログラミング 記述したとおりの順番で動作するようなプログラミングモデル 非同期プログラミング 独立して発生するイベントに対する処理を記述するための並行プログラミン グ手法の総称 17 高野祐輝. (2021). 並行プログラミング入門 5章

    (初版.). オライリー・ジャパン.

18. 同期的なプログラミング 記述したとおりの順番で動作するようなプログラミングモデル 非同期プログラミング 独立して発生するイベントに対する処理を記述するための並行プログラミン グ手法の総称 18 高野祐輝. (2021). 並行プログラミング入門 5章

    (初版.). オライリー・ジャパン. 処理の順番はイベントの発 生順に依存する

19. 19 Async Programming - ColdBox HMVC Documentation https://coldbox.ortusbooks.com/digging-deeper/promises-async-programming

20. 20 Async Programming - ColdBox HMVC Documentation https://coldbox.ortusbooks.com/digging-deeper/promises-async-programming タスクは直列に実行され るため、全ての処理を足

    し合わせた実行時間にな る

21. 21 Async Programming - ColdBox HMVC Documentation https://coldbox.ortusbooks.com/digging-deeper/promises-async-programming タスクは並列に実行され るため、全体の処理時間

    ≒ 最も長いタスクの時間

22. 22 例えばPHP

23. 23 ToDoリストを検索するバックエンドの処理（例）

24. 24 ToDoリストを検索するバックエンドの処理（例） 直列に処理しなければ、整合 性が取れない。 同期的処理に意味がある

25. 25 例えばJavaScript

26. 26 buttonクリックで発生するイベント

27. 27 buttonクリックで発生するイベント ボタンがいつ押されるかは分 からない。 非同期的処理に意味がある

28. 28 例えばJavaScript - part2

29. 29 ページ読込み後にAjaxでAPIをコールする例

30. 30 buttonクリックで発生するイベント 付帯情報は、あとでページに表示 されれば問題ない 非同期的処理に意味がある

31. 改めて比べてみると 向き・不向きに合わせてプログラミングモ デルが選択されているだけ 31 特にJavaScriptは、処理をブロックしないことに心血を注いでいる

32. 32 小ネタ２ JSの人たち 「たまには同期してほしい」 PHPの人たち 「たまには非同期してほしい」

33. 1. 用語の定義 2. なぜ必要なのか？ 3. 非同期関連の実装 4. PHPで使える解決策 目次 33

34. 34 JavaScriptで考えてみる

35. 35 Amazon トップページ

36. 36 Amazon トップページ 各要素は、スクロールに合わ せて読み込まれる 非同期であることがUX向上に ダイレクトにつながる

37. JSの非同期処理の実行モデル 37 https://zenn.dev/qnighy/articles/345aa9cae02d9d

38. 38 PHP（バックエンド）で考えてみる

39. 39 いわゆるMVCフレームワーク

40. 40 いわゆるMVCフレームワーク 1. 認証して

41. 41 いわゆるMVCフレームワーク 2. 過去の参加イベントを 取る

42. 42 いわゆるMVCフレームワーク 3. メインに表示する情報 を取得

43. 43 非同期にしてしまうと、事前に必要なデー タが取れていない。 同期的であることに意味があるパターン が多い。

44. 44 バックエンドのひとつのエンドポイントから 考えると、非同期処理の必要性が分から なくなる

45. 45 うまく適用できた例

46. 46 https://speakerdeck.com/suzuki/guzzle-promisewoshi-tuta-fei-tong-qi-chu-li-niy oruapikorufalsegao-su-hua

47. 47 https://www.slideshare.net/techblogyahoo/phpioyield-phpcon2014

48. 48 同時に実行しても問題ないIO処理を束ね る

49. 49 その他の適用例

50. 50 Queue

51. 51 Laravel Queues [ Pocket Guide ] - DEV Community

    https://dev.to/mvpopuk/laravel-queues-pocket-guide-c6a

52. 52 イベント監視が別プロセスだけど... メール送信、退会バッチ処理等、適用範囲も広 い。長いIOを他のプロセスにまかせてしまい結 果をすばやく戻す

53. 53 PHP単体だと、非同期処理は適用範囲が 狭い

54. 54 なぜ非同期フレームワークは生まれ なぜFiberは実装されるのか

55. 55 視野を広げてみる必要がある

56. 56 いわゆる PHP のWebアプリ

57. 57 Nginx + PHP-FPM PHP処理系の気の効いた図

58. １リクエストに対して 1つのPHP実行プロセス 58

59. １リクエストに対して 1つのPHP実行プロセス 59 各リクエストは、隔離されたプロセ スで実行され、互いに影響しない

60. 60 既存のPHPの処理モデルは 同期的、ステートレス

61. 61 例えば、Swoole PHP

62. Swooleサーバーの概要図 62

63. Swooleプロセス自体が1つのPHPプロセス 63

64. Swooleプロセス自体が1つのPHPプロセス 64 各リクエストは、同じプロセス内で 実行される。 コルーチンで分離されている

65. 65 Swoole が非同期で目指すこと 1つのコルーチンがIO処理待ちになったら、次のコ ルーチンに処理を移す CPUの利用効率をあげる。

66. 66 Swoole が目指すのは 非同期的でステートフルな処理モデル

67. 67 しかし、エンドポイント単位の視点に立つ と -> リクエストは同期的に処理されているよ うにみえる

68. 68 だから、PHPerには非同期処理がわかり ずらい。

69. 1. 用語の定義 2. なぜ必要なのか？ 3. 非同期関連の実装 4. PHPで使える解決策 目次 69

70. この章はPHPで非同期実装の感覚を養う話 70

71. 71 PHP単体での非同期処理の仕組みはな い（多分） システムコールと組み合わせて、非同期 に処理を行う実装を行う

72. 72 ここで、ちょっとだけ事前説明

73. 73 システムコール オペレーティングシステム (OS)（より明確に言えばOS のカーネル）の機能を呼び出すために使用される機構 のこと。

74. 74 Socket Functions https://www.php.net/manual/en/ref.sockets.php

75. 75 Socket通信

76. 76 https://world4java.wordpress.com/2014/02/28/socket-programming/ Socket Programming

77. 77 IOモデル

78. 78 • ブロッキング IO • ノンブロッキング IO • IO 多重化

    • シグナル IO • 非同期 IO

79. 79 • ブロッキング IO • ノンブロッキング IO • IO 多重化

    • シグナル IO • 非同期 IO ← この２つは今日は扱いません

80. 80 IOモデルを文章だけで 理解するのは難しいので...

81. 81 Echoサーバー

82. 82 文字列を受け取って、文字列を返すだけのサーバー

83. 83 文字列を受け取って、文字列を返すだけのサーバー echoサーバーに接続

84. 84 文字列を受け取って、文字列を返すだけのサーバー 入力した文字列がそのま ま戻ってくる

85. 85 Echoサーバー実装は、非同期処理関連の実 装技術を知るための、極めて効果的でコスパ が高い方法 写経をオススメします！！

86. 86 https://speakerdeck.com/bati11/otozhong-liang-kunaruhua C言語の実装例 本当はコレを写経するのが良い が...

87. PHPでの実装例 87 https://github.com/hanhan1978/shadow-php/tree/master/echo-server

88. 88 Blocking IO

89. 89

90. 90 ブロッキングIO

91. 91 ブロッキングIO SocketでListen

92. 92 ブロッキングIO ここでBlock

93. 93 ブロッキングIO このサーバーは、通信をBlockするの で、一度に１クライアントしか扱えない

94. 94 NonBlocking IO

95. 95

96. 96 ノンブロッキングIO SocketをNonBlockに設定

97. ノンブロッキングIO 97

98. ノンブロッキングIO 98 このサーバーは、無限Loopしなが ら、接続したクライアントを自分で管 理して、通信できる。

99. 99 IO多重化

100. 100

101. 101 IO多重化

102. 102 IO多重化 ここでBlock

103. 103 IO多重化 Select は状態が変化したSocket全 てを検知できるので、Blockはしてい るが、複数のクライアントを処理でき る

104. 104 例えば... Guzzleのasyncリクエスト

105. 105 Guzzleのpromise

106. 106 Guzzleのpromise 内部では curlmulti が使われて いて、poll でIO多重化されてる

107. 107 非同期処理では、システムコールやIOモ デルの理解が重要になる

108. 108 小ネタ３ 雑に strace を使うと、裏側で使っている システムコールが簡単に見れる

109. 1. 用語の定義 2. なぜ必要なのか？ 3. 非同期関連の実装 4. PHPで使える解決策 目次 109

110. 110 非同期フレームワーク

111. 111 Swoole, React, AmPHP

112. 112 ３者ともに、ノンブロッキングのイベント駆 動を指向 -> 解決しようとする課題は同じ Amp は V3 で Fiber

     に対応している

113. 113 Generator

114. 114 Generator (非対称コルーチンの非同期処理実装例 ) Ngyuki chatの例 https://qiita.com/ngyuki/items/1f0ec69db9d78ba50ebb

115. 115 Fiber

116. 116 https://wiki.php.net/rfc/fibers RFC

117. 117 https://qiita.com/rana_kualu/items/6247441f6fdd63c10a06 【PHP8.1】PHPで簡単に非同期処理を書けるようになる

118. 118 とまあ建前は置いておいて

119. 119 • 一般開発者が使う機能ではない • コアに入ったのでXdebugが動く • Schedulerとかはまだ • Async/Await とかもまだ

120. 120 Generatorと何が違う？

121. 121 • スタックのどこからでも停止・再開 • FiberError, FiberExit

122. 122 じゃあ、今の状態で何ができる？

123. 123 Generator同様に、メソッドの実行停止・再開ができる

124. 124 Generator同様に、メソッドの実行停止・再開ができる Fiberインスタンス生成

125. 125 Generator同様に、メソッドの実行停止・再開ができる Fiber実行開始

126. 126 Generator同様に、メソッドの実行停止・再開ができる ここで止まる

127. 127 Generator同様に、メソッドの実行停止・再開ができる ここで再開

128. Main と Fiber を行ったりきたり 128

129. Main と Fiber を行ったりきたり 129 これは非同期じゃない。シングル スレッドで同期的に動いている

130. 非同期IOと組み合わせると... 130

131. 非同期IOと組み合わせると... 131 ノンブロッキングやIO多重化を組 み合わせることで suspend に意 味がでる

132. Generatorを使った実装のサンプルはま だまだ少ない 私と一緒に是非 shadow-php へ... 132

133. 133 参考資料

134. 134 Mastering Swoole PHP - Bruce Dou Swoole 作者による解説著作 全体の2/3がPHPの処理モデル

     やIOモデルの説明となっていて、 非同期を取り巻く状況を雑観でき る。

135. 135 並行プログラミング入門 - 高野 祐輝 並行処理について、裏側の仕組 みから解説してくれる本 包括的に書かれていて、とりあえ ずコレ一冊やるとだいぶ霧が晴れ る感じがあります。

136. 136 n月刊ラムダノート Vol.1 コルーチンについて、歴史から詳 しく載っています。 これを読んだおかげで、 Async/Await や Promiseについ ても理解が深まりました。

137. 137 計算機プログラムの構造と解釈　第2版 第五章 Stream 直接非同期には関係ないのだけ れど、関数に状態を閉じ込めると いう考え方が、非対称コルーチン に通じるところがあり、面白いで す。

138. @hanhan1978 相談・指摘・その他　 下記のTwitterアカウントにどうぞ 138