Using epoll() For Asynchronous Network Programming « Alexey Kovyrin's Blog
[lang_en] General way to implement tcp servers is “one thread/process per connectionâ€. But on high loads this approach can be not so efficient and we need to use another patterns of connection handling. In this article I will describe how to implement tcp-server with synchronous connections handling using epoll() system call of Linux 2.6. kernel. [/lang_en] [lang_ru] Одним из Ñамых раÑпроÑтраненны
moratorium | epoll(2)ã¨select(2)ã®è¨ˆç®—é‡
epoll(2)ã¨select(2)ã®è¨ˆç®—é‡ ç ”ç©¶å®¤ã§id:yama6ãŒepollã¨ã‹è¨€ã£ã¦ã„ã¦ã€mixi Engineers' Blog ã•ã‚“ã®ã€ŒLinux Programmingã€epollã®è©±ã€ã‚’æ€ã„出ã—ãŸã€‚ パフォーマンスã®æ–¹ã¯select(2)ã¨poll(2)ã®time complexityãŒO(n)ã«å¯¾ã—epollã¯O(1)ã¨ç„¡è¦–ã®ã§ããªã„性能ã®å·®ã‚’実ç¾ã—ã¦ã„ã¾ã™ã€‚ ã“ã‚Œã“ã‚Œã€æ›¸ã“ã†ã¨ã—ã¦å¿˜ã‚Œã¦ãŸã€‚僕ã®ç†è§£ã ã¨epoll(2)ã¯O(n)ã§select(2)ãŒO(n^2)ã§ã™ã€‚ã“ã®å·®ã¯significantã§ã™ã‚ˆï¼ 例ãˆã°1万個ã®ã‚½ã‚±ãƒƒãƒˆã‚’管ç†ã—ã¦ã„ã‚‹ã¨ã—ã¾ã™ã€‚ã§ã€ã‚½ã‚±ãƒƒãƒˆãŒï¼‘個ã¥ã¤é †ç•ªã«èªã¿è¾¼ã¿å¯èƒ½ã«ãªã‚‹ã¨ã„ã†æœ€æ‚ªã®ã‚·ãƒãƒ¥ã‚¨ãƒ¼ã‚·ãƒ§ãƒ³ã‚’考ãˆã¦è¦‹ã¾ã™ã€‚select(2)ã ã¨10000 * 10000ã®ãƒ«ãƒ¼ãƒ—ãŒå›žã‚Šã¾ã™ã€‚epoll(2)ã ã¨10000 * 1回ã®ãƒ«ãƒ¼ãƒ—ãŒå›žã‚Šã¾ã™ã€‚ ã
mp::iothreads - Blog by Sadayuki Furuhashi
マルãƒã‚³ã‚¢æ™‚代ã®é«˜é€Ÿã‚µãƒ¼ãƒãƒ¼ã®å®Ÿè£…ã§ç´¹ä»‹ã—ãŸã‚¢ãƒ¼ã‚テクãƒãƒ£ã‚’実装ã—よã†ã¨ã™ã‚‹ã¨ã€ã‚¢ãƒ¼ã‚テクãƒãƒ£è‡ªä½“ã¯ãƒžãƒ«ãƒã‚¹ãƒ¬ãƒƒãƒ‰ãªã®ã§ã€ãƒãƒƒã‚¯ã ã€ãƒ¡ãƒ¢ãƒªç®¡ç†ã ã¨ã€ã„ã‚ã„ã‚ã¨é¢å€’ã§ã™ã€‚一般化ã§ãã‚‹ãªã‚‰ä¸€èˆ¬åŒ–ã—ã¦ã€ãƒã‚¸ãƒƒã‚¯éƒ¨åˆ†ã ã‘を書ã‘ã°é«˜é€Ÿãªã‚µãƒ¼ãƒãƒ¼ãŒå®Ÿè£…ã§ãるよã†ã«ã—ãŸã„。 ãã“ã§ã€é¢å€’ãªã¨ã“ã‚を実装ã—ãŸãƒ©ã‚¤ãƒ–ラリmp::iothreadsを開発ã—ã¦ã„ã¾ã™ã€‚高速ãªã‚¤ãƒ™ãƒ³ãƒˆé§†å‹•ãƒ©ã‚¤ãƒ–ラリ mpioをベースã¨ã—ã¦ã„ã¾ã™ã€‚高速ã•ã‚’é‡è¦–ã—ã€C++ã§å®Ÿè£…ã—ã¦ã„ã¾ã™ã€‚ スレッド間通信やé€ä¿¡ç”¨ãƒãƒƒãƒ•ã‚¡ãªã©ã®é¢å€’を見ã¾ã™ã€‚å„所ã§ã„ã‚ã„ã‚ã¨"ã²ã¨ã²ãã‚Š"ã—ã¦ã„ã¾ã™ã€‚ ã¾ãšInputã®æ®µéšŽã¯ã€ accept(2)ã™ã‚‹ accept(2)ã—ãŸãƒ•ã‚¡ã‚¤ãƒ«ãƒ‡ã‚£ã‚¹ã‚¯ãƒªãƒ—タをイベント待ã¡ãƒªã‚¹ãƒˆã«åŠ ãˆã‚‹ epoll/kqueueãªã©ã§ã‚½ã‚±ãƒƒãƒˆãŒèªã¿è¾¼ã¿å¯èƒ½ã«ãªã‚‹ã¾ã§å¾…㤠実際ã«èªã¿è¾¼ã‚€ & ãƒãƒƒãƒ•ã‚¡ãƒªãƒ³ã‚°ã™ã‚‹ ストリームパーサã§ãƒ—ãƒãƒˆã‚³
epoll を使ã£ãŸ echo サーム- odz buffer
自分用メモ。epoll & Non-Blocking IO ã«ã‚ˆã‚‹ echo サーãƒã®ä¾‹ã€‚ 使ã„æ–¹ã®ãƒ†ã‚¹ãƒˆä»¥ä¸Šã®ã‚‚ã®ã§ã¯ãªã„ã®ã§ã€ãã®ã¾ã¾ã§ã¯ã„ã‚ã„ã‚ã¾ãšã„。epoll_create ã‚„ socket ã§å–å¾—ã—㟠file descriptor ã‚’ close ã—ã¦ãªã‹ã£ãŸã‚Šã€‚ã¾ãã—ãªã„よã†ã«ã€‚ #include <stdio.h> #include <stdlib.h> #include <string.h> #include <unistd.h> #include <fcntl.h> #include <sys/socket.h> #include <sys/types.h> #include <sys/epoll.h> #include <netinet/in.h> #define SERVER_PORT 10007 #define MAX_EVENTS 10 #define BAC
éžåŒæœŸI/O Linux
éžåŒæœŸI/O 概説 Introduction to Asynchronous I/O AIO, I/O Multiplexing… 2007å¹´8月6æ—¥ KLab æ ªå¼ä¼šç¤¾ Kラボラトリー 廣瀬 æ£æ˜Ž Copyright © KLab Inc. All rights reserved. 今日ã®ç›®çš„ éžåŒæœŸI/Oã¨ã¯ä½•ã‹ã‚’知る éžåŒæœŸI/Oを使ã†ã¨ä½•ãŒã†ã‚Œã—ã„ã®ã‹ã‚’知る éžåŒæœŸI/Oを実ç¾ã™ã‚‹æ‰‹æ®µï¼ˆè¤‡æ•°ï¼‰ã‚’知る Copyright © KLab Inc. All rights reserved. アジェンダ éžåŒæœŸI/Oを使ã†ç†ç”± éžåŒæœŸI/Oã¨ã¯ï¼Ÿ AIOã®å®Ÿè£…を紹介 AIOã®ä½¿ã„æ–¹ è½ç©‚ã²ã‚ã„ Copyright © KLab Inc. All rights reserved. アジェンダ éžåŒæœŸI/Oを使ã†ç†ç”± éžåŒæœŸI/Oã¨ã¯ï¼Ÿ AIOã®å®Ÿè£…を紹介 AIOã®ä½¿ã„æ–¹ è½ç©‚ã²ã‚
mixi Engineers’ Blog » Linux Programmingã€epollã®è©±
ãŠä¹…ã—ã¶ã‚Šã§ã™ã€åˆã‚ã¦ã®æ—¥æœ¬ã®å¤ã«åœ§å€’ã•ã‚Œã¦ã„るトールマエサカã§ã™ã€‚ 今日ã¯Linuxã«ãŠã‘ã‚‹ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚°é–¢é€£ã®ãƒã‚¿ã§ã™ã€‚分散データベースサーãƒã®é–‹ç™ºéŽç¨‹ã§æœ€è¿‘よãLinuxã®epollã¨ã„ã†ã‚¤ãƒ™ãƒ³ãƒˆãƒãƒ³ãƒ‰ãƒªãƒ³ã‚°æ©Ÿèƒ½ã‚’使ã£ã¦ã„ã¾ã™ã€‚ã“ã‚ŒãŒã¾ãŸå„ªç§€ãªæ©Ÿèƒ½ãªã®ã§ç´¹ä»‹ã—ã¾ã™ã€‚ ã“ã®Contextã§ã„ã†ã‚¤ãƒ™ãƒ³ãƒˆãƒãƒ³ãƒ‰ãƒ©ãƒ¼ã¯ã‚µãƒ¼ãƒãŒã‚¯ãƒ©ã‚¤ã‚¨ãƒ³ãƒˆã®ãƒªã‚¯ã‚¨ã‚¹ãƒˆã‚’処ç†ã™ã‚‹ãŸã‚ã®ãƒ¡ã‚«ãƒ‹ã‚ºãƒ ã§ã™ã€‚イベントã®æ„ŸçŸ¥ã¨é€šçŸ¥ã¯å¤§é›‘把ã«ã„ã†ã¨ä»¥ä¸‹ã®ä¸‰ã¤ã®å‡¦ç†ã§æ§‹æˆã•ã‚Œã¦ã„ã¾ã™ï¼š 一ã¤ã‚‚ã—ãã¯è¤‡æ•°ã®ãƒ‡ã‚£ã‚¹ã‚¯ãƒªãƒ—タを監視 ディスクリプタã®æº–å‚™ãŒæ•´ã†ã¾ã§ãƒãƒå…¬ã®ã”ã¨ãã²ãŸã™ã‚‰å¾…ã¡ç¶šã‘ã‚‹ 準備ãŒæ•´ã£ãŸãƒ‡ã‚£ã‚¹ã‚¯ãƒªãƒ—ã‚¿ã®é€šçŸ¥ アプリケーションã§ã®å®Ÿè£…ã¯ä¸€æ˜”ã¾ã§select(2)ã€ã‚‚ã—ãã¯poll(2)ã¨ã„ã†ã‚·ã‚¹ãƒ†ãƒ コールã§è¡Œã‚ã‚Œã¦ã„ã¾ã—ãŸã€‚二ã¤ã¨ã‚‚役目ã¯åŒã˜ã§ã™ãŒselect(2)ã®å ´åˆã€kernelã‚’ã„ã˜ã‚‰ãªã„é™ã‚Š
エンタープライズå‘ã‘ã«åˆ·æ–°ã•ã‚ŒãŸã‚«ãƒ¼ãƒãƒ«ãƒ»ã‚³ã‚¢
マルãƒã‚¹ãƒ¬ãƒƒãƒ‰å¯¾å¿œã®å¼·åŒ– â– vcache vcacheã¯ã€ä»®æƒ³ã‚¢ãƒ‰ãƒ¬ã‚¹ã¨ç‰©ç†ãƒšãƒ¼ã‚¸ã®å¯¾å¿œä»˜ã‘ã®å¤‰æ›´ã‚’コールãƒãƒƒã‚¯é–¢æ•°ã«ã‚ˆã£ã¦é€šçŸ¥ã™ã‚‹ä»•çµ„ã¿ã§ã‚る。 後述ã™ã‚‹futexã®å®Ÿè£…ã«ä½¿ç”¨ã•ã‚Œã‚‹ãŸã‚ã€ã‚«ãƒ¼ãƒãƒ«2.6ã«è¿½åŠ ã•ã‚ŒãŸã€‚ â– futex（Fast Userspace Mutexes） futexã¯ã€ä¼çµ±çš„ãªUNIXカーãƒãƒ«ã§ä½¿ã‚ã‚Œã¦ã„ã‚‹sleepï¼wakeupã¨ã‚ˆãä¼¼ãŸåŒæœŸæ©Ÿæ§‹ã‚’ユーザーランドã«å¯¾ã—ã¦æä¾›ã™ã‚‹ã€‚ 主ã«NPTL（Native POSIX Thread Library）ãªã©ã®ãƒ©ã‚¤ãƒ–ラリã®å®Ÿè£…ã«ä½¿ã‚れるãŸã‚ã€ã‚¢ãƒ—リケーションã‹ã‚‰ç›´æŽ¥åˆ©ç”¨ã™ã‚‹ã“ã¨ã¯ã‚ã¾ã‚Šãªã„ã¨æ€ã‚れるãŒã€POSIX Threadã¯Javaスレッドã®å®Ÿè£…ãªã©ã«ã‚‚用ã„られã¦ãŠã‚Šã€åŒæœŸå‡¦ç†ã‚’多用ã™ã‚‹ã‚¢ãƒ—リケーションã«ã¯åˆ©ç›ŠãŒã‚ã‚‹ã ã‚ã†ã€‚ futexシステムコールã®ä¸»ãªæ©Ÿèƒ½ã¯FUTEX_WAITã¨FUTEX_WAKEã§ã‚る。
最速é…ä¿¡ç ”ç©¶ä¼š - Web2.0ã¨C10Kã«é–¢ã™ã‚‹æ•°ã€…ã®èª¤è§£
Web2.0 = Ajax/Cometãªã®ï¼Ÿã¨ã‹ãƒ—ãƒã‚»ã‚¹IDã¯ä»Šã§ã‚‚16ビットãªã®ï¼Ÿã¨ã‹ã¯ã‚µãƒ†ã‚ªã‚〠個々ã®ã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆãŒã‚µãƒ¼ãƒã«è¦æ±‚ã™ã‚‹å‡¦ç†é‡ã¯å°ã•ãªã‚‚ã®ã§ãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢ã®æ€§èƒ½ä¸Šã¯å•é¡ŒãŒãªãã¦ã‚‚ã€ã‚ã¾ã‚Šã«ã‚‚クライアントã®æ•°ãŒå¤šããªã‚‹ã¨ã‚µãƒ¼ãƒãŒãƒ‘ンクã™ã‚‹â€•â€•ã€‚ã“ã‚ŒãŒæœ€è¿‘Web開発者ã®é–“ã§è©±é¡Œã¨ãªã£ã¦ã„る「C10Kå•é¡Œã€ï¼ˆã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆ1万å°å•é¡Œï¼‰ã 。 Ajaxã‚„Cometãªã©ã®ã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆå´æŠ€è¡“ã«ä¼´ã†ã‚µãƒ¼ãƒå´ã®å•é¡Œã«é–¢ã—ã¦ã„ã‚ã„ã‚誤解ãŒã‚るよã†ãªã®ã§,書ã„ã¦ãŠããŸã„.ãã£ã¨lingrã®ä¸ã®äººã¯ã“ã®è¨˜äº‹èªã‚“ã§ãƒ‹ãƒ¤ãƒ‹ãƒ¤ã—ã¦ã‚‹ã¯ãš. 以下ã€è¨˜äº‹ã«ãªã„ã“ã¨ã‚‚書ã„ã¦ã‚ã‚‹ã®ã§ãã®ã¤ã‚‚ã‚Šã§. 誤解ãã®1 Ajaxã«ã‚ˆã‚‹Webアプリã®å°é ã§ã‚µãƒ¼ãƒå´ã®è² è·ãŒå¢—大ã™ã‚‹ Ajaxã®å…¸åž‹çš„ãªä½¿ã„æ–¹ã¯ã‚µãƒ¼ãƒã«å•ã„åˆã‚ã›ã¦ãƒšãƒ¼ã‚¸ã®ä¸€éƒ¨åˆ†ã ã‘ã‚’ 変化ã•ã›ã‚‹ã¨ã„ã†ãƒ¢ãƒŽã .ã“ã‚Œã¯ãƒšãƒ¼ã‚¸å…¨ä½“を書ãæ›ãˆã‚‹å¾“æ¥ã®æ–¹æ³•ã¨é•ã„, ã™ã§ã«
selectよりkqueue,epoll(apache2ã®ã‚¹ã‚¹ãƒ¡) - 最速é…ä¿¡ç ”ç©¶ä¼š(@yamaz)
最近3人ã»ã©ã®ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã¨è©±ã—ãŸã®ã ãŒapache2ã«å¯¾ã—ã¦å‰²ã¨ãƒã‚¬ãƒ†ã‚£ãƒ–ãªæ„見をæŒã£ã¦ã„ãŸ. æ›°ã「既å˜ãƒ¢ã‚¸ãƒ¥ãƒ¼ãƒ«ãŒä½¿ãˆãªã„ã‹ã‚‰ã€ æ›°ã「スレッドベースã£ã¦ã¡ã‚‡ã£ã¨ã€‚。〠曰ã「WEBã§ã„ã„話èžã‹ãªã„ã‹ã‚‰ã€ 3人ã—ã‹è©±ã—ã¦ãªã„ã‚“ã ã‘ã©,3人ã¨ã‚‚「apache2ã¯ã‚¹ãƒ¬ãƒƒãƒ‰ã§ã—ã‹å‹•ã‹ãªã„ã€ã¨æ€ã„ã“ã‚“ã§ãŸã‚ˆã†ã§ã¡ã‚‡ã£ã¨ãŠã©ã‚ã„ãŸ.apache2ã§ã‚‚ StartServers 5 MinSpareServers 5 MaxSpareServers 64 MaxClients 100 MaxRequestsPerChild 10000 ã¨ã„ã†è¨å®šã‚’ã™ã‚‹ã“ã¨ã§ä»Šã¾ã§ã©ãŠã‚Špreforkモデルã§å‹•ã‹ã™ã“ã¨ã¯ã§ãã‚‹.preforkモデルã ã¨å„種ãƒãƒ³ãƒ‰ãƒ©ã‚‚スレッドセーフã«ç„¡ç†ã«ã™ã‚‹ã“ã¨ã¯ãªã„ã®ã§,ã‚ã‹ã£ã¦ã¦ä½¿ã†åˆ†ã«ã¯å•é¡Œãªã„. ç§ãŒapache2を勧ã‚ã‚‹1番ã®ç†ç”±ã¯apache2ã§ã¯ãƒªã‚¯ã‚¨ã‚¹ãƒˆã®å¤šé‡åŒ–処ç†
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Edge-triggered interfaces are too difficult? [LWN.net]
{{#tags}}- {{label}}
{{/tags}}