終了 2015/10/15（木） 19:00〜 ãƒã‚°åˆ†æžå‹‰å¼·ä¼š vol.1 ã‚»ã‚ュリティã®é™£ kenji kobayashi ä»– æ±äº¬éƒ½åƒä»£ç”°åŒºå¹³æ²³ç”º2-16-1 平河町森タワー2F
ãƒã‚°åˆ†æžå‹‰å¼·ä¼š vol.1 - 資料一覧 - connpass
終了 2015/10/15（木） 19:00〜 ãƒã‚°åˆ†æžå‹‰å¼·ä¼š vol.1 ã‚»ã‚ュリティã®é™£ kenji kobayashi ä»– æ±äº¬éƒ½åƒä»£ç”°åŒºå¹³æ²³ç”º2-16-1 平河町森タワー2F
Pascal〜Puree + ngx_lua + Fluentd + BigQueryã§ã¤ãるメルカリã®ãƒã‚°åˆ†æžåŸºç›¤ã€œ
Pascal〜Puree + ngx_lua + Fluentd + BigQueryã§ã¤ãるメルカリã®ãƒã‚°åˆ†æžåŸºç›¤ã€œ Backend Author: cubicdaiya エンジニアã§ã¯ãªãプãƒã‚°ãƒ©ãƒžã¨å‘¼ã°ã‚ŒãŸã„@cubicdaiyaã§ã™ã€‚今回ã¯ãƒ¡ãƒ«ã‚«ãƒªã®ãƒã‚°åˆ†æžåŸºç›¤ã®ãŠè©±ã§ã™ã€‚ メルカリã«ãŠã‘ã‚‹ãƒã‚°ãƒ‡ãƒ¼ã‚¿åˆ†æž メルカリã§ã¯åˆæœŸã®é ƒã‹ã‚‰ãƒã‚°ãƒ‡ãƒ¼ã‚¿ã®åˆ†æžã‚’サービスã®æˆé•·ã«ã¨ã£ã¦é‡è¦ãªã‚¿ã‚¹ã‚¯ã¨ã—ã¦ä½ç½®ã¥ã‘ã€ãã®ãŸã‚ã®åŸºç›¤ä½œã‚Šã«å–り組んã§ãã¾ã—ãŸã€‚ãƒã‚°ã®ç¨®é¡žã¯ã„ãã¤ã‹ã‚ã‚Šã¾ã™ãŒã€ä¸ã§ã‚‚代表的ãªã®ãŒã‚¢ãƒ—リケーションサーãƒã§å‡ºåŠ›ã•ã‚Œã‚‹ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã‚„アプリケーション固有ã®ãƒã‚°ã§ã™ã€‚ã“れらã®ãƒã‚°ã¯ã‚µã‚¤ã‚ºãŒå¤§ãã„ã®ã§åŠ¹çŽ‡è‰¯ããƒã‚°ãƒ‡ãƒ¼ã‚¿ã‚’転é€ã™ã‚‹ãŸã‚ã®å·¥å¤«ãŒå¿…è¦ã«ãªã‚Šã¾ã™ã€‚ãã“ã§æ´»èºã™ã‚‹ã®ãŒFluentdã§ã™ã€‚ 大雑把ã«èª¬æ˜Žã™ã‚‹ã¨ã‚¢ãƒ—リケーションサーãƒã§å‡ºåŠ›ã•ã‚ŒãŸãƒã‚°ã¯Fluentdã‹ã‚‰æœ€çµ‚çš„ã«BigQu
DMMゲームã®ãƒã‚°è§£æž~ãƒã‚°åŽé›†ã¨è§£æžã®æ¦‚è¦~ - DMM.comラボエンジニアブãƒã‚°
ç¾åœ¨ã‚ªãƒ³ãƒ©ã‚¤ãƒ³ã‚²ãƒ¼ãƒ ã®ãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰ã€KPIシステムを担当ã—ã¦ã„ã¾ã™ãƒžã‚µãƒ¨ã‚·ã§ã™ã€‚ 今回ã®ãƒ–ãƒã‚°ã§ã¯ã€DMMオンラインゲームã§å®Ÿéš›ã«å®Ÿè£…ã—ã¦ã„ã‚‹ãƒã‚°ã¨KPI】ã«é–¢ã—ã¦3回ã«ã‚ãŸã£ã¦ã”紹介致ã—ã¾ã™ã€‚ DMMオンラインゲームã§ã¯ã€ã“ã‚Œã¾ã§ã¯ã‚ªãƒ³ãƒ©ã‚¤ãƒ³ã‚²ãƒ¼ãƒ ã®ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã”ã¨ã«è¡Œã£ã¦ã„ãŸãƒã‚°ã®åŽé›†æ–¹æ³•ã‚’統一ã—ã€ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã«ä¾å˜ã—ãªã„基本KPI機能ã¨ã‚²ãƒ¼ãƒ 独自ã®KPI機能を実装ã™ã‚‹ãŸã‚ã®ãƒ•ãƒ¬ãƒ¼ãƒ ワークを開発ã—ã¾ã—ãŸã®ã§ãã®äº‹ä¾‹ã‚’ã‚‚ã¨ã«ã”紹介ã—ã¾ã™ã€‚ ãƒã‚°åŽé›†ã€è§£æžã®æ¦‚è¦ ã¾ãšã€ã‚ªãƒ³ãƒ©ã‚¤ãƒ³ã‚²ãƒ¼ãƒ ã®ãƒã‚°åŽé›†ã®å…¨ä½“åƒã‚’ã”紹介ã—ã¾ã™ã€‚ オンラインゲームã®ãƒã‚°åŽé›†ã§ã¯Apacheã‚„nginxã€PHPã®ãƒã‚°ã‚’fluentdã§åŽé›†ã—ã¦ã„ã¾ã™ã€‚ fluentdã«é›†ã‚ãŸãƒã‚°ã‚’Hadoopã®åˆ†æ•£å‡¦ç†ã‚·ã‚¹ãƒ†ãƒ ã«ä¿å˜ã—ã€Hiveã‚„Impalaã§è§£æžã‚’ã™ã‚‹æµã‚Œã«ãªã£ã¦ã„ã¾ã™ã€‚ ã”å˜çŸ¥ã®æ–¹ã‚‚多ã„ã¨æ€ã„ã¾ã™ãŒã€Hiveã¨ã¯HD
スマートニュースã®ä¸–界進出を支ãˆã‚‹ãƒã‚°è§£æžåŸºç›¤ #jawsdays #tech
スマートニュースã¯æ˜¨å¹´ã® 10/1 ã«ç±³å›½ç‰ˆã‚’ãƒãƒ¼ãƒ³ãƒã™ã‚‹ã«ã‚ãŸã‚Šã€ãƒã‚°è§£æžåŸºç›¤ã®ãƒªãƒ‹ãƒ¥ãƒ¼ã‚¢ãƒ«ã‚’è¡Œã„ã¾ã—ãŸã€‚日本ã«åŠ ãˆã¦ç±³å›½ã‚„ãã®ä»–ã®å›½ãŒå…¥ã£ã¦ãã‚‹ã“ã¨ã«ã‚ˆã‚Šã€å˜ãªã‚‹ãƒ¦ãƒ¼ã‚¶æ•°ã®å¢—åŠ ã«åŠ ãˆã€OS x 国 x タイムゾーン x 多種多様ãªãƒ¡ãƒˆãƒªã‚¯ã‚¹ã®ã‚ˆã†ãªé›†è¨ˆè»¸ãŒå¢—ãˆã‚‹ã“ã¨ã§ã€ãƒã‚°ã®å‰å‡¦ç†ã€é›†è¨ˆã€å¯è¦–化ã«æ§˜â€¦
ターミナルã®æ“作ãƒã‚°ã‚’自動ã§æ®‹ã—ãŸã„
プãƒã‚»ã‚¹ã‚¢ã‚«ã‚¦ãƒ³ãƒ†ã‚£ãƒ³ã‚°ç”¨ã«åºƒã利用ã§ãる物ã¨ã—㦠"Process Accounting Utility" ãŒã‚ã‚Šã¾ã™ã€‚環境ã«ã‚ˆã£ã¦ã€ãƒ‘ッケージã®åå‰ãŒã€ psacct ã‚‚ã—ã㯠acct ã«ãªã£ã¦ã„ã‚‹ã‚‚ã®ã§ã™ã€‚ $ # インストール (ubuntu) $ apt-get install acct 用æ„ã•ã‚Œã¦ã„るコマンド lastcomm: 実行ã•ã‚ŒãŸã‚³ãƒžãƒ³ãƒ‰ã®è¡¨ç¤º ac : ユーザã®æŽ¥ç¶šæ™‚é–“ã®è¡¨ç¤º sa: éŽåŽ»ã«å®Ÿè¡Œã•ã‚ŒãŸã‚³ãƒžãƒ³ãƒ‰ã®é›†è¨ˆï¼ãƒ•ã‚£ãƒ«ã‚¿ ※ 質å•ã®è¦ä»¶ã‚’満ãŸã™ãŸã‚ã«ã€ä¸€èˆ¬ãƒ¦ãƒ¼ã‚¶ãƒ¼ã‹ã‚‰ã¯ã“れらã®ã‚³ãƒžãƒ³ãƒ‰ãŒå®Ÿè¡Œã§ããªã„よã†ã«ã—ã¦ãã ã•ã„。 アカウンティングサービスã®å®Ÿè¡Œ $ # サービスã®é–‹å§‹ $ /etc/init.d/acct start $ # サービスã®åœæ¢ $ /etc/init.d/acct stop 実際ã¯ã€accton コマンドã«ã‚ˆã£ã¦ãƒ—ãƒã‚»ã‚¹ç›£è¦–ãŒå§‹ã‚られã¾ã™ã€‚
俺ã¨ãŠã¾ãˆã¨awk - 俺ãŸã¡ã®ãƒ–ãƒã‚°
「EFK (Elasticsearch + Fluentd + Kibana) ãªã‚“ã¦ç”˜ãˆã§ã™ã‚ˆã€æ¼¢ã¯é»™ã£ã¦ awk | sort | uniq -c ã§ã™ã‚ˆã€ã¨èª°ã‹ãŒè¨€ã£ã¦ãŸã‚ˆã†ãªè¨€ã£ã¦ãªã‹ã£ãŸã‚ˆã†ãªæ°—ãŒã™ã‚‹ã®ã§ãƒã‚°ã•ã‚‰ã†æ™‚ã«è‡ªåˆ†ãŒã‚ˆã使ㆠawk 芸ã«ã¤ã„ã¦æ›¸ãã¾ã™ã€‚ 想定データサンプル ã“ã‚“ãªãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã§å‡ºã‚‹ TSV å½¢å¼ã® Web アプリケーションãƒã‚°ãŒã‚ã£ãŸã¨ã—ã¾ã™ã€‚[TAB] ã¯ã‚¿ãƒ–æ–‡å—ã§ã™ã€‚ 時間[TAB]ステータス[TAB]HTTPメソッド[TAB]URI[TAB]リクエストタイム例ãˆã°ã“ã‚“ãªæ„Ÿã˜ã§ã™ã€‚ã“ã®ãƒã‚°ã‚’ awk 芸ã§å‡¦ç†ã—ã¦ã„ãã¾ã™ã€‚ access.log 2014-12-05 12:00:00[TAB]200[TAB]GET[TAB]/api/v1/ping[TAB]0.017832 2014-12-05 12:00:01[TAB]200[TAB]POST[
モãƒã‚¤ãƒ«ã‚¢ãƒ—リã®ãƒã‚°åŽé›†ãƒ©ã‚¤ãƒ–ラリ「Pureeã€ã‚’リリースã—ã¾ã—㟠- クックパッド開発者ブãƒã‚°
モãƒã‚¤ãƒ«ãƒ•ã‚¡ãƒ¼ã‚¹ãƒˆå®¤ã® @rejasupotaro ã§ã™ã€‚ クックパッドã§ã¯ã€ã‚µãƒ¼ãƒ“スをリリースã—ã¦ãƒã‚°ã‚’åŽé›†ã—ã¦åˆ†æžã—ã¦æ”¹å–„ã—ã¦ã¾ãŸãƒªãƒªãƒ¼ã‚¹ã—ã¦ã€ã¨ã„ã†ã‚µã‚¤ã‚¯ãƒ«ã‚’ç´ æ—©ã回ã™ã“ã¨ã§ã‚ˆã‚Šè‰¯ã„ã‚‚ã®ã‚’作るã¨ã„ã†ã“ã¨ã‚’ウェブã§ã¯ã‚„ã£ã¦ãã¾ã—ãŸã€‚ クックパッドã®ã‚µãƒ¼ãƒ“ス開発ã®ãƒ•ãƒ¬ãƒ¼ãƒ ワークをモãƒã‚¤ãƒ«ã‚¢ãƒ—リã§ã‚‚é©ç”¨ã—ãŸã„ã®ã§ã™ãŒã€ãƒ¢ãƒã‚¤ãƒ«ã‚¢ãƒ—リã«ã¯ã‚¦ã‚§ãƒ–アプリã¨é•ã£ãŸãƒã‚®ãƒ³ã‚°ã®é›£ã—ã•ãŒã‚ã‚Šã¾ã™ã€‚ 今回ã¯ãƒ¢ãƒã‚¤ãƒ«ã‚¢ãƒ—リã®ãƒã‚®ãƒ³ã‚°ã®å•é¡Œç‚¹ã¨Pureeã¨ã„ã†ãƒã‚°åŽé›†ãƒ©ã‚¤ãƒ–ラリã«ã¤ã„ã¦è©±ã—ã¾ã™ã€‚ モãƒã‚¤ãƒ«ã‚¢ãƒ—リã®ãƒã‚®ãƒ³ã‚°ã®é›£ã—㕠ウェブアプリã§ã¯ã€åŸºæœ¬çš„ã«ã¯ã‚µãƒ¼ãƒãƒ¼å´ã§ãƒã‚°ã‚’åŽé›†ã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ãŒã€ãƒ¢ãƒã‚¤ãƒ«ã‚¢ãƒ—リã®å ´åˆã¯ç”»é¢ã®åˆ¶å¾¡ã¯ã‚¢ãƒ—リå´ã§è¡Œã‚ã‚Œã€APIを介ã—ã¦ãƒ‡ãƒ¼ã‚¿ã‚’å—ã‘å–ã‚‹ãŸã‚ã€ã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆå´ã§ãƒã‚°ã‚’åŽé›†ã—ã¦é€ä¿¡ã™ã‚‹å¿…è¦ãŒã‚ã‚Šã¾ã™ã€‚ アプリã®ãƒã‚°ã‚’åŽé›†ã™ã‚‹ã®ã«ã€ç”»é¢é·ç§»ã‚’ã—ãŸã‚Šã‚¿ãƒƒãƒ—ã™ã‚‹ãŸã³ã«ã‚µãƒ¼ãƒãƒ¼
Rails4 + Fluentd + MySQL ã§ãƒ©ãƒ³ã‚ング機能作ã£ã¦ã¿ãŸ - ç‹è‚‰ã¨ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ãƒªãƒ³ã‚°ã§ ã™ã¹ã¦ã‚’解決ã™ã‚‹ãƒ–ãƒã‚°
アクセスランã‚ングを作ã£ã¦ã¿ã‚ˆã†ï¼ 今ã€Rails4 を使ã£ã¦ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã‹ã‚‰ãƒ©ãƒ³ã‚ング作ã£ã¦ã¿ãŸã„ãªãーã¨æ€ã£ã¦ãŸã‚“ã§ã™ãŒã€ã¿ã‚“ãªã©ã†ã‚„ã£ã¦ã‚“ã ã‚ã†ã£ã¦èžã„ã¦ã¿ãŸã¨ã“ã‚〠Fluentd ã£ã¦ã®ã‚’組ã¿è¾¼ã‚€ã ã‘ã§ç°¡å˜ã«é›†è¨ˆã¨ã‹ã§ãるよーã£ã¦è©±ã ã£ãŸã®ã§ã€ä½¿ã£ã¦ã¿ã¾ã—ãŸã€‚ Fluentd ã¨ã¯ ã¾ãšèªã¿æ–¹ã¯ã€ 「ãµã‚‹ãƒ¼ãˆã‚“ã¨ã§ãƒãƒ¼ã€ã§ã‚ã£ã¦ã€ã€Œãµã‚‹ãƒ¼ãˆã‚“ã©ã€ã¨ã‹ã˜ã‚ƒãªã„ã£ã½ã„ã§ã™ã€‚d ã¯ãŸã¶ã‚“デーモン㮠d 。 色々説明é¢å€’ãªã‚“ã§çœç•¥ã—ã¾ã™ãŒã€ãƒã‚°åŽé›†å…ƒã¨ã‹å‡ºåŠ›å…ˆãŒç°¡å˜ã«è¨å®šã§ãã¦ã€è‡ªåˆ†ã®æ¬²ã—ã„å½¢ã§ãƒã‚°ä¿æŒã§ãã¾ã™ã‚ˆãƒ¼ã£ã¦æ„Ÿã˜ã£ã½ã„。ãªã®ã§ã€ 「シェルスクリプトã§å‡¦ç†ã—㟠tail ã®å‡¦ç†çµæžœã‚’ファイルã«ã€ã€Œnginx ã‹ã‚‰å‡ºåŠ›ã•ã‚ŒãŸã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã‚’ mongoDB ã«ã€ã¨ã‹ãã†ã„ã†å‡¦ç†ã‚’自å‰ã§æ›¸ãå¿…è¦ãªãã€ç°¡å˜ãªè¨å®šã ã‘ã§ã„ã‘ã¡ã‚ƒã†ã€‚ 詳ã—ã㯠→ 柔軟ãªãƒã‚°åŽé›†ã‚’å¯èƒ½ã«ã™ã‚‹ã€Œfluentd
Apacheã®ãƒã‚°ã‹ã‚‰å¿œç”速度分布やエラー状æ³ã‚’分æžã™ã‚‹ï¼ˆåŽŸå§‹çš„ãªæ–¹æ³•ï¼‰
éŠã³ã§ Apache ã®ãƒã‚°ã‚’分æžã—ãŸæ™‚ã®ãƒ¡ãƒ¢ã§ã™ã€‚ Google Analytics ã‚„ Chartbeat ãªã©ã®ãƒ–ラウザå´è§£æžãƒ„ールも便利ã§ã™ãŒã€ã‚µãƒ¼ãƒã®å¥å…¨æ€§ã‚’確èªã™ã‚‹ã«ã¯ã€Apache ã®ãƒã‚°è§£æžã‚‚ã¾ã ã¾ã ä¸è¦ã¨ã¯è¨€ãˆãªã„ã¨æ€ã„ã¾ã™ã€‚ awk ã®åŠ›æŠ€ã§è§£æžã™ã‚‹ã®ã§ã€ã‚ã¾ã‚Šå·¨å¤§ãªãƒ‡ãƒ¼ã‚¿ã§ã¯ç„¡ç†ãŒã‚ã‚Šã¾ã™ãŒã€å€‹äººã‚µã‚¤ãƒˆã«æ¯›ãŒç”ŸãˆãŸãらã„ã¾ã§ãªã‚‰å分使ãˆã‚‹ã§ã—ょã†ã€‚ 記事最後ã®å‚考ページをパクã£ã¦ã¡ã‚‡ã£ã¨ã„ã˜ã£ãŸã ã‘ã§ã™ãŒã€è‡ªåˆ†ç”¨ã®å‚™å¿˜éŒ²ã£ã¦äº‹ã§ã€‚ ãªãŠã€å‚考ページã®æ–¹ã¯ã€ã‚¹ãƒ†ãƒ¼ã‚¿ã‚¹ã‚³ãƒ¼ãƒ‰ 500/200 ã®æ¯”率を出ã™ãƒ¯ãƒ³ãƒ©ã‚¤ãƒŠãƒ¼ç‰ãªã©ã‚‚作ã£ã¦ãŠã‚‰ã‚Œã¾ã™ã€‚ Apacheã®ãƒã‚°ã«å‡¦ç†æ™‚間を出力ã™ã‚‹è¨å®šã¾ãšã¯ã€Apache ã®ãƒã‚°ã«å‡¦ç†æ™‚é–“ãŒå‡ºåŠ›ã•ã‚Œã¦ã„ãªã„ã¨è©±ãŒå§‹ã¾ã‚Šã¾ã›ã‚“。 httpd.conf ãªã‚Šã§ combined å½¢å¼ã®æœ€å¾Œã« %D (処ç†æ™‚間をマイクãƒç§’ã§ï¼‰ã‚’è¿½åŠ ã—㟠Log
1
ãŠçŸ¥ã‚‰ã›
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Kibanaã§ãƒã‚°åˆ†æžã‚’1年続ã‘ã¦ã¿ãŸã‚‰æ¥å‹™ã‚·ã‚¹ãƒ†ãƒ ã®ä¿å®ˆã¨é‹ç”¨ãŒæ—ã£ãŸ / How&Why I have been leveraging Kibana for DevOps
{{#tags}}- {{label}}
{{/tags}}