Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
Submit search
EN
Uploaded by
Hiroshi Toyama
3,479 views
Fluentdで本番環境を再現
Fluentd Meetup 2015 夏 で発表した資料です。
Software
◦
Read more
4
Save
Share
Embed
Embed presentation
Download
Download to read offline
1
/ 38
2
/ 38
3
/ 38
4
/ 38
5
/ 38
6
/ 38
7
/ 38
8
/ 38
9
/ 38
10
/ 38
11
/ 38
12
/ 38
13
/ 38
14
/ 38
15
/ 38
16
/ 38
17
/ 38
18
/ 38
19
/ 38
20
/ 38
21
/ 38
22
/ 38
23
/ 38
24
/ 38
25
/ 38
26
/ 38
27
/ 38
28
/ 38
29
/ 38
30
/ 38
31
/ 38
32
/ 38
33
/ 38
34
/ 38
35
/ 38
36
/ 38
37
/ 38
38
/ 38
More Related Content
PDF
マイクロにしすぎた結果がこれだよ!
by
mosa siru
PDF
ソーシャルゲームのためのデータベース設計
by
Yoshinori Matsunobu
PPTX
KeycloakでAPI認可に入門する
by
Hitachi, Ltd. OSS Solution Center.
PPTX
世界一わかりやすいClean Architecture
by
Atsushi Nakamura
PDF
MySQLで論理削除と正しく付き合う方法
by
yoku0825
PDF
AWSのログ管理ベストプラクティス
by
Akihiro Kuwano
PDF
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
by
Shin Ohno
PDF
コンテナの作り方「Dockerは裏方で何をしているのか?」
by
Masahito Zembutsu
マイクロにしすぎた結果がこれだよ!
by
mosa siru
ソーシャルゲームのためのデータベース設計
by
Yoshinori Matsunobu
KeycloakでAPI認可に入門する
by
Hitachi, Ltd. OSS Solution Center.
世界一わかりやすいClean Architecture
by
Atsushi Nakamura
MySQLで論理削除と正しく付き合う方法
by
yoku0825
AWSのログ管理ベストプラクティス
by
Akihiro Kuwano
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24
by
Shin Ohno
コンテナの作り方「Dockerは裏方で何をしているのか?」
by
Masahito Zembutsu
What's hot
PPTX
Redisの特徴と活用方法について
by
Yuji Otani
PPTX
その Pod 突然落ちても大丈夫ですか!?(OCHaCafe5 #5 実験!カオスエンジニアリング 発表資料)
by
NTT DATA Technology & Innovation
PDF
コンテナ未経験新人が学ぶコンテナ技術入門
by
Kohei Tokunaga
PDF
Dockerからcontainerdへの移行
by
Kohei Tokunaga
PDF
これからはじめるインフラエンジニア
by
外道 父
PDF
認証の標準的な方法は分かった。では認可はどう管理するんだい? #cmdevio
by
都元ダイスケ Miyamoto
PPTX
ネットストーカー御用達OSINTツールBlackBirdを触ってみた.pptx
by
Shota Shinogi
PDF
DDD x CQRS 更新系と参照系で異なるORMを併用して上手くいった話
by
Koichiro Matsuoka
PPTX
関数型・オブジェクト指向宗教戦争に疲れたなたに送るGo言語入門
by
Tadahiro Ishisaka
PDF
シリコンバレーの「何が」凄いのか
by
Atsushi Nakada
PDF
RESTful Web アプリの設計レビューの話
by
Takuto Wada
PPTX
SPAセキュリティ入門~PHP Conference Japan 2021
by
Hiroshi Tokumaru
PDF
実録Blue-Green Deployment導入記
by
Hiroyuki Ohnaka
PDF
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
by
Takuto Wada
PDF
REST API のコツ
by
pospome
PDF
Where狙いのキー、order by狙いのキー
by
yoku0825
PDF
新たなgitのブランチモデル「Git Feature Flow」!Git Flow,Git Hub Flow,Git Lab Flowを超えれるか?
by
naoki koyama
PDF
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
by
Yoshiki Hayama
PPTX
Azure Api Management 俺的マニュアル 2020年3月版
by
貴志 上坂
PDF
今からでも遅くないDBマイグレーション - Flyway と SchemaSpy の紹介 -
by
onozaty
Redisの特徴と活用方法について
by
Yuji Otani
その Pod 突然落ちても大丈夫ですか!?(OCHaCafe5 #5 実験!カオスエンジニアリング 発表資料)
by
NTT DATA Technology & Innovation
コンテナ未経験新人が学ぶコンテナ技術入門
by
Kohei Tokunaga
Dockerからcontainerdへの移行
by
Kohei Tokunaga
これからはじめるインフラエンジニア
by
外道 父
認証の標準的な方法は分かった。では認可はどう管理するんだい? #cmdevio
by
都元ダイスケ Miyamoto
ネットストーカー御用達OSINTツールBlackBirdを触ってみた.pptx
by
Shota Shinogi
DDD x CQRS 更新系と参照系で異なるORMを併用して上手くいった話
by
Koichiro Matsuoka
関数型・オブジェクト指向宗教戦争に疲れたなたに送るGo言語入門
by
Tadahiro Ishisaka
シリコンバレーの「何が」凄いのか
by
Atsushi Nakada
RESTful Web アプリの設計レビューの話
by
Takuto Wada
SPAセキュリティ入門~PHP Conference Japan 2021
by
Hiroshi Tokumaru
実録Blue-Green Deployment導入記
by
Hiroyuki Ohnaka
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
by
Takuto Wada
REST API のコツ
by
pospome
Where狙いのキー、order by狙いのキー
by
yoku0825
新たなgitのブランチモデル「Git Feature Flow」!Git Flow,Git Hub Flow,Git Lab Flowを超えれるか?
by
naoki koyama
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
by
Yoshiki Hayama
Azure Api Management 俺的マニュアル 2020年3月版
by
貴志 上坂
今からでも遅くないDBマイグレーション - Flyway と SchemaSpy の紹介 -
by
onozaty
Viewers also liked
PDF
CoreOS入門
by
Yutaka Matsubara
PPTX
マイナスを0にもっていくまで
by
Sora Hasimoto
PPTX
インフラエンジニアLv1がWordPressまわりに色々してみた話
by
Daisuke Kikuchi
PDF
Markdownでドキュメント作成
by
Yasuyuki Fujikawa
PDF
Re:dash Use Cases at iPROS
by
Jumpei Yokota
PDF
re:dash is awesome
by
Hiroshi Toyama
PPTX
Fluentd+MongoDB+Groovy
by
Daisuke Ando
PPTX
Vagrant
by
Hiroshi Toyama
PPTX
Ipros techmeetup 20131218_scala_handson
by
honda-y
PPTX
リーダブルコード 1.0'
by
Yamamura Takashi
PPTX
Fluentd勉強会 (導入編 TreasureData活用)
by
takeuchi-tk
PPTX
Fluentd
by
Hiroshi Toyama
PPTX
仮想マシンとVagrant + Vagrant 1.5
by
Daisuke Kikuchi
PDF
Fluentd introduction at ipros
by
Treasure Data, Inc.
PDF
戦国時代を生きた「黒田官兵衛」とWeb時代を生きる「エンジニア」
by
Junya Yamaguchi
DOCX
6331 sayılı isg kanunu
by
NESİL BİLİŞİM TEKNOLOJİLERİ -
PPTX
Hubotを使ってbotをつくろう!
by
Daisuke Kikuchi
PDF
CSS Nite LP38に行ってきた
by
Yasuyuki Fujikawa
PDF
MBaaS - Parse
by
Junya Yamaguchi
PPTX
初心者Vimmerによるvim+rails開発
by
Daisuke Kikuchi
CoreOS入門
by
Yutaka Matsubara
マイナスを0にもっていくまで
by
Sora Hasimoto
インフラエンジニアLv1がWordPressまわりに色々してみた話
by
Daisuke Kikuchi
Markdownでドキュメント作成
by
Yasuyuki Fujikawa
Re:dash Use Cases at iPROS
by
Jumpei Yokota
re:dash is awesome
by
Hiroshi Toyama
Fluentd+MongoDB+Groovy
by
Daisuke Ando
Vagrant
by
Hiroshi Toyama
Ipros techmeetup 20131218_scala_handson
by
honda-y
リーダブルコード 1.0'
by
Yamamura Takashi
Fluentd勉強会 (導入編 TreasureData活用)
by
takeuchi-tk
Fluentd
by
Hiroshi Toyama
仮想マシンとVagrant + Vagrant 1.5
by
Daisuke Kikuchi
Fluentd introduction at ipros
by
Treasure Data, Inc.
戦国時代を生きた「黒田官兵衛」とWeb時代を生きる「エンジニア」
by
Junya Yamaguchi
6331 sayılı isg kanunu
by
NESİL BİLİŞİM TEKNOLOJİLERİ -
Hubotを使ってbotをつくろう!
by
Daisuke Kikuchi
CSS Nite LP38に行ってきた
by
Yasuyuki Fujikawa
MBaaS - Parse
by
Junya Yamaguchi
初心者Vimmerによるvim+rails開発
by
Daisuke Kikuchi
Similar to Fluentdで本番環境を再現
PDF
Fluentとmongoで作るサービス
by
直也 堀松
PDF
Fluentd casual
by
oranie Narut
PPTX
Fluentd+elasticsearch+kibana(fluentd編)
by
Daisuke Kikuchi
PDF
FluentdとGrothForecastをインストールする
by
regret raym
PDF
Shadow Server on Fluentd at Fluentd Casual Talks #3
by
Naotoshi Seo
PDF
Fluentd in #tkrk10
by
SATOSHI TAGOMORI
PPTX
Fluentd1.2 & Fluent Bit
by
Seiya Mizuno
KEY
Webサーバ勉強会 LT資料
by
学 松崎
PDF
社内向けTech Talk資料~Fluentdの基本紹介~
by
Daisuke Ikeda
PDF
Fluentdのお勧めシステム構成パターン
by
Kentaro Yoshida
PDF
第二回IoT関連技術勉強会 ログ収集編
by
tzm_freedom
PDF
OSSで支えられるライブドアの巨大ログ集計 #nhntech
by
SATOSHI TAGOMORI
PDF
Twitter クライアント “Termtter” の紹介と収集したソーシャルデータを Fluentd + Hadoop で分析する話
by
id774
PPTX
Fluxflex meetup 2011 in Tokyo
by
Kyosuke Inoue
PDF
BMP活用による SDN時代のオーバレイNW監視手法の提案
by
Toshiki Tsuboi
PPTX
545人のインフラを支えたNOCチーム!
by
Masayuki Kobayashi
PDF
AWSで透過プロキシをやってみた
by
kuro kuro
PPTX
Flumeを活用したAmebaにおける大規模ログ収集システム
by
Satoshi Iijima
PDF
Play_using_Proxy
by
Kunio Miyamoto, Ph.D.
PDF
Play_using_Proxy
by
Kunio Miyamoto, Ph.D.
Fluentとmongoで作るサービス
by
直也 堀松
Fluentd casual
by
oranie Narut
Fluentd+elasticsearch+kibana(fluentd編)
by
Daisuke Kikuchi
FluentdとGrothForecastをインストールする
by
regret raym
Shadow Server on Fluentd at Fluentd Casual Talks #3
by
Naotoshi Seo
Fluentd in #tkrk10
by
SATOSHI TAGOMORI
Fluentd1.2 & Fluent Bit
by
Seiya Mizuno
Webサーバ勉強会 LT資料
by
学 松崎
社内向けTech Talk資料~Fluentdの基本紹介~
by
Daisuke Ikeda
Fluentdのお勧めシステム構成パターン
by
Kentaro Yoshida
第二回IoT関連技術勉強会 ログ収集編
by
tzm_freedom
OSSで支えられるライブドアの巨大ログ集計 #nhntech
by
SATOSHI TAGOMORI
Twitter クライアント “Termtter” の紹介と収集したソーシャルデータを Fluentd + Hadoop で分析する話
by
id774
Fluxflex meetup 2011 in Tokyo
by
Kyosuke Inoue
BMP活用による SDN時代のオーバレイNW監視手法の提案
by
Toshiki Tsuboi
545人のインフラを支えたNOCチーム!
by
Masayuki Kobayashi
AWSで透過プロキシをやってみた
by
kuro kuro
Flumeを活用したAmebaにおける大規模ログ収集システム
by
Satoshi Iijima
Play_using_Proxy
by
Kunio Miyamoto, Ph.D.
Play_using_Proxy
by
Kunio Miyamoto, Ph.D.
Fluentdで本番環境を再現
1.
Fluentdで 本番環境を再現 するFluentd Meetup 2015 夏
2.
3.
4.
https://iprostm.doorkeeper.jp /events/25664 参加者募集中! Speakerになってもいい人いたら是非連絡ください! @toyama0919
5.
6.
アジェンダ Shadow Proxy fluent-plugin-http_shadow ユースケース まとめ
7.
Shadow Proxy
8.
Shadow Proxy productionのhttp requestを複製してバックエンドに送 信するproxy 限りなく本番に近い環境をを再現できる 主な用途は負荷試験や結合試験 本番環境を開発環境で再現するアプローチ
9.
10.
Shadow Proxy何故? WEBのtestが年々複雑化してきている 本番に入れてみたら変なデータが入ってきて落ちた り。。 本番運用したら負荷が大きすぎて落ちたり。。
11.
導入 するしかない!
12.
方式を考えた 公開されているOSSを使う cookpad/kage lestrrat/p5-Geest kentaro/delta mod_mrubyやngx_mruby nginx層やapache層の処理をmrubyでscriptingできる
13.
14.
15.
懸念点があった ユーザーに密接するフロントエンドにミドルウェアをあ まり入れたくない proxyが挟まることによるユーザーへの影響が不安 もう少し安全にやりたい 要はフロントエンドに手を入れずShadow Proxyやりたい
16.
Fluentdで 出来そうな予感
17.
fluent-plugin-http_shadow
18.
fluent-plugin-http_shadow Fluentdからhttp requestを復元 フロントエンドに手を入れずにShadow Proxyを実現 ApacheやNginxのログを想定しているが、専用のログで post等も実現可能
19.
20.
パラメータ rateによる希釈 timeout 並列数 http headerとcookieを指定可能 virtual host
21.
rateによる希釈 本番と同じスペックを揃えられない 同じrequestを送信したらstaging環境が破裂した 最初は1%で運用、徐々に上げてくのが安全
22.
timeout timeoutが長すぎるとbufferが詰まる fluent-plugin-elasticsearchと同じ 短いtimeoutであればclient側でtimeoutするのでbuffer が詰まりにくい
23.
並列数 Apache Benchの用にhttp requestを並列で投げる Aggregatorが複数あればrequest元を分散できる あまり一斉にrequestを投げるとサーバー側が破裂する サーバー数でscaleさせたい場合は各サーバーの並列数を 低めに
24.
注意点config_paramsにhashが使えないversionはダメ
25.
<match http_shadow.example> type http_shadow host_hash
{ "www.example.com": "staging.example.com", } host_key host path_format ${path} method_key method header_hash { "Referer": "${referer}", "User-Agent": "${user_agent}" } max_concurrency 10 flush_interval 10 timeout 10 rate 10 </match>
26.
ユースケース
27.
主なユースケース バグ発見器 パフォーマンスの比較
28.
バグ発見器 開発環境でとりあえず流しとけば結構バグが見つかるw 通常テスト時には邪魔になるので、rateを下げる
29.
昨今のミドルウェア更新頻度 開発が活発なミドルウェアは毎週のようにアップデート が実施される ライブラリのアップデートの更新頻度も年々上がってい る 特にOSSだとその傾向が強い アップデートしないという選択肢もある
30.
ミドルウェアアップデート時 同じWEBサーバを2つ用意し、片方だけアップデートす る fluentdのcopyでhttp_shadowのmatch directiveを作る 全く同じrequestが送信されることが保証される newrelicでパフォーマンスを比較
31.
copyで複製<match http_shadow.**> type copy <store> type
http_shadow ... </store> <store> type http_shadow ... </store> ... </match>
32.
33.
productionと比較は? productionと同じ構成には費用がかかる Fluentdのcopyで同一のhttp requestが保証できる 環境間の差分を見る
34.
まとめと感想
35.
完全なShadow環境は難しい メールアドレスはMASKされており本番と違う Postのパラメータはログに出せない Kageでもgetだけ送信するようなサンプルが提示されて たりする ブラウザによるアクセスではない
36.
完全なるShadow環境は危険 意図しないデータの更新 Get(参照系)だけでも9割は再現出来る 管理画面とかとは相性が悪い
37.
まとめ shadow環境はバグを沢山見つけてくれる ミドルウェアの更新頻度が多い現代に合っている Fluentd上ならこういったことがCasualにできる
38.
ありがとう ございました
Download