Automate Deployment of the ELK/EFK Stack with Ansible
I recently needed to completely automate deploying a full ELK/EFK stack and clients and didn’t find anything that suited my needs so I wrote the playbooks for this in Ansible. This was my first real foray into automation with Ansible, hope it’s useful to others. What is ELK? ELK is an acronym for an extremely useful stack of log aggregation and datastore utilities for centralized log management a
RDS(MySQL) ã®ã‚¹ãƒãƒ¼ã‚¯ã‚¨ãƒªã‚’ EFK スタック + Docker ã§å‡ºæ¥ã‚‹ã ã‘手軽ã«å¯è¦–化ã™ã‚‹è€ƒå¯Ÿ - よã†ã¸ã„ã®æ—¥ã€…精進XP
モãƒãƒ™ãƒ¼ã‚·ãƒ§ãƒ³ RDS ã®å‹‰å¼·ã‚’ã—ãŸã„→スãƒãƒ¼ã‚¯ã‚¨ãƒªã®è¨å®šã‚’見ã¦ã¿ã‚ˆã† RDS ã®ã‚¹ãƒãƒ¼ã‚¯ã‚¨ãƒªã‚’ãŠæ‰‹è»½ã«å¯è¦–化出æ¥ãªã„ã‚‚ã®ã‹ Elasticsearch + Fluentd + Kibana(EFK スタック) を改ã‚ã¦å‹‰å¼·ã—ãŸã„ 実サービスã¸ã®å½±éŸ¿ã‚’極力抑ãˆãŸã„ å¯è¦–化ã™ã‚‹æ‰‹é–“ã¯æ¥µåŠ›çœã ã¨ã„ã†ã“ã¨ã§ã€Elasticsearch + fluentd + Kibana + docker-compose を利用ã™ã‚‹ã“ã¨ã§ã€ã»ã¼ã‚³ãƒžãƒ³ãƒ‰ä¸€ç™ºã§å¯è¦–化ã™ã‚‹ç’°å¢ƒã¯èµ·å‹•ã™ã‚‹ç’°å¢ƒã‚’作ã£ã¦ã¿ãŸã€‚ github.com å‚考 https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/USER_LogAccess.Concepts.MySQL.html https://github.com/kenjiskywalker/fluent-plugin
3分ã§EFK(ElasticSearch+Fluentd+Kibana)を構築ã™ã‚‹ - Qiita
ã¯ã˜ã‚㫠今更ãªãŒã‚‰ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“ãŒã€EFK(ElasticSearch+Fluentd+Kibana)を試ã—ã¦ã¿ã¦ã¾ã™ã€‚ ã¡ã‚‡ã£ã¨è©¦ã—ãŸã„ã ã‘ãªã®ã«ä¸€æ¯ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã›ãã°ãªã‚‰ã‚“ã®ã§ã™ã。。。ã¨ã„ã†ã“ã¨ã§EFK構æˆã‚’構築ã™ã‚‹ansibleã®playbookを作ã£ã¦ã¿ã¾ã—ãŸã€‚良ã‘ã‚Œã°ä½¿ã£ã¦ãã ã•ã„。 Forwarder - https://github.com/uzresk/ansible-td-agent.git EFK - https://github.com/uzresk/ansible-efk.git 3分ã§æ§‹ç¯‰ã™ã‚‹å‰æäº‹é … ansibleãŒä½¿ãˆã‚‹ã“㨠gitãŒä½¿ãˆã‚‹ã“ã¨(yum -y install gitã¨ã‹ã§çªã£è¾¼ã‚“ã§ãŠã„ã¦ãã ã•ã„） サーãƒã‚’2å°ï¼ˆsshã§æŽ¥ç¶šã§ãã‚Œã°ãªã‚“ã§ã‚‚ã„ã„ã§ã™ï¼‰ ã“ã‚“ãªç’°å¢ƒã‚’作りã¾ã™ã€‚ å·¦å´ã¯fluentdã®forwarder。å³å´ã¯ãƒã‚°ã‚’集ç©ã™ã‚‹ag
『fluentd + Elasticsearch + kibanaã§Cassandraモニタリングã€
ã¯ã˜ã‚ã¾ã—ã¦ã€‚インフラ＆コアテク本部ã®é³¥åž£ã¨ç”³ã—ã¾ã™ã€‚普段ã¯Ameba Smart Phone Platformã‚„Amebaã®åŸºå¹¹ç³»ã‚µãƒ¼ãƒ“ス全般ã®ã‚¤ãƒ³ãƒ•ãƒ©ã‚’見る仕事をã—ã¦ãŠã‚Šã¾ã™ã€‚ 昨今fluentd + Elasticsearch + kibanaを使ã£ãŸãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ モニタリングãŒæµè¡Œã£ã¦ã„ã¾ã™ãŒã€ã“れを使ã£ã¦Cassandraã®ã‚¹ãƒ†ãƒ¼ã‚¿ã‚¹ã‚’モニタリングã™ã‚‹ã‚·ã‚¹ãƒ†ãƒ を作ã£ã¦ã¿ã¾ã—ãŸã®ã§ã€ãã®ãŠè©±ã‚’ã•ã›ã¦ã„ãŸã ã‘ã‚Œã°ã¨æ€ã„ã¾ã™ã€‚ 構築ã®ãã£ã‹ã‘ã“ã¡ã‚‰ã®ã‚µã‚¤ãƒˆã«ã¦dstatã®ãƒ¢ãƒ‹ã‚¿ãƒªãƒ³ã‚°ã‚’kibanaã§ã‚„ã£ã¦ã„る記事をæ‹è¦‹ã—ã€Cassandraã®ã‚¹ãƒ†ãƒ¼ã‚¿ã‚¹ã‚‚åŒã˜ã‚ˆã†ã«ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ グラフã®æç”»ãŒã§ããªã„ã‹ã¨è€ƒãˆã¾ã—ãŸã€‚ 以å‰ã«WebSocketã§ç›£è¦–もリアルタイムã«ã¨ã„ã†è¨˜äº‹ã§ã‚‚ã‚ã‚‹ã¨ãŠã‚Šãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ モニタã®ä»•çµ„ã¿ã¯ã‚ã‚Šã¾ã—ãŸãŒã€kibanaã®æ¤œè¨¼ã‚‚å…¼ãã¦ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ã®ã‚°ãƒ©ãƒ•æç”»ã«ãƒãƒ£ãƒ¬ãƒ³ã‚¸ã—
Kibana 4 BETAファーストインプレッション - Qiita
Kibana4ã®BETAãŒãƒªãƒªãƒ¼ã‚¹ã•ã‚ŒãŸã“ã¨ã«ã€Kibana3ã®issueãŒcloseã•ã‚ŒãŸé€šçŸ¥ã§æ°—ãŒã¤ã„ãŸã€‚Kibana3ã®bugfixã¯ã‚„ã£ã¦ãã‚Œãªã•ãã†ã ã‘ã©ã€ã¨ã‚Šã‚ãˆãšã€Kibana4を試ã™ã“ã¨ã«ã—ãŸã€‚ å¿…è¦ãªã‚‚ã® JVM Kibana 4.0.0-BETA1 Elasticsearch 1.4.0.beta1 åˆæœŸè¨å®š Kibana4ã‚’ã¨ã‚Šã‚ãˆãšä½¿ã£ã¦ã¿ã‚‹ãŸã‚ã«å¿…è¦ãªé …ç›®ã¯æ¬¡ã®é€šã‚Šã 。 Elasticsearch 1.4.0.beta1をセットアップã™ã‚‹ Kibana 4.0.0-BETA1をセットアップã™ã‚‹ インデックスã®åˆæœŸè¨å®šã‚’行ㆠElasticsearch 1.4.0.beta1を準備ã™ã‚‹ Kibana4ã§ã¯Elasticsearch 1.4以é™ãŒå¿…è¦ã«ãªã£ã¦ã„る。ベータ版ãŒãƒªãƒªãƒ¼ã‚¹ã•ã‚Œã¦ã„ã‚‹ã®ã§ã€é©å½“ã«ãƒ€ã‚¦ãƒ³ãƒãƒ¼ãƒ‰ã—ã¦èµ·å‹•ã—よã†ã€‚ Elasticsearch.org
dstat + fluentd + Elasticsearch + kibana ã§ã‚µãƒ¼ãƒãƒ¢ãƒ‹ã‚¿ãƒªãƒ³ã‚°ã™ã‚‹ - blog.nomadscafe.jp
普段ã¯ã‚µãƒ¼ãƒã®ãƒ¡ãƒˆãƒªã‚¯ã‚¹å¯è¦–化ã®ãŸã‚ã«cloudforecastを使ã£ã¦ã„ã¾ã™ãŒã€æŸæ¡ˆä»¶ç”¨ã«æ•°ç§’å˜ä½ã§æ•°åå°ã®ã‚µãƒ¼ãƒã®ãƒ¡ãƒˆãƒªã‚¯ã‚¹ã‚’表示ã—ãŸã„ã®ã§ã€è¨˜äº‹ã‚¿ã‚¤ãƒˆãƒ«ã®ã‚ˆã†ãªæ§‹æˆã‚’作ã£ã¦ã¿ãŸã€‚ dstatã§ã¨ã£ãŸå„種値ã®ä»–ã«ã€nginxã¨memcachedã®æƒ…å ±ã‚‚åˆã‚ã›ã¦è¡¨ç¤ºã•ã›ã¦ã„ã¾ã™ã€‚ セットアップ ã‚‚ã‚ã‚‚ã‚ã®ã‚»ãƒƒãƒˆã‚¢ãƒƒãƒ—ã®ãƒ¡ãƒ¢ 監視サームã¾ãšã€ç›£è¦–サーãƒã«Elasticsearchã¨kibanaã‚’ã„れる。環境ã¯CentOS6 $ sudo yum install java-1.7.0-openjdk $ sudo rpm -Uvh https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.x.x.noarch.rpm Elasticsearchã¯ç‰¹ã«è¨å®šãªãèµ·å‹• $ sudo service
ScaleOut | Supership
2024å¹´4月1日よりã€Supershipæ ªå¼ä¼šç¤¾ã¯è¦ªä¼šç¤¾ã§ã‚ã‚‹Supershipãƒ›ãƒ¼ãƒ«ãƒ‡ã‚£ãƒ³ã‚°ã‚¹æ ªå¼ä¼šç¤¾ã«å¸åŽåˆä½µã•ã‚Œã¾ã—ãŸã€‚ åˆä½µã«ä¼´ã„ã€å˜ç¶šä¼šç¤¾ã§ã‚ã‚‹Supershipホールディングスã¯ç¤¾åã‚’Supershipã«å¤‰æ›´ã—ã€æ–°ãŸãªçµŒå–¶ä½“制を発足ã—ã¾ã—ãŸã€‚本件ã«é–¢ã™ã‚‹è©³ç´°ã¯ã€ãƒ—レスリリースをã”確èªãã ã•ã„。 2024å¹´4月1日よりã€Supershipæ ªå¼ä¼šç¤¾ã¯è¦ªä¼šç¤¾ã§ã‚ã‚‹Supershipãƒ›ãƒ¼ãƒ«ãƒ‡ã‚£ãƒ³ã‚°ã‚¹æ ªå¼ä¼šç¤¾ã«å¸åŽåˆä½µã•ã‚Œã¾ã—ãŸã€‚ åˆä½µã«ä¼´ã„ã€å˜ç¶šä¼šç¤¾ã§ã‚ã‚‹Supershipホールディングスã¯ç¤¾åã‚’Supershipã«å¤‰æ›´ã—ã€æ–°ãŸãªçµŒå–¶ä½“制を発足ã—ã¾ã—ãŸã€‚ 本件ã«é–¢ã™ã‚‹è©³ç´°ã¯ã€ãƒ—レスリリースをã”確èªãã ã•ã„。
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
How To Install Elasticsearch, Logstash, and Kibana (Elastic Stack) on Ubuntu 16.04 | DigitalOcean
Scheduled bulk data loading to Elasticsearch + Kibana 4 from CSV files — Embulk 0.4 documentation
Fluentd, mongoDB, Kibanaを利用ã—ãŸã¯ã¦ãªãƒ–ãƒã‚°ABテストã®äº‹ä¾‹
Kibana入門
{{#tags}}- {{label}}
{{/tags}}