You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

「pixivコミック・ノベル」チームのエンジニアの pawa です。 pixivコミックはWebやアプリで漫画を試し読みできるサービスです。私が一番好きな pixivコミック作品は「温泉卓球☆コンパニオンズ！」です。 2017年7月4日、pixivコミック（Web版）の作品ページにタグ機能が追加されました。 これらのタグは、作品説明文から自動的に抽出されたもので、コンピュータに計算させた「作品のキーワードとして妥当な順番」に並んでいます。 今回は、このタグ機能が生まれるまでの物語をご紹介します。 問題提起 pixivコミックに携わる者として、以前から、次の2点を問題だと感じていました。 特定のジャンル（たとえばスポーツ）の漫画を探すのが難しい 「あわせて読みたい」作品がなぜ「あわせて読みたい」のか分かりにくい 私は、社会人になってから、大好きなスポーツが共通する人とスポーツをすることの果て

こんにちは、インフラ開発部の鳥垣です。 今回のブログではアクセスログの解析作業の効率化を図るため、ログの可視化のお話をさせていただければと思います。 導入の背景は、仕組みとしてサーバーからsyslogサーバーへのログの集積はすでに実装されていました。 しかし、syslogへの送信元のサーバー数の肥大化に伴い多量のログが保存されるようになり、ログ調査に時間がかかるようになってきました。 もっとサックリとログの調査を行う基盤が欲しいということで、今回Fluentd + Elasticsearch + Kibanaを導入しました。 FluentdでsyslogサーバーからElasticsearchにログを送り、Elasticserchでログ検索、Kibanaでグラフ化しました。 Fluentd + Elasticsearch + Kibanaを導入する際の設定や、構成などを紹介します。 システム

ログ可視化ツールの 3 点セット、Fluentd + Elasticsearch5 + Kibana5 を試すメモ 3 回目。前回は Fluentd で Apache のログを収集して Elasticsearch に登録するところまでやりました。 今回は Kibana から Elasticsearch のデータを参照するところをやります。Kibana の SSL 化も行います。 目次 デフォルトインデックスを登録する Apache ログのインデックスを登録する Apache ログを Kibana から閲覧する Kibana へのアクセスを SSL にする デフォルトインデックスを登録する ホストマシンのブラウザからKibanaにアクセスします。 http://192.168.33.13:5601/ Elasticsearch のインデックス入力して、という画面が表示されるので、以下のように

ページを下端までスクロールしたら次のページが読み込まれるInfinite Scroll（無限スクロール）をvue.jsで実装する方法を調べてみました． 一般的なInfinite Scrollの実装方法 スクロール可能な要素の scroll イベントを捕捉して，表示領域の位置を計算します．もし，要素の高さに達している場合は，下端までスクロールされたことになります． <div class="items"></div> .items { position: fixed; top: 0; bottom: 0; overflow-y: auto; } $('.items').on('scroll', function (e) { // jQueryを使う場合 var target = $(e.target); if ((target.scrollTop() + target.outerHeight(

大久保です。 最近、会社でElasticsearch＋Kibana＋Fluentdという定番の組み合わせを使ってログ解析する機会があったので、ついでにいろいろ勉強してみました。 触ってみておもしろかったのが、Elasticsearchがログ解析だけじゃなくてちょっとしたKVSのようにも振る舞えることです。 ElasticsearchはKibanaと組み合わせることで、もっといろいろおもしろいことできそう感あります！！ 本記事では、その一例としてTwitterのトレンドワードをリアルタイムに集計するプログラムを組んでみました。 完成形：トレンドワードごとのツイート数をグラフ化 ＃開発環境と各種ミドルウェアのバージョン ローカルで確認できればよかったので開発環境はMacです。 Java ElasticsearchはJava製なのでJavaのバージョンを確認。 $ java -version j

git commitを実行あとでコミットをやり直したり、コミット自体を取り消す方法です。 直前にしたコミットをやり直す（git commit --amend） 直前にしたコミットをやり直す場合、「git commit --amend」を使用します。 例えば、直前のコミットログが以下のような状態だったとします。 実は直前のコミットに含めるべきであった「hoge.txt」が含まれていませんでした。 コミットログ(git commit --amend 実行前) $ git log commit cca638b48b4c8be7ad5432f7882497534b04e2b4 Author: mrgoofy <[email protected]> Date: Wed Sep 8 23:03:57 2010 +0900 2nd Commit.-> New Add File : bar.txtこ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

インターネットの利用が浸透するにつれ、適切な情報配信や不正を防ぐための施策はWebサービス継続に欠かせないものとなりつつある。そのためには、サーバーやネットワーク機器からのログ、およびWebサイトへのアクセスやログインといった稼働状況の効率的なモニターが欠かせない。その有効な手段として注目される「Elastic Stack」と機械学習を組み合わせた“スマートな検知”について、ElasticのSolutions Architectである大輪弘詳氏が解説した。 講演資料：Elastic Stackを利用した異常検知 Elastic Solutions Architect 大輪弘詳氏 「Elastic Stack」とは 「Elastic Stack」とは、Webサービスの効率的な運営・管理を実現するオープンソースソフトウェア製品群だ。リアルタイム検索・分析エンジンの「Elasticsearch」

ヒカラボ発表資料 活用事例は、以下参照！ https://www.slideshare.net/hibinohisashi/ss-77133588Read less

2. 想定するお客さま  Fluentd + ElasticSearch + Kibanaのインストールスクリプト  ログの可視化は展開したサービスの利用状況を把握することに役立つ  可観測ツールを用いることで、サーバの負荷傾向などを調査することも可能  このスタックは、データ流し込む役、ログを保存する役、ログを見やすくする役の３役で 構成されている  Fluentd、ElasticSearch、Kibanaそれぞれのインストールの難易度が高いわけではないが、 使い方がわからないと、いざという時に構築しようという気が中々起きない  そういう方々にこそ使っていただきたいスクリプト  オプション機能  dstatの実行結果をFluentdにテストデータとして流し込ませることが可能  これにより、「少し試したいな」という時にデータを他のところから引っ張ってこなくて も良い 3.

https://mackerelio.connpass.com/event/66208/ での発表資料です。

ども、藤本です。 現地時間 8/31 に Elastic Stack の次期メジャーバージョンの 6.0.0 Beta 2 がリリースされました。 Elastic Stack 6.0.0-beta2リリース 過去の Elasticsearch はメジャーバージョンバージョンアップ時に機能が変更となったり、非推奨になったり、廃止になったり、大きな変化を行ってきました。今回の 5系 → 6系に際しても大きな変化があるはずです。ということで Elasticsearch 6系の Breaking Changes に目を通してみました。今回は私が気になった項目をご紹介します。利用方法によって影響する項目は異なるので 6系をご利用される方は一通り目を通すことを推奨します。 Breaking Changes Breaking Changes バージョン 2系以前に作成されたインデックスは読み取れない E

検証時のX-Packのバージョンはbeta1です。 GAリリース時は仕様が変わっている可能性もございますのでご注意ください。 こんにちは、藤本です。 Elastic Stackもベータバージョンまでリリースされました。これからはGAリリースに向けてバグフィックスが主なアップデートとなっていくことでしょう。 全6回で X-Pack をおさらいがてら機能を試しつつ、新機能を確認していきます。 今回は初回ということで、X-Pack の概要の確認と、インストール関連を試してみました。 X-Packを試すシリーズのその他のエントリは以下をご参照ください。 Elastic StackのX-Packを試す（インストール編） Elastic StackのX-Packを試す（Security編） Elastic StackのX-Packを試す（Monitoring編） Elastic StackのX-Pac

最近ElasticsearchとKibanaのDockerイメージに、DockerHubのものを使ってみたのですが elasticsearch (OFFICIAL REPOSITORY) kibana (OFFICIAL REPOSITORY) @johtaniさんに怒られまして…。 ElasticsearchのDockerイメージ、自分でビルドして作ってたけど5系からsysctlのところでハマるようになって、DockerHubにあるの使うようにした 2016-12-22 23:21:37 via Twitter Web Client @kazuhira_r うちの使ってよ、、、 2016-12-23 11:40:10 via twicca to @kazuhira_r あー、そういえば、あるって聞いたことあったような…。 調べてみると、確かに…。 Install Elasticsearc

この方法を使えば、コンテナ内のファイルをリダイレクトして親ホストに保存したり、パイプで処理をつなげたりすることもできます。docker cp コマンドと比べると、プロセスの実行結果を取得できるという点で柔軟な処理ができそうです。 nsenter は jpetazzo/nsenter コンテナを使えば簡単にインストールできましたが、docker が標準対応してくれたことで事前準備が不要になり、さらに楽になりました。 追記 nsenter と違って環境変数が正しく設定された状態でコマンドが実行されるようです。以下のような方法で指定した環境変数を参照することができます。素晴らしい！ Dockerfile に ENV で書いた環境変数 docker run の --link オプションにより設定される環境変数 docker run の -e オプションにより設定される環境変数

ログ収集ツールとしてはFluentd、Logstash、Flume等が挙げられる。ファイルやメール、syslog、DB、センサからログデータを読込み、必要なログをフィルタして、jsonやxmlに整形してアウトプットする機能を持つ。 メリット プラグインが300+公開されており、様々な形式のデータをインプット、アウトプットできる 単体でログのフィルタ、バッファ、ルーティングができる 2000+を超える企業に利用されている 日本語の情報が多い デメリット 単体で動作するためfluentdが落ちたらバッファしているログが消える 想定外のログが入力されると大量のスタックトレースが吐かれる 引用：http://changineer.info/server/logging/fluentd-td-agent.html#fluentd-2 Logstash メリット フィルタを簡単にカスタマイズできる F

はじめに 藤本です。 先日、Beatsの3つのofficialy supported Beatsのやってみたブログをエントリしました。 Topbeat + boot2dockerでMacBookのシステムモニタリング Filebeat + boot2dockerでMacBookのログモニタリング Packetbeatでパケットモニタリング ブログエントリの順番が完全に逆ですが、やってみたエントリでは説明をすっとばしていたので、今回はそれぞれの機能を簡単にご紹介します。 Beatsについて 各々の説明の前にBeats Platformを説明します。 Beatsはデータ取り込みを行うプラットフォームとなります。Elasticの馴染みのあるデータ取り込みツールにLogstashがあります。日本ではFluentdを使われている方が多いでしょうか。Logstashは非常に豊富な機能を持っていて、更に

オブザーバビリティも、セキュリティも、検索ソリューションも、Elasticsearchプラットフォームならすべて実現できます。

OSC広島2017で使用した資料になります。

Twitter クライアント “Termtter” の紹介と収集したソーシャルデータを Fluentd + Hadoop で分析する話

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

公式サイト：http://conda.pydata.org/docs/index.html 以下は、MAC OSX用のcondaコマンドメモです。 pyenv、anaconda(miniconda)はインストール済みの前提です。 #condaって？ condaは、主にPython用に作られたパッケージ管理システムと環境マネジメントシステムです。 単体ではリリースされておらず、Anaconda、Anacondaサーバー、Minicondaに内包されているものです。 Anaconda、Anacondaサーバー、Minicondaは、Pythonの数値計算環境を構築するために、様々なパッケージをまとめたディストリビューションです。 機械学習ライブラリのパッケージ等を簡単にインストールできます。 Linux、Windows、MacOS等のOS毎のコンパイル等の手間やトラブルをスキップできます。 （

The Japanese (kuromoji) analysis plugin integrates Lucene kuromoji analysis module into Elasticsearch.

この記事はFess Advent Calendar 2016の24日目の記事になります。 ←前の記事 次の記事→ 今回は、Dockerを使ってデータを永続化させるひとつの手段であるNamed Data Volume機能を用いて、ElasticsearchのデータをNamed Data Volumeに保存してみたいと思います。 Named Data Volumeとは コンテナでデータを管理する — Docker-docs-ja 1.9.0b ドキュメント こちらに書かれているように、データ保持のため Named Volume と呼ばれる領域をホストOSに作成し、それに名前をつけて管理しています。 ここでは詳しくは述べませんが、以下のリンクがわかりやすかったです。 Docker の Data Volume まわりを整理する それでは、ElasticsearchのデータをNamed Data V

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

WARNING: Version 5.5 of Elasticsearch has passed its EOL date. This documentation is no longer being maintained and may be removed. If you are running this version, we strongly advise you to upgrade. For the latest information, see the current release documentation.

Kibanaというツールがきっかけでちょいとメモ。 Kibana入門 https://speakerdeck.com/y310/kibanaru-men これまでもElasticSearchというのが流行ってたりとか Splunkっていうツールを小耳にはさんだりとかで 「ログ収集・分析」みたいな分野は気になっていた。 Fluentd + ElasticSearch + Kibana この組合せ、流行ってるみたいね。 ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ http://www.slideshare.net/y-ken/elasticsearch-kibnana-fluentd-management-tips fluentd + elasticsearch + Kibanaでログのヴィジュアル化 http://open-groov

Kibanaへのアクセスを制限したい Kibanaは分析・可視化ツールということで社内での運用が基本らしく、認証やセキュリティ対策らしきものは今のところ実装されていない。 待望の認証機能が 4.2.0 に実装されるかな？と思って期待していたけど、しれっと 4.3.0 にラベルが付け替えられていた。 というわけでひとまずはnginxでリバースプロキシしてBasic認証を有効にしてみる。 環境 AWS EC2 + ELB Ubuntu Server 14.04.2 64bit nginx 1.9.0 Kibana 4.1.1 構成 ELBでSSLターミネーションしてHTTPでリクエストを送り込む。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

How can I create a PEM file from an SSL certificate? These are the files that I have available: .crt server.csr server.key

Hello world, @cero_t です。 少し肌寒い日が続きますが、皆さんいかがお過ごしでしょうか。 寒いのは決して僕のせいではないからね、そう周りに言い聞かせながら生き抜く日々です。 さて、 ついにElastic Stack 5.0.0のGA版がリリースされました！！ https://www.elastic.co/jp/blog/elastic-stack-5-0-0-released 既にリリースされたalpha版やRC版などを触っていますが、2.x系から新機能が追加されただけでなく、性能や安定性、またユーザビリティが向上している体感があり、積極的にこの新版を使っていきたいと思っているところです。 Elastic Stack 5.0.0の新機能 公式ブログでもいくつか紹介されていますが、2.xから5.0ではピックアップしきれないほどの変更点があります。私なりに重要だと思っている

[elasticsearch-1.3] name=Elasticsearch repository for 1.3.x packages baseurl=http://packages.elasticsearch.org/elasticsearch/1.3/centos gpgcheck=1 gpgkey=http://packages.elasticsearch.org/GPG-KEY-elasticsearch enabled=1

新たなサーバー環境構築ツールとして普及が始まっているDockerは、その開発も積極的に行われている。そこで本連載記事では、4回に渡って最近Dockerに実装された新機能について紹介していく。今回は、Dockerのボリュームプラグインとストレージドライバについて紹介する。 Dockerの「ボリュームプラグイン」と「ストレージドライバ」 昨今のDockerでは、各機能を個別のコンポーネントに分離する方向で開発が進められている。ストレージ関連の処理もすでに分離されており、「ボリュームプラグイン」やストレージドライバ」を使って目的や環境に応じた設定を行うことが可能になっている。この2つは名前が似通っているため混乱しやすいが、まったく別のものだ（図1）。 図1 ボリュームプラグインとストレージドライバ まずボリュームプラグインだが、これはコンテナ外のストレージをコンテナ内に「ボリューム」としてマウン

RPGテニス怖いPCトラブルで遅くなりましたm(__)m◆動画について■ GTA5のストーリーをカオスMOD＋インフェルノMODでクリア■ イベントシーンは一回見終わるまで基本的にスキップ禁止■ 詰んでいる場合は救済措置あり■ 倍速、カット、分割いっぱい◆その他▼MOD製作者様&amp;MODのDLはこちら→【user/15846296】▼Part1→sm27428650★友人と生GTA5カオスモードに挑戦中→co4106198twitter→https://twitter.com/matsun_7co3132410◆本シリーズ【前】sm29550166　【次】sm30603266　【マイリスト】mylist/53546085

自作Webサービスを公開するために、WebサーバはApacheより人気がでてきているNginxを採用した。しかし普通にCentOSなどにNginxをインストールして設定して、など手動やシェルスクリプトでやりたくなかったので、環境構築にはDockerを使うことにした。 ということで、DockerでNginxのコンテナをつくり、Webページ（サービス）を公開する手順をまとめる。 今回つかう環境は以下のとおり。 CentOS 7.2（ホストOS） Docker 1.12.3 Nginx 1.11.5 ホストOSの準備 ホストOSは、さくらのクラウドの1コア/1GBプランのCentOS 7.2を使うことにした。 イベントやたまーにWeb上で2万円クーポンを配布しているので、ありがたく使わせてもらう。 CentOSの初期設定などは、以下の記事を参考にしていただければ、スクリプト一発で完了する。 サー

概要 Kibanaを5.xにメジャーアップデートする際、Elastic社公式のdocker imageも用意されたのでdocker-composeでまとめて作ることにしました。 その際調べたこと、ハマったことをまとめます。 環境 docker 17.03.1-ce docker-compose 1.11.2 Elasticsearch 5.3.0 Kibana 5.3.0 docker-compose.yml まずは全体のソースを貼ります。 後ほどポイントを説明します。 version: '2.1' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:5.3.0 container_name: elasticsearch environment: - cluster.name=dev-k

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

なんか、このサイトBootstrapくさい。そう感じることはありませんか? その理由はズバリ、欧文ベースでつくられたフレームワークを文字構造の違う日本語で適用した際に不都合が出てしまっているからです。 それらが醸し出す違和感を放っておくと、Bootstrapくささを生み出す大きな原因になってしまいます。 そもそもの問題として、欧文と比較して和文は文字の要素が多く、文字自体のリズムも少ないため、どうしても複雑で単調に見えてしまいます。 しかし、和文だからといってあきらめることはありません。BootstrapのCSSを少しだけ変えるだけでグッと見た目がよくなる隠し味をご紹介します。 1. line-heightで行間にゆとりを。明朝やゴシックなど、フォントの種類が言葉の印象を表すように、文字の行間は読みやすさ、文章全体の雰囲気を左右します。 欧文をベースに設計されたBootstrapをそのまま

「基本原則にのっとれば、誰でも魅力的なウェブデザインがわずか数分で行える」ということを視覚的にわかりやすく解説した「Web Design in 4 minutes」が公開されています。テキスト中心のウェブページのデザインをサクッと改善したい人にとって非常に便利なウェブサイトになっています。 Web Design in 4 minutes http://jgthms.com/web-design-in-4-minutes/ Web Design in 4 minutesにアクセスすると、まず、デザイン要素が一切ない、シンプルなテキストが表示されます。 文章中のリンクをクリックしていくことで、ウェブデザインの改善方法が文章で表示されるとともに、実際にサイトのデザインが変わっていくという仕組みです。「first thing(最初にすること)」をクリックすると…… 「コンテンツ」ということについて

こんにちは、藤本です。 Elastic社が公式のDockerイメージの提供を開始したので早速試してみました。 詳細は下記ページをご参照ください。 Introducing Docker images for Elasticsearch and Kibana 以前からDocker HubにてElasticsearch、Kibanaが提供されていました。こちらはElastic社公式のDockerイメージではなかったのかな。。 Elastic社公式Dockerイメージ 今回、Elastic社が持つDockerレジストリサーバーでイメージの提供を開始しています。また簡単にコンテナを利用できるようにElastic社のGithubリポジトリにて、Dockerfile、docker-compose.ymlを提供しています。 elastic/elasticsearch-docker elastic/kiba

友達が クルマのキズをあえて修理せず 絵でアレンジしたのは凄いセンスいい！ https://t.co/dlgOeZc1MS