本記事はNTTコム公式アドベントカレンダーの25日（最終日）の記事です。 まさか最終日の記事担当とは恐縮です1。 著者は、技術開発部に所属し、社内外の各種データ分析、異常検知技術の研究開発を行っています。最近の研究成果は、AAAIのカンファレンスIAAI2018で採択されました。 はじめに 分析結果をいちはやくチーム内、各種サービス部に提供するために、OSSを駆使した分析基盤をチームで構築しています。分析結果をレポーティングするにあたり、データの集計や分析処理が必要になります。閲覧者により、レポーティング間隔（分析結果の更新頻度）の要求もさまざまです。例えば、 定期的なメール配信、データの最新化、機械学習のモデルの更新（1日に1回のバッチ処理） １日に何度かデータにアクセスして、データの状況を確認する（◯分間 / ◯時間でのバッチ処理） 常に今のデータをモニタリングしたい（ニアリアルタイム

あらゆるログを収集する 昨年あたりからfluentdという名前をよく耳にするようになりました。弊社での実際のプロジェクト活用が出てきています。そこで今回は備忘録としてセットアップからプラグインのインストール等の基本的な手順を紹介したいと思います。 セットアップ Amazon Linuxにインストールするためにリポジトリを設定して簡単インストールします。 $ sudo vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 yumでインストールにて自動起動設定します。 $ sudo yum install td-agent -y $ sudo service td-agent start

今日も今日もでコンテナ立ち上げ いままでコマンドラインでせっせとdocker runでコンテナ立ち上げていた人。はいそれは私です。 単純なコンテナならコマンドラインでもいいのですが、ちょっと複雑なオプションだったり、コンテナ同士の連携をやろうとすると手打ちでコマンド打っていくのとてもつらいです…。 シェルスクリプトでコンテナ立ち上げとかやっていたのですが、専用のツール使ったほうがいいかと思いDockerComposeを使い始めた次第です。 なかなか使い方がわからなくて勉強していましたので、せっかくだから記事にまとめてみるべと思いました。 ちょっと長い記事ですが、基本的なことは抑えられたかなと思います。 DockerComposeを使う Dockerツール群の一つであるDockerComposeを使うと、コンテナ立ち上げ設定をファイル化（yml形式）して管理することが可能になります。 自前の

Pythonによるスクレイピング&機械学習 Pythonによるスクレイピング&機械学習 開発テクニック BeautifulSoup,scikit-learn,TensorFlowを使ってみようより 学習ログ。 前回 2-4では WebAPIからのデータ取得 を行いました。 リクエスト、レスポンスJSON取得、pythonデータにデコードしてごにょごにょできるようになりました。 この章で得られるもの 2-5では、cronによる定期的な処理について学んでいきます。 定期的な処理を行う方法はOSによって異なるそうですが、ここではmacOS/Linuxで扱えるcronについてやっていきます。 コード こちら(Git)にて 環境 Python 3.6.0 macOS Sierra 10.12.4 定期的な処理について Webで公開されるデータの中には、定期的にデータが更新されるものが多くあります。為

vimライトユーザの俺が説明する実践vim入門編 対象者 : これからvimを使い始めようという人、開発者やwebデザイナ 期待される成果 : vimが少しでも好きになる vimとは何か 私の貧弱な語彙ではとても表しきれないので一言で言うと、高機能なテキストエディタだ。 使うまでに幾分かの修行を必要とすると言われているほど多機能、特殊な動作をする。 そんなツンツンのvimを使っているとそのうちデレてきて、私たちはvimからひと時も離れたくなくなるだろう。 何はともあれインストール なるべく簡単に用意できる方法を選んでいます。 自前でソースコードからビルドするよっていう方はmercurialを使って世代管理するといいかと思います。 コマンド内の> と $は入力不要です Windows 香り屋 KaoriYaからダウンロードして使うのが吉。 Windows+rを押してファイル名を指定して実行か

PythonでAPIを開発できる環境を作りたかったので、 色々試してみました。 いつもはPHPを使っていたので、webサーバはお手軽にApacheを使っていたのですが、 業務ではデータ分析をしているため、 今後はPythonを使う予定なので、さっそくPythonのwebサーバを作っていきたいと思います。 Pythonをwebから使う際には以下のようなサーバがあるのですが、 uWSGIが良いとのブログを発見したのでやってみます。 Python を Web 上で使うには SimpleHTTPServer Apacheでmod_python FastCGI WSGI 便利で超強力なWSGIサーバー uWSGI を使ってみよう こちらの記事を参照したのですが、 難しい内容なので、そこまで理解してませんので、 詳しくは檜山正幸のキマイラ飼育記のブログをみてください。 とりあえず、webサーバはNgi

こんにちは。ryoです。 今回は、Nginx（エンジンエックス）からPythonのWebフレームワークであるDjangoを動かす方法を解説します。 DjangoでWebアプリケーションを作って公開をする際には欠かせない知識になります。 この記事では、 ・Nginx ・Nginxで運用する際に必要となるuWSGI について解説します。さらに、 ・Nginxが動くDjango環境 についての解説を通して、実際にDjangoアプリケーションを公開してみましょう。 また、次の記事ではPythonを使ったWebアプリの開発手順を、開発例やPythonを活用するメリットも交えて紹介しているので良ければ参考にしてください。 → PythonでWebアプリ開発！手順からサービス例、メリットも紹介 Nginxとは 今回使うNginxとは何かについて、知っておきましょう。 NginxとはWebサーバー向けのソ

なんと約7分の1という驚異のファイルサイズ。パッケージ管理システムが apt でなく apk であるなど扱いに若干の違いはありますが、普通に使うぶんにはそうそう困ることはありません。 nginx 設定ファイルを作成してコンテナにマウント nginx の設定を記述します。デフォルトのイメージには殆ど何も定義されていないため、こちらで記述する必要があります。 server { listen 80; server_name _; root /var/www/html; index index.html; access_log /var/log/nginx/access.log; error_log /var/log/nginx/error.log; } 最小構成とも言える非常にシンプルな設定です。portは HTTP 標準の 80 とし、server_nameは全ての名称にマッチさせるために _

先日「サーバーのセキュリティ設定がなにすればいいかわからない」と相談をうけまして。 自分も初心者の時どこまでやればいいかわからず手当たりしだいにやって沼に入っていたのを思い出しながら自鯖構築したときのメモを元にまとめてみました。 注意 セキュリティ対策は用途や場合などによって違います。 自分で理解したうえで自己責任でおねがいします。 対象読者 Linuxのサーバーを建て慣れていない人 Linuxはある程度さわれる人(自分でパッケージを入れたり、サービスを止めたりできる) ラインナップ ☆は導入の重要度と導入の容易さから個人的偏見からつけた値です。 4つ以上が"最低限やること"だと思ってください。 sshd