大量のデータを高速に収集できるメッセージ処理システムとして知られる「Apaceh Kafka」が、正式バージョンとなる「Apache Kafka 1.0」に11月1日付けで到達したことが、Kafkaの主要な開発元であるConfluentから発表されました。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理する機能を備えたソフトウェアです。 さまざまなアプリケーションやシステムから送られてくるログや大量のセンサーなどから生成されるデータなど、リアルタイムに送信されてくるストリームデータをいったんKafkaで受け止め、それをまとめてHadoopなどの分析エンジンに渡してデータの分析を行う、といった形で使われます。 また、その名称は「変身」などで知られる作家のフランツ・カフカにちなんだものとされています。 バージョン1.0では、Stream APIの強化、Jav

アプリケーションエンジニアでもわかる Docker と Mesos 勉強会 https://sakura-kanto.doorkeeper.jp/events/53777 2016年11月18日(金) 発表資料 本スライドの想定は 「 Mesos って聞いたことあるけど、よくわかんない　」 「 Apache Mesosって何だ？ 」 といった疑問を持つ読者であり Mesos の概念や背景を知るための資料ですRead less

Apacheがエラーを出しまくっていたので、調査。最終的にはZend Framework/Smarty上に組んだサイトをとめたら現象が起きなくなった。 環境 FreeBSD 9.0 Apache 2.2.22 PHP 5.4.3 Perl 5.14.2 Zend Framework 1.5.3 Smarty 2.6.20 エラーの状況 Webサーバのカーネルログ上に、日々次のようなエラーが大量に残る。signal 11とはつまり、segmentation fault。 +pid 83466 (httpd), uid 80: exited on signal 11 +pid 83470 (httpd), uid 80: exited on signal 11 +pid 83459 (httpd), uid 80: exited on signal 11 Apacheのログには、次のようなエラ

普段Webサーバを運用していて、めんどくさいトラブルのひとつに「Segmentation fault」があります。 あれー？なんか500エラーがでるなーなんて思ってログを見るとSegmentation faultになってるときは死にたくなります。 そもそもSegmentation faultはメモリ上にあるデータに対して不正が行われたときに起こるもので、 インフラエンジニアにとってはなかなか手がだせないところでもあります。 それでもなんとかして治さないといけないわけなので せめてどのプログラムが悪さしてるかどうかぐらいは調べ上げてみます。 apacheでのログ apache + mod_perl での環境です。 こんな感じでエラーがでます。 #tail error_log [notice] child pid 26028 exit signal Segmentation fault (11

ApacheやNginxとopensslのバージョンを指定するとおすすめの暗号スイートなど、SSL設定ファイルを表示してくれるMozillaのサイトがあります。 https://mozilla.github.io/server-side-tls/ssl-config-generator/ これを使えば安全な暗号スイートのみを使ってる設定などが簡単に生成されますので、この通りに指定すれば良いです。 Apacheの場合はデフォルトでは暗号スイート設定の記述はなかったと思いますが、下記の3つは表示通りに指定しておくのが良いかと思います。 SSLProtocol SSLCipherSuite SSLHonorCipherOrder Oldを選択すると、古いブラウザにも対応してる暗号スイートを含めます。ただ暗号強度が弱いものが含まれるためサイトのアクセス傾向をみて古いブラウザのアクセスが無いのであれ

IPベースのバーチャルホスト 前置きが長くなってしまったが、設定の解説に移ろう。バーチャルホストは、概念が複雑な割に設定そのものは単純である。ただし、バーチャルホストにはDNSの設定が不可欠である。複数のホストを賄うにしろ複数のドメインを担うにしろ、DNSの変更なしにアクセスを受け入れることなどできないからである。 DNSの設定 まず、DNSの設定を済ませてしまおう。IPベースの場合は、ホストごとにIPアドレスを持つので特殊な設定は必要ない。ゾーンファイルに、 という具合に、Aレコードを羅列していくだけである（ゾーンファイルの設定については、「BINDで作るDNSサーバ」第2回 名前解決の仕組みとゾーンファイルの設定を参照）。つまり、それぞれユニークなIPアドレスを持った複数のWebサーバが存在するものとして、各ホストを通常どおりに登録するだけである。 Apacheの設定 Apacheの設

(注記：6/9、いただいた翻訳フィードバックを元に記事を修正いたしました。) 今回の記事は毎秒300万ものリクエストを処理できるほど強力で高性能なWebクラスタの構築についてのパート1になります。まず初めに、あまり多くはありませんが、私がこれまで使用したことのあるロードジェネレータツールをいくつか紹介します。私のようにてこずって時間をかけてしまわないよう、今回の記事が理解の手助けになれば幸いです。 ロードジェネレータはテストを目的とした数種類のトラフィックを発生させるプログラムです。それによって高負荷においてサーバがどのように動いているか、そのサーバの弱点はどこなのか、などが見えてきます。負荷テストを通じてサーバの限界を知ることは、サーバのレジリエンシーを測定する最適な方法であり、あらゆる問題に対する準備の手助けにもなります。 ロードジェネレータツール 負荷テストをする際に頭に入れておくべ

はじめに Apache Drill 1.0がリリースされました！ Drill 1.0 Released Apache Drillは、NoSQL向けのSQLクエリエンジンで、ファイルシステム上のJSON/CSV/Parquetなどのファイル、Hiveソース、HBase、MongoDBなどに直接SQLクエリを投げることが出来ます。 何はともあれ、触ってみないとどんなモノなのかわかりません。早速試してみました！ やってみた 試した環境はEC2(on Amazon Linux 2015.03)です。 セットアップ Drillの動作にはJDK 7が必要になりますので、インストールされていることを確認します。 $ java -version java version "1.7.0_79" OpenJDK Runtime Environment (amzn-2.5.5.1.59.amzn1-x86_64

先日の日記『「10日でおぼえるPHP入門教室 第4版」はセキュリティ面で高評価』では、同書のアップロード機能のセキュリティ面を評価しつつ、「もうひと踏ん張り確認して欲しい内容がある」として、画像XSSの可能性について指摘しました。では、これを直せば完璧かというと、実はそうとも言えないという微妙な問題があります。それは、アップロード先の場所とファイル名の問題です。 ファイルをアップロードするディレクトリ: ドキュメントルート下の /php10/doc/ ファイル名: ブラウザから送信されたファイル名そのまま これらのうちファイル名の拡張子については、gif/jpg/jpeg/pngのみを許すという、いわゆるホワイトリスト検査がされていて、またgetimagesize()関数により、画像ファイルであることの簡易的なチェックをしています。しかし、この状態では、環境によってはアップロードしたファイ

オープンソースの全文検索エンジンライブラリ「Apache Lucene」開発チームは2月20日、最新版となる「Apache Lucene 5.0」およびLuceneベースのNoSQL検索プラットフォーム「Apache Solr 5.0」をリリースした。 Apache LuceneはJavaで作成された検索エンジン。1時間あたり150GB以上というインデックススループットやランク付け、多数のクエリタイプサポート、フィールドによるソート、誤字補完といった機能を有し、全文検索を必要とするほぼすべてのアプリケーションで利用できるという。SolrはLuceneのサブプロジェクトで、Luceneをベースとしたエンタープライズ向けの検索プラットフォーム。 Apache Lucene 5.0は、2012年10月に公開されたバージョン4.0に続くメジャーバージョンとなる。インデックスの安全性強化とヒープ使用

2. チューニング • KeepAliveの設定 • コンテンツの圧縮転送 • 不要モジュールの削除 • シンボリックリンク先の参照許可 • TimeOutの設定 • DNS問い合わせの無効 • .htaccessの無効化 • Prefork MPMのチューニング • Worker MPMのチューニング 3. KeepAliveの設定 ディレクティブ 値 説明 KeepAlive On 同一クライアントに対し コネクションを使い回す MaxKeepAliveRequests 1ページあたりの平均 的なコンテンツ数 + α 1つのKeepAliveで受け付け るリクエスト数 KeepAliveTimeout 1ページ当たりの平均 的な転送時間＋α クライアントからのリクエ ストがなくてもKeepAliveを 維持する秒数 5. 不要モジュールの削除 デフォルトでは多くの拡張モジュー ルが組み

かなり今更感の漂う内容ではありますが、意外と情報が分散していたり、Apache2.4系を考慮した場合に足りていない内容があったのでこのエントリで一度まとめてみようと思います。 CGIを使うようなシステムでそれなりにアクセスが集中するサーバ、例えば日々のピーク時のApacheのbusyワーカー数が1000になるようなサーバで、かつ、それを処理可能なマシンスペックのサーバであることを前提にしています。 ApacheのMPMとCGI実行アーキテクチャの復習 ApacheでCGIを使う場合には、MPMとCGI実行アーキテクチャの組み合わせは大きく分けて以下の2つに分ける事ができます。 worker(event) + mod_cgid prefork + mod_cgi Apacheの2.4系から特にworker(event) + mod_cgidのモデルが推奨されているようです。また、2.4系では

個人的Apacheチューニングのメモ。 間違いがあったら教えて下さい！ prefork 前提 Apacheでは、リクエストはApacheの子サーバプロセスが処理する。 子サーバプロセスは動的にforkで生成されたり、殺されたりする。 が、forkはとても重い処理なので、forkが発生しないように設定するのがよい。 チューニング方針 負荷が高かろうが低かろうが常に一定数のプロセスが動いている状態にする。 preforkの動作 MaxClientsは絶対値。 子プロセス数はこの値を超えない。 （以下正確ではないですが簡単に） Apacheは負荷が高くなってきたら 子プロセスを生成していく アイドル状態の子プロセスはMinSpareServers以上になるよう維持 MaxClients以上の子プロセスは生成しない MinSpareServersよりMaxClientsが強い 負荷が低くなってきた

Apache Libcloud開発チームは1月22日、「Apache Libcloud 0.14.0」をリリースした。クラウド事業者向けドライバを強化し、リージョン対応など機能を拡充した。 Apache Libcloudはさまざまなクラウド事業者やクラウド/仮想化基盤ソフトウェア間のAPIの差異を吸収し、共通のインターフェイスを提供するPythonライブラリ。2011年にApache Software Foundationのトップレベルプロジェクト（TLP）に昇格した。サーバー、ストレージ、ロードバランサー、DNSの4種類のクラウドリソースに対応、Amazon Web Services（EC2、S3など）、OpenStack、OpenNebula、SoftLayer（IBM）、VMwareなど26の事業者およびクラウド/仮想化技術をサポートする。対応するPythonのバージョンは2.5～2

ども、大瀧です。前回に続き、Apache httpd(以下Apache)によるバーチャルホストの構築例として、mod_mruby編をお送りします。 Apacheの再起動が不要なバーチャルホストの構築方法として、前回はmod_vhost_aliasモジュールの活用とmod_luaモジュールでLuaスクリプトによるApacheの動作のカスタマイズをご紹介しました。今回は、mod_luaモジュールと同様のアプローチで軽量版Ruby実装のmrubyを実行する、mod_mrubyモジュールでApacheの動作をカスタマイズ、バーチャルホスト構成として動かしてみようと思います。 [2014/03/04更新] 本ブログで執筆当時未実装と記した機能は実装済みと、作者のMATSUMOTO Ryosukeさんのツイートでありました。以下の説明はちょっと情報が古いことをご承知置きください。 ひとまずここで言及さ

さて、Perlといえばテキスト処理、テキスト処理といえばPerlですね。そしてこのビッグでデータな現代においてテキスト処理といえばログの処理に決まっています。 ログの処理といってもいろいろですが、もちろん強く逞しく生きる現代っ子の我々は以下のようなログを扱います。 Apacheのログ Apacheのログなんだけどいくつかの書式が混ざってたりする combined に当然いろいろデータが足してある LTSVってなんですか？ そのような素敵な問題を解決するためのモジュールがCPANにあります。Apache::Log::Parserです。 あっ、そのページはダメ、こっち、こっちな。 Apache::Log::Parser Apache::Log::Parserは内部に2種類の解析器を備えており、パーサを初期化するときにどちらかを選びます。それぞれ以下のように動作します。 fast mode Ap

この記事では、Apache HTTP Server で稼働している Web サーバへ Fluentd (td-agent) を導入し、Treasure Data でアクセスログを収集し、R で収集したデータのアクセスログ解析を行うまでの手順を解説します。 Treasure Data (トレジャーデータ) とは Treasure Data は Cloud 型 DWH (Data Warehouse) サービスの一つで、Cloud 上で SaaSとしてビッグデータの格納、処理を利用できるサービスです。 （Treasure Data 社では BigData-as-a-Service と呼んでいます） 同様のサービスでは、Amazon Web Services の Amazon Redshift や Elastic MapReduce 等がありますが、Treasure Data の特長で、バッチで

概要 apacheの設定にあるMaxClientsは、サーバースペック等から算出できるため、毎回手動で計算するのは面倒なのでスクリプトを作った。 計算方法 (サーバーメモリ量) / (httpd使用メモリ量 - httpd使用共有メモリ量) = MaxClients psコマンドではなく、/proc/PID/smapsから取得しているためより正確。コマンドのみで算出しようと思ったが、平均値とか出すのが面倒だったためスクリプトにしてみた。でも、あくまで目安ということで。 参考 基本的にここを参考にさせていただきました。 http://d.hatena.ne.jp/hogem/20080506/1210073173 ソースコード githubにも置いてます。 https://github.com/ryoppy/Get-MaxClients. 使い方 /usr/bin/php get_max_c