Amazon EMR は Apache Spark を実行するのに最適です。AWS マネジメントコンソール、AWS CLI、または Amazon EMR API 使用すると、Spark マネージドクラスターをすばやく簡単に作成できます。さらに、Amazon EMR ファイルシステム (EMRFS) を使用した Amazon S3 との高速接続、Amazon EC2 スポット市場および AWS Glue データカタログとの統合、Auto Scaling によるクラスターへのインスタンスの追加と削除など、Amazon EMR の他の機能も活用できます。AWS Lake Formation はきめ細かなアクセス制御を可能にし、AWS Step Functions との統合はデータパイプラインのオーケストレーションを支援します。 EMR Studio (現在プレビューで提供) は、R、Python

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

公開日：2014-03-27 更新日：2022-10-16 Mod_Rewriteとは・・・Webサーバーである「Apache（アパッチ）」上で利用することができる機能です。 機能内容を簡単にいえば、ユーザー（又は検索エンジン）からのリクエストにあるURL情報を、変更し「リダイレクト」する事ができます。 例えば、 「Aさん」というユーザーが、当サイト（https://viral-community.com）へアクセスするとします。 この時、「Aさん」は、当サイトのWebサーバー（Apache）に対して、 「https://viral-community.com のページヘ、アクセスしたいよ～」とリクエストを送ります。 もし、この時「Mod_Rewrite」が機能していれば、このリクエストのURL情報：https://viral-community.com を、別のURL「http://●●

国内有数のWebサービスを手がけるYahoo! JAPANは、その毎秒100万リクエストという膨大なトラフィックを支える大規模なインフラチームを抱えています。そのうち画像などを配信するプライベートCDNでは、オープンソースのATS（Apache Traffic Server）をキャッシュサーバーに採用し、本家OSSプロジェクトでの開発にも積極的に参加しています。OSSのコミッタを業務とするYahoo! JAPANのプラットフォーム開発エンジニアのお二人と、はてなからインフラチームとMackerelのエンジニアが参加し、インフラエンジニアの働き方について座談会形式でお聞きしました。 座談会出席者は、（上写真、左より）ヤフー株式会社の小柴薫居さんと北條正和さん、はてなの坪内佑樹（id:y_uuki）と松木雅幸（id:Songmu）。構成はITジャーナリストの星暁雄。記事の最後にプレゼントのお知

More than two years ago we posted a recipe on how to centralize syslog in Elasticsearch in order to search and analyze them with Kibana, all by using only rsyslog. This works well, because rsyslog is fast and light, as we shown in later posts and recent presentations. This recipe is about tailing Apache HTTPD logs with rsyslog, parsing them into structured JSON documents, and forwarding them to El

開発環境は難しい 最適な開発環境をつくるのっていつも難しいなーと思います。サーバ側に入って開発する人もいれば、クライアント側のIDEあげてる人もいるわけで人それぞれです。 その人に特化した開発環境をつくるだけであればそこまで難しい話ではありませんが、チームでの開発となるとそのあたりをうまく解消するのがだんだん難しくなってきます。また、新しくサブドメインが増えたりなど開発環境も常にアップデートし続ける必要があります。 このあたりを、サーバエンジニアが手動でやってると死にます。悪しきDev/Opsの対立関係がうまれてしまうので、なんとかしないといけない。 というわけで、オフィス移転をきっかけに開発環境を作りなおしてみました。以下の3点からさくらVPSを選びました。 コストを抑えたい 最近さくらVPSに東京リージョンができた ローカルネットワーク接続できるようになった 新規開発環境をつくる上での

Windowsマスターの皆様、申し訳ございませんでした！(挨拶) 一つ前のエントリ( http://uzulla.hateblo.jp/entry/2013/08/12/013207 )、まったく私の不勉強を世間に晒すエントリなのは当人も理解しておりましたが、世間の風は2013も下期にはいったというのにXPばかりつかってきた糞マカーには予想よりもつらいものでした！ アイッティー業界、ドッグイヤーなのに、XPとかでがんばってきた無精な人間は殺すべし、慈悲はない、インガオホー！ そして、こちらのほうが重要だと理解しておりますが、「とりあえずなんかうまくうごいてなかったらゲイツをなぐるべし」という糞マカーの内輪の感覚を世の中に気軽に発信したばかりに、ギガ盛り牛丼つくったり、冷凍庫の中にはいった写真をツイットするような目で見られる事態になってしまいました。 自分の想像力の欠如、そしてインターネッツ

人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 これまでのApache2.2系以前でのアクセス制御の書き方は賛否両論でした。僕はあまり好きじゃありませんでした。 過去のアクセス制御に関しては、以下の記事がとてもわかりやすくまとめられていると思います。 こせきの技術日記 – Apacheのアクセス制御をちゃんと理解する。 ここで、以下のように言及されています。 こんなバッドノウハウ、本当はどうでもいいと思う。Apache 3.0では、かっこいいDSL(VCL)で書けるようにする構想があるらしいのでがんばってほしい。 ということで、2.4系ではDSLとはいかないまでも、Require*というディレクティブを使ったモダンな書き方ができるようになったので、それを2.2系以前のアクセス制御の記述と比

（※）このページで紹介している事項は記事初出時点の情報に基づいたものです。本ページはアーカイブとして掲載しています。 ツイート 2012年12月18日 UNIX系のOSで利用できるWebサーバの性能測定ツールといえば、Apache Benchやhttperfを思い浮かべる人が多いのではないでしょうか。これらの計測ツールは、残念ながら最近の高速なWebサーバを計測するには非力です。この記事では、高速なWebサーバにも負けないweighttpの使い方を紹介します。 weighttpとは何か weighttpは、Webサーバlighttpdの開発者が実装したWebサーバの性能測定ツールです。以下のような特徴を持ちます。 Webサーバのスループット（リクエスト毎秒）を測定できる ネイティブスレッドを複数起動し測定性能を向上できる libevを利用することで、モダンなポール・システムコールを利用する

はじめに アクセスが急増すると、応答時間が著しく悪化するサイトはありませんか？ 普段は200ミリ秒以内で安定してアクセスをさばいているのに、イベントやらキャンペーンやらを開始した瞬間から、普段の２倍や３倍のアクセスが殺到し、その結果、レスポンスタイムが3秒とか9秒とかかかるようになってしまうことってありますよね。 あるサイトの実状 つい先日まで、そんなサイトが私の目の前にもありました。自社で運営している某ソーシャル系のサイトなんですが、イベント開始時刻と同時にアクセス数が急増するのです。とはいえ、所詮は普段の2倍とか3倍程度の数なのだから、少なくとも1秒以内にレスポンスを返せるくらいの性能は維持したいものです。 しかし実際は困ったことに、応答に3秒以上もかかってしまう処理が大量に発生してしまう状況に陥ってしまっていました。これはきっと、どこかにボトルネックがあるに違いありません。 仮説を立

2012年09月24日14:09 カテゴリsw いってきた： カーネル/VM探検隊@つくば http://atnd.org/event/kernelvmTKB https://sites.google.com/site/kernelvm/ 2012-09-22 13:10〜19:00 筑波大学 3A402 地図: https://docs.google.com/document/pub?id=1Q5KpYa-E2GtFGt5ihSSofQfmTl5XABxItchisEQu_Uk タイムテーブル: https://docs.google.com/document/pub?id=1mtOohndwHiq00wbUQ6U_pUShZ-RFHOUtryHDwWB5Q3M ハッシュタグ: #kernelvm (not #kernelvmTKB) ライブ配信: http://live.streami

1. WEBサーバのチューニング CONTENTS ⇒ Apache ⇒ その他 ※普段のデフォルトからの変更内容とその他。 もっとこうしたほうがいいという ご意見ありましたらぜひ伺いたいです！ @smallpalace 2. 自己紹介 ID：Twitter smallpalace お仕事： 課金系ASPや各種携帯サービス運営等をしている会社 でサーバインフラ系の仕事をしています。+主婦。 興味のあること： 楽して高速化、効率よく設定運用し寝る時間を確保 比較的好きなこと： MySQL、シェルスクリプト 好きな食べ物： 早朝メンテ明けに一人で築地に行く程度に魚が好きです。 4. サーバの情報を隠ぺいする 44,45c44 < ServerTokens Prod < TraceEnable off ・ ProductOnly。気休めのセキュリティ対策。バージョン --- 等を隠す。

※1：「トラフィック量」「ディスクI/O」は特に閾値の設定はしていません。 ※2：MRTGでは必ず2つのパラメータを利用するため、第1、第2パラメータともhttpdのプロセス数としています。 ※3：ディスクの負荷状況を測るためディスクI/O状況を取得しますが、このデータはSNMP経由では取れないため、ssh経由で情報を取得します。 監視エージェント側の設定 トラフィック量、CPUのロードアベレージ、メモリ使用状況などは標準の状態でデータ取得が可能ですが、httpdのプロセス数やディスクの使用状況などを取得するにはエージェント側でSNMPの設定が必要になります。ここでは監視されるエージェント側に必要な設定を説明します。 httpdのプロセス数をSNMP経由で渡す設定 Apacheなど多くのソフトウェアでは、処理を高速化するために複数のデーモンプロセスを起動し、クライアントからの要求を並列に処

Google、Webページ表示の高速化支援ツール「mod_pagespeed」を正式リリース：読み込み時間を最大で半分に短縮 米Googleは10月10日、Webページの表示速度を自動的に高速化できるオープンソースのApacheモジュール「mod_pagespeed」が正式版になったと発表した。 米Googleは10月10日、Webページの表示速度を自動的に高速化できるオープンソースのApacheモジュール「mod_pagespeed」がβ版を脱し、正式版になったと発表した。 mod_pagespeedは、WebページやCSS、JavaScript、画像といったアセットのベストプラクティスを自動的に適用してくれるApache HTTPサーバ用ツール。カスタムフィルタを使ってHTMLを修正したり、JavaScriptとCSSファイルのサイズ縮小、画像ファイルの不要なメタデータ削除などを通じて

Overview of new features in Apache HTTP Server 2.4 - Apache HTTP Server Expressions http://httpd.apache.org/docs/2.4/en/expr.html やSetEnvIfExpr, RewriteCond, Headerで使える評価式 の追加 http://httpd.apache.org/docs/2.4/en/mod/core.html#if ヘッダや環境変数を参照して細かい制御ができるようになったことに加え、else的なブロックを書くのに苦労したことがあるんで朗報です ErrorLogFormat http://httpd.apache.org/docs/2.4/en/mod/core.html#errorlogformat ErrorLogも書式設定できるように。 %L (L