Apache Sparkをご存知でしょうか。 去年くらいからとても流行っている分散処理フレームワークです。 大量のデータを集計・分析することができます。 公式サイトによれば、インメモリで動作する場合、Hadoop MapReduceより100倍早いそうです。 分散処理は、基本的には１台のマシンでは処理しきれない規模の集計や分析が必要となる場合に必要となります。 Sparkは分散処理のフレームワークなわけです。大量のマシンをクラスターとして扱うことに長けています。 そして当たり前ですが分散処理にはどうしてもオーバーヘッドが発生します。 いくらSparkが高速といっても、シングルノードで実現可能な集計処理をSparkで動かせば遅くなります。 では、シングルノードで計算できるようなデータしか持たないシステムではSparkを使うことにメリットはないのかというと、そんなことはありません。 私は実際に

2.2.1 Hello World インストール 公式サイト からダウンロードする。 zip(tar) と war が配布されている。 zip の方は、 Apache Archiva を単独（スタンドアロン）で動かしたい場合に使用する。 Jetty が内蔵されており、それが利用される。 すでに Tomcat などの Servlet コンテナがインストールされており、そこにデプロイする形で利用したい場合は war を使用する。 今回は zip のほうを選択した。 zip を任意の場所に解凍したら、インストールは完了。 起動する 解凍してできたフォルダの下の bin フォルダの下でコマンドラインを開き、以下のコマンドを実行する。 サーバーが起動するので、ブラウザを開いて http://localhost:8080/ にアクセスする。 停止は Ctrl + C。 管理者ユーザーを作成する 右上の

こんにちは、cloudpack の 三浦剛慈 です。 はじめに CentOS6でApacheログをlogrotateに一週間周期でローテーションするように追加設定した時の手順を記載します。 ※CentOSではlogrotateは標準インストールされていて、デフォルトではsyslog等が１日周期でローテーションされています。 実装方法 ■anacloneの無効化 実行される時間がランダムになると、Amazon S3バックアップをローテーション時に削除されるものをAmazon S3にアップロード等の処理と併用する際等に、何かと不便なのでanacronをまず無効化する。 yum install cronie-noanacron yum remove cronie-anacron ■logrotateコンフィグファイル ◇/etc/logrotate.d/hatted apacheをインストールす

Docker、Apache Aurora開発者らのチームを買収。Swarmとの統合によるオーケストレーション機能の強化でMesosやKubernetesと競合する方向へ Dockerを分散システムで用いる際には、大量のコンテナを管理するためのクラスタ管理システムあるいはオーケストレーションツールとして、KubernetesやApache Mesos、あるいはDocker Swarmなどを用いることが一般的です。 KubernetesはRed HatのOpenShiftで採用され、Apache MesosはマイクロソフトがAzure Container Serviceで採用しています。 こうした中でDocker社は、自社で提供しているオーケストレーションツールをあくまでも押し出していく戦略を明確にしました。 Docker社は、Apache Auroraなどの開発者などが立ち上げた新興企業Co

Apache Camelに関して ダウンロード http://camel.apache.org/download.html 軽量なEIPフレームワーク（メッセージ処理フレームワーク）。 http://www.eaipatterns.com/toc.html 色々な処理に関して考慮されたフレームワーク。 MVCが画面系の表なフレームワークで、EIPフレームワークは裏方のフレームワーク。 画面処理がないのに頑張ってMVCフレームワークで裏方なプログラムを書いている？ （逆にCamelはViewという概念が無いので画面系は弱い） SAP HANA Cloud Integration という製品とかでも Apache Camelベースで作られてたりする。 Camel dev認定試験もあったり http://www.redhat.com/ja/services/certification/rhcoe

はじめに Tomcat8.5.9をベースにしました。 http://tomcat.apache.org/ 設定例 以下の点に注意して無駄なものを省いてあります。 ポート8009でApacheと連携できる ポート8080で単体で稼働(主に状態確認用)できる HttpServletRequest#setCharacterEncodingがGETパラメータにも適用される(useBodyEncodingForURI) ユーザのホストをlookupできる(enableLookups) POSTのデータサイズを10Mに制限(maxPostSize) appBaseを/home側に移動(Tomcat本体の配置場所から遠ざけ、アプリケーション配置時の事故等を防止) <?xml version='1.0' encoding='utf-8'?> <Server> <Listener className="or

AlluraはSourceForge.net 2.0と銘打たれた新デザイン、新機能のシステムです。 かつてオープンソースのリポジトリサービスと言えばSourceForgeでした。今では随分影が薄くなってしまったように感じますが、まだまだ根強い人気があります。そんなSourceForgeが2.0として生まれ変わろうとしています。それがAlluraです。 Wikiページです。 こちらはリポジトリ。2カラムで、右側が狭いのが特徴です。 フォーラム。 チャット。 Pastbin。いわゆるスニペット機能です。 チケット。 チケットの詳細です。 Alluraは既に既存のシステムの一部分に適用され始めています。グレーを基調としたデザインは現在と同じですが、より角丸を多用した、今風のデザインになってきています。デザインも見やすい形で、まさに2.0にふさわしい形と言えるのではないでしょうか。 Alluraは

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

JavaでZipEntryとZipOutputStreamを使ってZIPアーカイブする方法です。 ZipOutputStream クラスは、java.util.zip.ZipOutputStream, org.apache.tools.zip.ZipOutputStream の２種類がありますが、日本語ファイル名を扱える org.apache.tools.zip.ZipOutputStream を利用しましょう。 実務では、ZIP 圧縮したい方法として「特定のディレクトリを圧縮したい」「特定のファイルだけ圧縮したい」などの要望があるかと思います。今回はその両方を実現するためのサンプルを用意しました。 ここでは JavaでZipEntryとZipOutputStreamを使ってZIPアーカイブする方法 を紹介します。 それでは、実際のソースを見ながら解説してきます。 今回は、ZipCompr

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Windows7 から Windows10 にアップグレードしたでござる。 正直言って Windows10 は気に入らん部分が多すぎて、アップグレードしたくなかったのだが、 Windows7 の寿命（サポート期間）が、あと5年前後なので、いずれはアップグレードすることになるだろうし。 慣れの部分もあるので、今回は早々にアップグレードすることにした。 アップグレード後、致命的な不具合はほとんどなかったけど、 XAMPP の Apache が起動しない問題が発生したでござるよ。 PID4 のプロセスが Port80 を LISTEN 赤文字のメッセージだけ見ると、 「PID4 のプロセスが Port80 をすでに使ってまっせ」って書いてある。 PID 4 ？ プロセス番号が若すぎて、嫌な予感しかしないｗ 本当に 4 か？ 念のため、netstat して確認してみる。 確かに PID4 ですねｗ

(注記：6/9、いただいた翻訳フィードバックを元に記事を修正いたしました。) 今回の記事は毎秒300万ものリクエストを処理できるほど強力で高性能なWebクラスタの構築についてのパート1になります。まず初めに、あまり多くはありませんが、私がこれまで使用したことのあるロードジェネレータツールをいくつか紹介します。私のようにてこずって時間をかけてしまわないよう、今回の記事が理解の手助けになれば幸いです。 ロードジェネレータはテストを目的とした数種類のトラフィックを発生させるプログラムです。それによって高負荷においてサーバがどのように動いているか、そのサーバの弱点はどこなのか、などが見えてきます。負荷テストを通じてサーバの限界を知ることは、サーバのレジリエンシーを測定する最適な方法であり、あらゆる問題に対する準備の手助けにもなります。 ロードジェネレータツール 負荷テストをする際に頭に入れておくべ

はじめに Apache Drill 1.0がリリースされました！ Drill 1.0 Released Apache Drillは、NoSQL向けのSQLクエリエンジンで、ファイルシステム上のJSON/CSV/Parquetなどのファイル、Hiveソース、HBase、MongoDBなどに直接SQLクエリを投げることが出来ます。 何はともあれ、触ってみないとどんなモノなのかわかりません。早速試してみました！ やってみた 試した環境はEC2(on Amazon Linux 2015.03)です。 セットアップ Drillの動作にはJDK 7が必要になりますので、インストールされていることを確認します。 $ java -version java version "1.7.0_79" OpenJDK Runtime Environment (amzn-2.5.5.1.59.amzn1-x86_64

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます HBase登場の背景 2月24日、オープンソースソフトウェア（OSS）プロジェクト支援団体Apache Software Foundation (ASF) は「Apache HBase 1.0」のリリースを発表しました。HBaseの開発が開始されてから約8年、数々の機能強化と安定性向上のための改良を経て、成熟した製品として一つのマイルストーンに達したことが合意された結果です。第2回では、このHBaseについて掘り下げていきます。 HBaseは、ASFのプロジェクトとして開発されているOSSのNoSQLデータベースです。同じくApacheプロジェクトの分散データ処理基盤として開発されている「Apache Hadoop」上で動作し、分散型の

テキストから意味を読み取るというのは非常に難しく、そのための専用ソフトウェアが存在するほどです。そしてテキスト解析手法の一つとして知られているのが分かち書きです。日本語であればChasenがよく知られています。 kuromoji.jsはそんな分かち書き処理をJavaScriptで行ってしまおうというソフトウェアになります。KuromojiというApache財団のオープンソース分かち書きエンジンをJavaScriptにポーティングしています。 kuromoji.jsの使い方 こちらはデモです。Webブラウザベースで動作しています。nodeでも使えます。 適当な文章をリアルタイムに分かち書きできます。 kuromoji.jsは辞書ファイルをAjaxで取得しています。そのためサイズは大きくなりますが、分かち書きの精度はとても高くなります。サーバサイドで辞書を用意したり分かち書きエンジンを用意する

はじめに 前編では MLlib で実装されている協調フィルタリングについて、アルゴリズムの面から解説してみました。 いわば理論編です。 後編は実践編として Java コードや性能評価実験の結果を見ていきます。 MLlib 協調フィルタリングの実行 MLlib の協調フィルタリング org.apache.spark.mllib.recommendation.ALS を利用する Java のコード例を以下に示します。 import org.apache.spark.api.java.JavaRDD; import org.apache.spark.mllib.recommendation.ALS; import org.apache.spark.mllib.recommendation.MatrixFactorizationModel; import org.apache.spark.mll

NECマネジメントパートナー株式会社（代表取締役執行役員社長　松倉　肇、本社：神奈川県川崎市、以下NECマネジメントパートナー）は、本格的なビッグデータ時代の到来に備え、オープンソースの分散プロセス実行環境であるApache Sparkのトレーニング2コースを11月25日から順次開講いたします。 オープンソースの分散プロセス実行環境であるApache SparkはApache Hadoopを補完して、従来のバッチ指向の方法に対し、バッチ処理／ストリーム処理の統合による大量データの高速処理を実現することで、ビッグデータアプリケーションやエンドユーザーの期待に応えるデータの高速なインタラクティブ分析を可能にします。ビッグデータの隆盛に備え、NECマネジメントパートナーでは早くからトレーニングコースを提供してまいりましたが、今回、オリジナルコースである「Apache Spark 概要」（1日間コ