あけましておめでとうございます。濱野 賢一朗です。 1年は早いものですね。本当にあっという間に過ぎ去ってしまうものです。しかし、いざ1年を振り返ってみると、いろんなことが起きていたのだと実感したりもします。ここでは「ビッグデータ（Big Data）活用」が2015年にどう変化していきそうか、Hadoopの話題を中心に紹介したいと思います。 2014年を振り返る まずは、昨年を振り返ってみましょう。急浮上したバズワードという印象の「ビッグデータ活用」も、すこし落ち着いてきました。まだまだ浮ついた話を耳にしましたが、一方で、具体的な事例や技術の話も増えてきた1年でした。 システム基盤の観点では「Hadoop」の変貌が始まりました。皆さんご存じのとおり、Hadoopは並列分散処理を実現するオープンソースソフトウェアです。技術的側面での変貌は2015年に本格化すると思いますが、その下準備が着実に行

後半書きました( Hadoop on docker 後編 - White scenery @showyou, hatena ) 書き忘れていましたが、この記事 Spark, SQL on Hadoop etc. Advent Calendar 2014 - Qiita の23日目になります。 はじめはPivotal社の商用SQL on HadoopであるHAWQの話でもしようかと思いましたが、先日掲載したスライドに大体書いているので読んで頂ければと思います。 今回はHadoop on Dockerについてでも話します。 最近はHadoopを動かすのにdockerを使う動きが出ています。 dockerで組み上げるメリットとしては、 1. VMに比べると速度が速い(と考えられる) 2. 各社配布しているVMと違いDockerfile辺りを見れば何やってるか理解できる 3. imageを管理すれ

Hadoopソースコードリーディング 第17回に参加してきました。今回のテーマは7月にApacheのTop-Level Project入りしたばかりのApache Tezについてでした。なお、全体的にApache Sparkと比較する形での説明が多かったので、Sparkについてご存じない方は前回のHadoopソースコードリーディング 第16回に参加してきましたをご参照下さい。 NTTデータ濱野さんの冒頭の挨拶 今日は別のイベントも多いためいつもの半分ぐらいの参加者だが、その分Deepにやれれば いつもの会場だと途中からピザとお酒だが、今回の会場は飲食禁止なので最後までシラフで Tezに関する勉強会は初回なのにいきなりタイトルがInternalsとかになってますねｗ Tez Internals （@oza_x86 さん） @oza_x86 さんからはTez Internalsということで、S

オープンソースソフトウエア（OSS）の分散データ処理ソフト「Hadoop」のユーザー会「Hadoop Conference Japan 2014」が2014年7月8日、東京・汐留で開催された。基調講演には、Hadoopのオリジナル開発者であるダグ・カッティング氏（写真1）などが登壇。カッティング氏は「バッチ処理用の『MapReduce』以外の処理方式に対応した現在のHadoopは、ビッグデータを処理する分散OSのカーネルとも言うべき存在になった」と語った。 基調講演にはカッティング氏のほか、日本Hadoopユーザー会の世話役であるリクルートテクノロジーズの米谷修氏やNTTデータの濱野賢一朗氏、「Spark」の開発元である米データブリックス（Databricks）のパトリック・ウェンデル氏、米トレジャーデータの太田一樹氏が登壇した。 NTTデータの濱野氏（写真2）は基調講演の冒頭、2009年

「Hadoopが使えるのはバッチ処理だけ。そんな印象はもはや過去のものだ」。「Hadoop」のディストリビューション（検証済みパッケージ）のベンダーである米ホートンワークスのロブ・ベアデンCEO（最高経営責任者）は、2014年6月に開催した「Hadoop Summit 2014」でこう強調した。 Hadoopの開発元であるApacheソフトウエア財団（ASF）が、Hadoopの標準的な処理方式「MapReduce」以外の方式に対応した「Hadoop 2」をリリースしたのは2013年10月。それから半年が経過し、Hadoopで利用できる処理方式は急速に増加している（図）。

二年経過したので記録として置いておく感じで。 ということで気がついたら設立から二年経過していました。正直、まだ二年しか経過していないのか、という感じがします。この一年は二年分ぐらいの時間感覚でした。まじで時間経過が速すぎて死ぬかと思った。去年の今頃はAsakusaの立ち上げで、特にSI屋向けのサポートに力を入れていた時分で、今と状況がまるで違う状況でした。この一年では大きな試行錯誤を二回ほどやった感じになっていて、現在ではAsakusaの向こう側の違う方向性の模索し始めているところです。 大きな方向性としては、この一年で以下が大きく違ってきていると思います。 1.クラウド・コミットが普通になってきた、とはいえ、一方でまだまだというところも実情。元々クラウド上で構築や作業や環境の獲得は普通にやってきましたが、やはり、春先の西鉄ストアさんの基幹業務系をAWSで動かしたというのは、それなりのイン

Hadoop is rapidly becoming the kernel for distributed computing. Hadoop is known as the de facto tool for anything related to batch processing, but the …

2. 自己紹介 Privileged and Confidential 2 遠峯 康夫(とおみね やすお) 事業戦略統括本部 データソリューション本部 データインフラ開発部 2010年 新卒入社 Hadoopクラスタ立ち上げの部署に配属 2012年 データソリューション配属 Hadoop、リアルタイム処理基盤などを担当

Treasure Dataのサービスはクラウド上でどう構築されているのか（前編）～July Tech Festa 2013 Treasure Dataといえば、日本人がシリコンバレーで創業したベンチャーとして知られている企業。そのシニアソフトウェアエンジニア中川真宏氏が、7月14日に行われたJuly Tech Festa 2013の基調講演で、同社がクラウド上で構築したサービスについてそのアーキテクチャを中心に解説を行っています。 注目されているクラウドサービスがどのような仕組みになっており、それはどのような考え方で作られているのか。クラウドでシステム構築を考えている多くのエンジニアの参考になるはずです。講演の内容をダイジェストで紹介します。 Treasure Dataのクラウド戦略 Treasure Data, Inc。シニアソフトウェアエンジニア 中川真宏氏。 スタートアップなこともあ

米トレジャーデータのCTOを務める太田一樹氏にインタビューする機会を得た。プログラミングを始めたきっかけや、Hadoopとの出会い、起業についてなど、28歳の若手起業家の素顔に迫った。 米トレジャーデータは、昨今話題となっている“ビッグデータ”の処理基盤を提供していることに加えて、3人の日本人が立ち上げたシリコンバレー発のベンチャーとして、注目を集めている。2013年5月20日には、日本国内での事業展開を本格化すると発表している（関連記事）。 同社が提供する「Treasure Data Platform」は、自社開発技術とHadoop、クラウドサービス（AWS）を組み合わせたビッグデータ処理基盤である。ビッグデータの処理基盤をクラウドで提供している点が特徴だ。大量のセンサデータや購買取引データ、Web閲覧・アプリケーションのログデータなどをクラウド上のデータベースにインポートし、そのデータ

シリコンバレーの日本人ベンチャーとして注目度の高いトレジャーデータのCTOである太田一樹氏とのインタビューが実現した。CEO芳川裕誠氏の家のベランダと熱海の温泉で始まった会社の起業物語やサービスのポイントなどを聞いた1時間のインタビューをほぼ加工なしで掲載する。 Hadoopのポテンシャルを感じ始めたときに声をかけてもらった TECH.ASCII.jp 大谷（以下、TECH 大谷）：太田さんというと、Hadoopの人というイメージがありますが、そもそものバックグラウンドを教えてください。 トレジャーデータ 太田氏（以下、TD 太田）：はい。もともと私のバックグラウンドはHPC（High Performance Computing）のエリアで、19歳くらいからあまり学校にも行かず（笑）、プリファードインフラストラクチャという会社のCTOをやらせていただきました。あと、米オレゴンの国立研究所で

Captcha security check datasalt.com is for sale Please prove you're not a robot View Price Processing

Hadoopについてのイベントがあったのでいってきた。なんと東京ビッグサイト！ ソフトウェアのユーザ会主催のイベントで東京ビッグサイトとかすごすぎる*1。主催の方々はお疲れさまでした。 http://hcj2013w.eventbrite.com/ しゃべってきた Log analysis with Hadoop in livedoor 2013 from SATOSHI TAGOMORI Ust録画がこちら: http://www.ustream.tv/recorded/28693167 今回は発表は公募だったので思わず申し込んでしまっていたら通った。ので、自分がつくっているアクセスログ集計システムの全体像について、初期の構造から現在の状態までの変化を俯瞰する形で解説してみた。あれこれ順番に手を入れながら現在の状態にしていったんだけど、そこにどんな理由があったのか、どんな方針でやっていた

米シリコンバレーで日本人起業のベンチャーに注目が集まる。ビッグデータ分野の大型新人「トレジャーデータ」だ。マネックス証券など日本企業への「逆輸入」も進んでいる。 多岐にわたる膨大なデータ群を意味する「ビッグデータ」。もともとはIT（情報技術）業界を中心に使われてきた言葉だが、最近では金融業、小売業、製造業など幅広い業種で耳にするようになってきた。消費者の動きをデータ解析によって捉え、マーケティングに応用したり、商品開発に生かしたりするケースが少しずつ増えている。 こうした中、2011年7月に米シリコンバレーで日本人が立ち上げたベンチャー企業、トレジャーデータに注目が集まっている。同社は、大量のデータを複数のマシンに分散させ、処理時間を大幅に短縮させる「Hadoop（ハドゥープ）」と米アマゾン・ドット・コムのクラウドサービスを組み合わせ、安価にビッグデータ活用を可能にするサービスを手がける。

その日の仕事の終わりに hadoop に関する tips をツイートするという日課をはじめてみました。 たまに役に立つ tips も流しますが、基本スタンスはトリビア的な微妙なラインです。 ハッシュタグ #14e35d は、ユニークなハッシュタグ名がほしかっただけで特に意味はありません。