TechCrunch Daily News Every weekday and Sunday, you can get the best of TechCrunch’s coverage. Startups Weekly Startups are the core of TechCrunch, so get our best coverage delivered weekly.

IBM、「Spark as a Service」を発表。Apache Sparkへのコミットで3500人の研究者やエンジニアを投入 米IBMはオープンソースの大規模分散処理基盤「Apache Spark」への本格的なコミットメントを数日前に発表し、3500人の研究者やエンジニアを投入すると宣言しました。 同社が合わせて発表したのが、Apache Sparkをクラウド上でサービスとして提供する「Spark as a Service」です。現在はまだサインナップしてもログインできず、最新情報のメールが届くようになっています。 Apache Sparkは、これまでHadoopが切り開いてきた大規模分散処理プラットフォームをさらに技術的に推し進めたものと言えます。 Hadoopは大量のデータをバッチ処理する非常に高い能力を備えていましたが、Apache Sparkではインメモリ処理などによってさら

昨今ではHadoopが厳密にどういったものか、もしくはどんなものではないのかをピンポイントで説明するのが難しくなってきている。 数年前、Hadoopは基本的にマップリデュース、つまりバッチ形式で大容量のデータを処理するシステムであり、この事で人々はHadoopとビッグデータ、そして「ただひたすらに多い」というだけの意味のビッグデータをごっちゃに捉えてしまった。かつての市場にあった混乱は、今日では更にひどくなっている。なぜならHadoopは2年前なら不可能だとされていたあらゆる機能を備えているからだ。 この事はHadoopプラットフォームにおいて喜ばしいことだが、ユーザーにとって使うのが難しい物にもなってきている。 Hadoop：安息までにはまだまだ遠いHadoopは2007年頃に現れたが、現在でもその普及は限られたものになっている。その利用については幅広い興味を集めているものの、ガートナー

ニュース、占い、アプリ、音楽、動画、書籍など「スマホ・ライフ」を楽しむための情報を無料でお届けします。 今後は、dメニューをご利用くださいますよう、よろしくお願いいたします。

ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 ITproの『DBの未来、どうするHadoop』のタイトルに釣られてみたｗ （以下長々書いたけど、結局言いたいことは、DBとHadoopは関係無いってことと、タイトルについて何か勘違いしたっぽいということだけだった＾＾；） 僕の意見では、Hadoopはバッチ処理を分散して実行する基盤である。データを溜めるのは副次的な効果に過ぎない。（暴論ｗ） もちろん、そもそも分散処理を行う必要があるのは処理対象データが大量だからなので、データの溜め方も必須ポイントだし、Hadoopが分散処理する原理も密接に結びついているのだが。 あらかじめ断っておくと、自分は非構造化データとか分析とか機械学習には興味が無い。 自分がHadoopに興味を持ったのは、自分が担当していた“RDBを対象にした

オープンソースソフトウエア（OSS）の分散データ処理ソフト「Hadoop」が、大きな変貌を遂げ始めている。バッチ処理だけでなく、SQLクエリーを使ったインタラクティブ分析やインメモリー処理、機械学習処理などへと適用領域を広げているからだ。Hadoopのオリジナル開発者であるダグ・カッティング氏は、「新しい時代が始まった」と語る。 現在のHadoopの状況をどのように見ているか？ 同じような機能を備えたコンポーネントが複数提案されるなど重複はあるが、技術開発は非常に高速に進んでいる。（米Apacheソフトウエア財団が2013年10月に正式版をリリースした）スケジューラーの「YARN」によって、（Hadoopのストレージシステムである）「HDFS」の上に、様々なテクノロジーを共存できるようになったことが大きい。私が特に驚いているのは、（DAG：Directed Acyclic Graph＝有向

ニュース、占い、アプリ、音楽、動画、書籍など「スマホ・ライフ」を楽しむための情報を無料でお届けします。 今後は、dメニューをご利用くださいますよう、よろしくお願いいたします。

ニュース、占い、アプリ、音楽、動画、書籍など「スマホ・ライフ」を楽しむための情報を無料でお届けします。 今後は、dメニューをご利用くださいますよう、よろしくお願いいたします。

グリーではユーザに喜んでもらえるサービスを提供するための継続的な改善を重視しており、創業期よりログデータの分析基盤の開発・運用に注力してまいりました。昨年より、従来の自社開発の解析基盤に加え、Hadoopやfluentdなどを本格的に運用開始し、解析基盤のさらなる強化を実施しております。サービスの成長を支えるデータ分析基盤の構築・運用・活用方法について自社の事例をベースにお話します。

Windows Azure上のHadoopサービス「HDInsight」が正式公開。Excelからも利用可能 3月からパブリックプレビューが続いていた、Windows AzureのクラウドでHadoopクラスタが利用可能なサービス「Windows Azure HD Insight」が正式公開されました。 HDInsightは、Hadoopの有力なディストリビューションベンダの1つであるHortonworkの「HDP for Windows」をWindows Azureで展開したサービス。Hive、Pig、Sqoop、Oozieなどの機能も含まれています。 通常のMapReduceアプリケーションを利用してHDInsightを使うだけでなく、ExcelとHDInsightを接続して利用することも可能。「Hive ODBC Driver for HDInsight」を用いてODBCドライバ経由

ニュース、占い、アプリ、音楽、動画、書籍など「スマホ・ライフ」を楽しむための情報を無料でお届けします。 今後は、dメニューをご利用くださいますよう、よろしくお願いいたします。

Treasure Dataのサービスはクラウド上でどう構築されているのか（前編）～July Tech Festa 2013 Treasure Dataといえば、日本人がシリコンバレーで創業したベンチャーとして知られている企業。そのシニアソフトウェアエンジニア中川真宏氏が、7月14日に行われたJuly Tech Festa 2013の基調講演で、同社がクラウド上で構築したサービスについてそのアーキテクチャを中心に解説を行っています。 注目されているクラウドサービスがどのような仕組みになっており、それはどのような考え方で作られているのか。クラウドでシステム構築を考えている多くのエンジニアの参考になるはずです。講演の内容をダイジェストで紹介します。 Treasure Dataのクラウド戦略 Treasure Data, Inc。シニアソフトウェアエンジニア 中川真宏氏。 スタートアップなこともあ

海外のテック系イベントやカンファレンスでのセクハラ問題というのは、似たような話が繰り返し出てきますね。 # 誰も何も気付かないとか、気付いていても無視するとかに比べれば、セクハラの指摘が起こるだけまだましなのかもしれませんが。 昨日今日とサンノゼで開催中のHadoopサミットでHadoopコンサルティングのWANdisco社がノベルティとして配ったTシャツ 「こいつはダウンしたことがない」 「あなたのHadoopを常に立ち上がりっぱなしに」 が問題視され、CEOはツイッターでこのTシャツの配布中止を報告しました。 Hadoopコミュニティでは、以前にDatameer社もやらかしていたようで。 https://twitter.com/rawwwr/status/350041269537488896 「私のHadoopは君らのよりも大きいよ」 マスコットの象が、彼らを小学生男子みたいな発想に走

個人的には割と大変だったので、その辺をまとめておきます。 ニュースリリースはこちら。 http://www.nautilus-technologies.com/topics/20130409.html 要するに本部系バックエンド基幹システムの「一式」のクラウド移行です。完全なミッションクリティカルシステムで、止まった段階で業務に確実に影響が出ます。 システムの機能概要 1.売上の確定処理と債権管理 POSデータの直結です。売上確定処理を行います。同時に債権管理も行い、F/Bからの入金データをそのままつなぎ込み、入金処理・債権の消し込み処理を実行します。マッチングは自動処理できるものは処理を行い、ヒューリスティックなものはユーザー判断に従います。 2.仕入・費用の計上と確定処理、および支払いデータの作成 費用・在庫の計上確定処理です。当時に支払データの確定処理を行います。EDI（BMS）との

How US employers can protect immigrant tech workersDeportation threats loom over foreign-born workers, even highly skilled professionals who hold H-1B visas. Here’s how companies can support immigrant tech employees — and how those workers can protect themselves.

Digital twin tech is a double-edged swordDigital twins of real people can be both powerful and problematic, depending on how you use them.

写真2●トレジャーデータのメンバー。CEOは米レッドハットなどで勤務した芳川裕誠氏。CTOの太田一樹氏はプリファードインフラストラクチャーの前CTO。楽天で分散キー・バリュー・ストアのROMAを開発した西澤無我氏、OSSのログ収集ツールFluentdやメッセージングミドルウエアMessagePackを開発した古橋貞之氏、MongoDB JPの設立メンバー井上敬浩氏などが参加している 米トレジャーデータは2012年9月27日（米国時間）、データウエアハウス（DWH）のクラウドサービスである「Treasure Data Cloud Data Warehouse（DWH） Service」を開始したと発表した。「Hadoop」をベースにしたDWHだが、Hadoop独自の「MapReduce」ではなく、SQLのクエリーや「JDBC」「ODBC」などを使って蓄積したデータを活用できることが特徴。米国

Hadoop Conference Japan 2013 http://hcj2013w.eventbrite.com/ 先週終了。かなりの盛況で終わった感じです。まずは開催をサポートして頂き、相当の負担まで頂いたリクルート・テクノロジー様に感謝申し上げます。どうもありがとうございました。 さて、えっと、前回がそもそもいつだったのか、良く覚えてないわけで。2011 Fallだったような。 http://hadoop-conference-japan-2011-fall.eventbrite.com/ 2011年の9月なので、1年4ヶ月ぶりという感じですね。Track数が増えて2から3で、会場もベルサールからビッグサイトになっていました。人数も1000人超になっております。 以下、感想文です。記録としておいておく感じで。 ・内容で印象に残ったもの ・HBase~LINEのバックボーンで使って

Hadoopはビッグデータ処理の汎用プラットフォームであり、SQLやジョインやトランザクションなどが使えるようになる。Hadoopの生みの親であるダグ・カッティング氏は、都内で開催された日本Hadoopユーザー会主催のイベント「Hadoop Conference Japan 2013 Winter」にビデオメッセージで参加。Hadoopの現在、そして将来像について語りました。 カッティング氏が語ったHadoopの将来とはどんなものなのか。ポイントを紹介しましょう。 バッチ処理を超え続くApache Hadoopの進化 Apache Software FoundationのChairmanでありClouderaのChief Architect、Doug Cutting氏。 今日はみなさんと一緒に参加したかったのですが残念ながらかなわず、このビデオをお送りすることになりました。 MapRedu