なぜDMMがweb3に参入したのか。Seamoon Protocolが目指す新たなエンタメ体験の未来とは

Hortonworks、Pivotal、IBM、GE、SAS、EMC、VMwareなどがHadoopのエコシステムの標準化を目指す団体「Open Data Platform Initiative」の設立を発表しました。 Pivotal データプロダクトグループVPのSundeep Madra氏は、Open Data Platform Initiativeの設立に当たり「Hadoopエコシステムのフラグメンテーションを防ぐ」ためだと説明しました。 「Linuxでは共通のカーネルがあり、これによってアプリケーションは、あるOSで動けばほかでも動くことが分かる。これがLinuxのエコシステムを成長させた。Hadoopもこれにならうことで企業導入の促進と、さらにエコシステムを成長させていくことができる」Madra氏。 これに合わせてPivotalとHortonworksは協業も発表。両社は製品の統

こんにちは。ヤフー株式会社の杉山です。Hadoopのベンダーとして知られるCloudera社が主催する Cloudera World Tokyo 2014（以下CWT2014）の午後のセッションで、昨年頃から盛り上がっているHadoopのSQLエンジンImpalaについて発表してきました。 ImpalaはHDFSを直接readする低レイテンシなSQLエンジンで、データの検索や集約を行う処理は従来のMapReduceを使わずに専用に開発されたImpaladが行います。Impalaの発表当初は話題を呼びましたが、最近ではImpala自体の存在は浸透して実際にどのように使っていくか、という話題が増えているように思います。 私たちヤフーでも、この新しいSQLエンジンに強い関心を持っており社内でさまざまな検証を行っています。発表資料の方では、サービス利用を考えた時に気になるレスポンスや並列リクエスト

トレジャーデータの分析エンジンを採用した「Yahoo! ビッグデータインサイト」提供開始。月1000万件60回クエリまで無料のプランも。IDCフロンティア Yahoo! ビッグデータインサイトは、IDCフロンティアのクラウド基盤にfluentdやトレジャーデータのtd-agent、バルクアップローダーなどによってクラウドデータを収集、保存し、Hadoopなどの分散処理システムを組み合わせたトレジャーデータのデータ分析エンジンでデータの分析を行えるもの。 分析した結果はSQLやPig、REST API、ODBC/JDBCなどで得ることができます。分析処理基盤の性能はIDCフロンティア側でつねに最適化を行い、またデータは3重コピーによって保管されています。 利用者はビッグデータのためのインフラや分析ツールの構築や維持費用の手間を省け、数百億件ものデータであってもクラウド上の分散処理基板を活用し

藤川幸一氏がシリコンバレーで起業した米フライデータ（FlyData）は、様々なデータソースから米アマゾン・ウェブ・サービス（AWS）のデータウエアハウス（DWH）サービス「Amazon Redshift」にデータを転送するというサービス「FlyData」を提供する。藤川氏はAWSのRedshiftが「Hadoopキラーになりつつある」との見方を示す。 フライデータのビジネスの現状はどうか？ 当社はもともとハピルス（Hapyrus）という社名で、「Hadoop」のPaaS（プラットフォーム・アズ・ア・サービス）を提供することを目指して起業した。しかしHadoopのPaaSが増えてきたことを考え、現在の「FlyData」の事業にピボット（事業転換）し、社名もFlyDataへと変更した。 事業を転換したもう一つの理由が、AWSが2013年初めにRedshiftを開始したことだ。Redshiftを

Hadoopソースコードリーディング 第16回に参加してきました。今回は1.0がリリースされる目前のApache Sparkがテーマでした。 NTTデータ濱野さんの冒頭の挨拶 Spark1.0リリースを記念する予定が、されていないｗ 今回はお酒を飲んでグダグダする時間はないｗ Apache Sparkのご紹介（前半） NTTデータ土橋さん まずは土橋さんからSparkの背景やSpark Summit 2013の振り返り、Sparkの基本についての説明がありました。詳細はスライドを見てもらった方がいいですが、さくっと雰囲気を掴みたい方は以下のメモをご参照下さい。 土橋さん 6年前からHadoopに関わっている。 基本はインフラエンジニア Ansible使っている。 アジェンダ Sparkの背景 Spark Summit 2013振り返り Sparkのキホン RDD スケジューラ 前提 机上調

From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluentd Meetupのデモでは9億件を7秒程度で検索していたが、BigQueryの真の実力はこれより1〜2ケタ上だからだ。ちょっと手元で少し大きめのテーブルで試してみたら、120億行の正規表現マッチ付き集計が5秒で完了した。論より証拠で、デモビデオ（1分16秒）を作ってみた： From The Speed of Google BigQuery これは速すぎる。何かのインチキである（最初にデモを見た時そう思った）。正規表現をいろいろ変えてみてもスピードは変わらない。つまり、インデックスを事前構築できないクエリに対してこのスピードなのである。 価格も安い。さすがに120億行のクエリは1回で200円もかかって気軽に実行できなさそうであるが、1.2億

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます ヤフーは、全社で共通に使える、分散並列処理プログラミングフレームワーク「Apache Hadoop」基盤を新たに構築、その基盤ネットワークとしてイーサネットファブリック型のネットワークアーキテクチャを採用した。ブロケード コミュニケーションズ システムズが4月3日に発表した。 ヤフーは運営する「Yahoo! JAPAN」を通じて得られる情報をサービス品質の向上や新サービス創出のためにHadoop基盤で分析している。早い時期からHadoop基盤を活用してきたが、近年では近年レコメンデーション機能やターゲット広告などの多くのサービスでデータ分析に対する社内ニーズが急速に高まってきたため、より大規模で全社で共用可能なHadoop基盤を新たに構

グリーではユーザに喜んでもらえるサービスを提供するための継続的な改善を重視しており、創業期よりログデータの分析基盤の開発・運用に注力してまいりました。昨年より、従来の自社開発の解析基盤に加え、Hadoopやfluentdなどを本格的に運用開始し、解析基盤のさらなる強化を実施しております。サービスの成長を支えるデータ分析基盤の構築・運用・活用方法について自社の事例をベースにお話します。Read less

スマートフォンアプリ広告の世界は、Web広告よりもユーザートラッキングが難しい世界。この領域のサービス展開を支える環境を現場技術者が解説する。 筆者らの所属するCyberZはスマートフォン広告代理店として、スマートフォン向けサービスのマーケティング支援、主に広告運用の代理事業を行っています。 広告運用では、弊社が開発したスマートフォン広告効果計測ツール「Force Operation X」（以下「F.O.X」）を使用して運用の効率化を図っています。この「F.O.X」にHadoop管理ツールであるCloudera Managerを導入しています。 今回の連載では、この「F.O.X」にHadoop、Cloudera Managerを導入、運用して得られたノウハウを全3回でお伝えしていく予定です。今回は、スマートフォン広告サービスを支える技術要件とCloudera Managerの導入を決めた背

(この記事は、Hadoop Advent Calender 2013 の12日目の記事です) こんにちは、Amebaのログ解析基盤Patriotの運用をしている、鈴木(@brfrn169)と柿島大貴です。 Patriotについては以下をご覧ください。 http://ameblo.jp/principia-ca/entry-10635727790.html http://www.slideshare.net/cyberagent/cloudera-world-tokyo-2013 今回、Amebaのログ解析基盤PatriotにCloudera ImpalaとPrestoを導入しました。 Cloudera ImpalaとPrestoのインストール方法や詳細ついては、下記URLをご覧ください。 Cloudera Impala http://www.cloudera.com/content/clo

誠に恐れ入りますが、お客様がアクセスしようとしたページまたはファイルが見つかりませんでした。 お探しのページは、削除または名前が変更された、もしくは一時的に使用できなくなっている可能性がございます。

HBaseコミッター達による、NoSQLの記事への反論が面白かったので翻訳してみました。 著者の許諾取得済み。Thanks Stack and the other authors! 本文 原題: Taking the Bait Information Weekは先日、「HBase はNoSQL を支配するのか?」という記事を掲載した。MapR の Michael Hausenblas は HBase の事例に「賛成」の論陣を張っており、Apache Cassandra の Jonathan Ellis とベンダーである DataStax は「反対」の側だった。 この「ディベート」をベンダーのセールストークとして却下し、Apache HBase に立ち戻り、HBase を使用し、改善していくのは、簡単な話である。しかし、この記事は特別に問題のある例だった。記事では、「賛成」と「反対」の双方と

2012年12月10日 NTTデータ オープンソースDAY 2012 講演資料 『ストリームデータ分散処理基盤 Storm』 NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 岩崎 正剛 http://oss.nttdata.co.jp/hadoop/Read less

少し前にログの話を書いた http://d.hatena.ne.jp/naoya/20130219/1361262854 ときに、Treasure Data については後日にもう少し詳細に書くと言ったので書くとしよう。 近頃 Treasure Data (以下、時折 TD) という名前をちらほら聞いたことがある人は多いのではないかと思います。「ビッグデータのクラウドサービスである」とか「日本人が創業したシリコンバレーのベンチャー」、あるいは Yahoo! 創業者の Jerry Yang が投資したとか、Fluentd と何か関係があるといった文脈などなど。 けど、具体的に Treasure Data がどういうサービスで、どういう機能を持っていて、どんな場面で利用されるものなのかはまだあまり良く知られていないかもしれない･･･ようにも見える。今日はその辺から少し紹介していこうかなと思う。

シリコンバレーの投資家からも一目置かれるTreasure Dataの成長を支えているその技術力と経営理念について、Treasure DataのCTOである太田一樹氏が基調講演で語ったその内容をレポートします。 Feature Creepではなく“ナタ”を作る 太田氏をはじめとするTreasure Dataの創業メンバーはいずれもHadoopやmemcached、MongoDBなど、現在のビッグデータブームを支えるオープンソース技術の開発に学生時代から関わっていました。これらのオープンソースプロダクト、とくにHadoopに触れる経験が長かったことが、Treasure Data設立の大きなきっかけになっています。 「Hadoopの登場はこれまで使いづらいだけの存在だった分散システムの世界を大きく変えた。一方で、ユーザ企業がHadoopをデプロイし、運用をはじめても、結局はメンテナンスが大変にな