自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ

SRE所属の @siroken3 です。最近はもっぱらパートナー会社様とのデータ連携環境構築を主に、時々プロダクションのMySQL環境と分析基盤との連携インフラの構築が多いです。 本記事は、メルカリに出品された過去すべての商品をBigQueryへ同期するにあたって取り組んだ時のお話です。 背景 当社では分析目的などでBigQueryを以前から使用しており、プロダクションのMySQLからBigQueryへデータを同期して分析に活用してきました。特に商品を表すテーブルは重要です。 しかし、後述する課題によりBigQueryにアップロードすることができなかったため、分析用のMySQLDBのスレーブとBigQueryを併用せざるを得ませんでした。とはいえ不便なので以前からBigQueryのみで商品テーブルも分析対象としたい要望がありました。 課題 メルカリでは販売済み商品を物理削除していないため、

一休のデータサイエンス部に所属しています小島です。 以前データ分析基盤の構築で記事を上げていましたが、今回はETL*1周りの話をしようと思います。 user-first.ikyu.co.jp 今回ETLのツールとして導入したのはAirflowというツールです。 2017年のアドベントカレンダーでも紹介させていただきました。 一休のデータフローをAirflowを使って実行してみる 一休のETLの現状について 一休のETL周りは以下の画像のようになっていました。 課題 ETLの処理時間が伸びた（出社後も処理が続いていた） エラーのリカバリ作業に時間がかかる（ログが確認しにくい, サーバーに入って作業しなければいけない） 複雑な依存関係の定義がしにくい（どれとどれが依存しているかわからない） リソース負荷（全て並列で実行していた） 処理毎のボトルネックが把握できない ツールの問題というよりは正し

データの活用が当然のことのようになってエンジニア以外でもSQL書いてデータ抽出するのが一般的になってきました。さらにデータサイエンティストの登場により高度な分析もされるようになってきて、顕在化してきたのがHadoopクラスタの無法地帯化とエンジニアの疲弊なんじゃないかと最近思っております。なおHadoopに限らずElasticsearchでも言えたりします。 これって要はユーザと管理者のバランスの問題で、Hadoopエンジニアを採用するのが難しいというのが背景にあります。 SQL書ける人はそれなりにいるけど、インフラ側の人材不足ですね。この状態でデータの民主化が進むとどうなるかというと、 クエリの数が増える -> なかにも重いクエリも結構ある -> 管理者がそれをチェックするのに疲れて放置するようになる -> クラスタの負荷が増えて障害も出るようになる -> クエリ実行にも時間かかるように

TECH PLAY Conference 2017 の発表資料となります ビッグデータを活用したWebサービスの技術 #techplayconf2017 #techplayjp https://techplay.jp/event/628968 株式会社DMM.comラボ 鈴木 翔太 / 吉田 …

“日本の大企業は米国に比べてITの最先端トレンドにキャッチアップするスピードが遅い”と言われることが多いが、ことAWSクラウドの導入に限っていえば、グローバルでも引けを取らず、むしろ先進的な導入事例も少なくない。特にここ最近は、データアナリティクスのコアとしてRedshiftやAthenaといったAWSのマネージドサービスを積極的に活用するエンタープライズが増えている。 本稿では、そうした国内企業の中でも最先端のデータアナリティクス基盤をAWS上に構築する「JAWS-UGビッグデータ支部」の2社、リクルートテクノロジーズとNTTドコモの事例について、7月5日に東京・大崎で開催された「AWS Solution Days 2017 ～ AWS DB Day ～」に登壇した両社の発表内容をもとに紹介したい。 EMRで“キャパシティプランニングの呪縛”から解放された：リクルートテクノロジーズ “リ

末岡所長は、メディカルイノベーション研究所の長としでだけではなく、医療情報に関する国、県、佐賀大医学部附属病院それぞれの施策、研究などの取り組みにも関わっている。佐賀大が関わる、そうしたプロジェクトについて聞いた。 佐賀大学医学部 臨床検査医学講座 教授／メディカルイノベーション研究所 所長／メディカル・バイオバンクセンター長／臨床研究センター 臨床研究部門長　末岡榮三朗氏 医療ビッグデータを「表」と「裏」から同時に整える佐賀大学医学部末岡教授　佐賀県ではちょうど、幅広い診療情報地域連携ネットワーク、“ピカピカリンク”を立ち上げていこうとしているところです。その一環として、今回の研究分野である救急、眼底画像による疾患の早期診断だけでなく。一緒にICT医療を、地域、地域包括ケアの中で取り組められればと考えています。それから佐賀大単体では、Mirca（ミルカ）というサービスも行なっています。I

ここのところFinTechがバズワードとなって、政府や既存金融機関のFinTechに対する注目も高まっています。 もともと金融はシステマチックな事務処理が日常業務の中心を占めるため、ITとの相性は良く、一世代前のベンチャーブームの際にも、IT企業が次なる成長分野としてネット金融分野にこぞって参入したのは、まだ記憶に新しいことかと思います。 今回到来しているFinTechの流れは、こうした過去の金融IT分野の革新の動きとなにか違うものがあるのでしょうか。それともベンチャービジネスにはしばしば見られる過去のブームの焼き直しに過ぎないのでしょうか。 この答えは、見ようによってはイエスとも言えノーともいえるのですが、例えばEC分野に現在起こっている革新を一世代前の革新とは異なるものと見るのであれば、今回のFinTechの概念は間違いなく一世代前の金融ITの分野で語られていたものとは異質のものと見る

某所で機械学習の講習会（？）のようなものをしたときの資料です． 機械学習によるデータ分析について，アルゴリズムやツールの使い方＊以外＊の部分で 重要だと思うことを重点的にまとめたつもりです．

Artificial Intelligence, Data and Competition – SCHREPEL – June 2024 OECD dis...

Investment in Yahoo! JAPAN's dataplatform and business growth by big data

一個前のエントリーで、こういう反響があったので軽く触れておきたい。 [引用]inamenai 元記事は物流とか在庫とかの話がしたいわけじゃないと思うんだがなんでわざわざそういう回収の仕方をするんだろう。 ビッグデータもバズワードになったんだなあ http://kirik.tea-nifty.com/diary/2013/05/post-0776.html [元記事]靴屋とデータマイニングと季節外れの冬物衣料 http://d.hatena.ne.jp/AntiBayesian/20130423 別に元記事すべてを否定するつもりはないことは、先のエントリーでも書いた。 ビッグデータであれデータマイニングであれ、もちろんマーケティングの面で「より多く売る」アプローチをとりがちな情シス部門やコンサルタントが多いのも事実。ただ、元記事が何度も書いていたように「意外性」や「需要」「顧客満足」といった

ここ半年でIT業界ではビッグデータというバズワードが一気に広がり、データ分析者の需要が急増しています。データサイエンティストは今後10年で最も魅力的な職業になるとも言われており、データ分析に携わる仕事に就きたいと考えている学生も以前よりは増えてきているのではないかと思います。 ビッグデータ、データサイエンティスト、データマイニング、機械学習などのキーワードが散りばめられた記事も連日のように投稿されていますが、新卒の学生がデータ分析の仕事に就くための方法について触れられているものはあまりないようです。IT業界で働いている人たちの間でも、正しい認知が進んでいない状況ですので、データ分析業界の構造を学生さんが理解することは難しいのではないかと思います。 私自身はデータ分析に携わって5年程度で、まだまだ初心者の域を脱していないぺーぺーですが、データマイナーになるためにどんなキャリアを積めばよいかに

岡野原です。 情報処理学会主催の連続セミナー「ビッグデータとスマートな社会」での機械学習の回、自然言語処理の回での講演資料を公開しました。 今年はビッグデータという言葉が広まったということで、このテーマで話す機会が多かったです。今はビッグデータというとそれを支えるインフラ、クラウド、DBなどがまず注目されていますが、我々としては実際それを使って何をするのか、何が実現できるのかというところを注目しています。 PFIは元々こうしたデータを分析して価値を提供する（検索エンジンとかもその範疇に入ると思います）ことをずっと続けてきたわけですが、ビッグデータという言葉が広まってくれたおかげでこの考えがより受け入れられ様々な業界の方と随分と話がしやすくなったと思います。 以下の講演資料では、今ビッグデータの中でも機械学習と自然言語処理の分野において我々がどこに注目しているのかを話をしました。

ビッグデータの活用で名前が挙がる企業は、国内外を問わず、Web系の企業が多い。海外であれば、米グーグル、米アマゾン、米フェイスブック。国内であれば、ヤフー、リクルート、楽天、クックパッド、あるいはグリー、ディー・エヌ・エー（DeNA）といったソーシャルゲーム会社だ。 Web系企業が多いのには、もちろん理由がある。まず、こうした業態ではクリック・ストリーム・データ（訪問者のアクセスログ）や検索ログ、購買履歴など、分析対象となるデータ取得が容易だ。また、HadoopやNoSQLデータベースなど、ビッグデータ処理に向くオープンソースソフトウエア（OSS）を高度に扱えるエンジニアを多く雇っていることも見逃せない。 そもそもWeb系企業は「ビッグデータ」という言葉がブームとなるはるか前から、ビッグデータの活用に真正面から取り組んできた。Hadoopの骨格となったMapReduceというフレームワーク

米Googleは11月14日（現地時間）、同社のクラウド上でいわゆる「ビッグデータ」を分析する企業向けサービス「Google BigQuery Service」のプレビュー版を公開したと発表した。正式版は有料になる見込みだが、現在は無料で利用できる。 BigQueryは、同社が2010年の開発者向けカンファレンス「Google I/O」で発表したクラウド分析サービス。これまでは一部の企業を対象にクローズドなプレビュー版を提供していた。 ユーザーはGoogleのクラウドストレージサービス「Google Cloud Storage」に分析したいデータをアップロードし、Webブラウザ経由で分析できる。同社は10月にクラウドデータベース「Google Cloud SQL」を公開しているが、BigQueryはデータベースではなく、大容量のCSVデータの分析に向いているという。同サービスでは、テラバイ