最近ソーダストリームを買い、炭酸水を飲むのにはまってます。機械学習エンジニアの@yktm31です。 以前に「AWS Lake Formationでデータレイク体験！」という記事を書いてみて、データ基盤アーキテクチャに興味が湧いてきました。 データレイクハウスは、「データウェアハウス」と「データレイク」を統合したようなアーキテクチャで、 2020年にDatabricks社により提唱され、新しいデータ基盤アーキテクチャとして注目されているようです。 www.databricks.com そこで今回、「データレイクハウス」について調べてみたことをまとめてみたいと思います。 なぜデータレイクハウスが注目されているのか？ データウェアハウスの特徴・課題 データレイクの特徴・課題 データレイクハウスの特徴 データレイクハウスのアーキテクチャ Azure Azure Synapse Analyticsを

34テラバイトのデータと格闘して「全国ハザードマップ」を公開した理由 5月下旬に公開を開始したNHKの「全国ハザードマップ」。川の氾濫による洪水リスクを中心に掲載し、多くの方に活用頂いています。 ⇒「NHK全国ハザードマップ」の紹介記事はこちら 一方で、「市町村が出しているハザードマップがあれば十分だ」「リスクを網羅していない不完全なマップの公開は良くない」「NHKではなく国が取り組むべき仕事ではないか」といった意見も頂きました。 今回なぜ、このような取り組みを行ったのか。どうやってデータを収集して地図を作ったのか。詳しく説明します。 2022年のNHKスペシャルなどで紹介された内容です なぜ「デジタルデータ」を集めたのか？ 私たちはこれまで「ハザードマップを見て下さい」という呼びかけを、テレビやラジオのニュースや番組、ネット記事、SNSなどで繰り返してきました。 なぜなら、自分の暮らす場

2020/01/24 大規模データ集積/分析基盤 Meet-up! の発表資料です。

データとML周辺エンジニアリングを考える会#2の発表資料です。 https://data-engineering.connpass.com/event/136756/

はじめに 初めまして、バックエンドエンジニアの伊藤皓程です。2015年にサイバーエージェントに入社してからソーシャルゲーム2本、その後アドテクで広告配信システムの開発に携わりました。以前のプロジェクトではデイリーで数TBのログを収集と分析を行なっていた経験があり、また個人でAWS AthenaのTypeScript・Node.js用のクライアントライブラリ1を公開しています。今回は今年にリリースしたアプリボットの新データ分析基盤についてご紹介したいと思います。 経緯 アプリボットではゲームの運用の改善のためにユーザの行動ログの分析に力をいれており、Redshiftを利用したデータ分析基盤2がありました。一方でゲームの運用年数や運用タイトルの増加などにより以下のような課題がありました。 Redshiftのストレージ容量の枯渇 デイリーのレポート集計バッチの実行時間の増加 データ分析基盤の運用

データ更新1つだけでも結構な問題だったことに気づいた データ分析プロセスにおける収集フェーズはいかにしてデータを集めてくるかが主題だが、データエンジニアがそのためのデータをしっかり作ってくれる恵まれた環境にいる人は少なそうだ。 ということは分析者側が多かれ少なかれデータがどのように作られ、保管されているかを知り、改善のために関わらざるを得ない場合が多いということでもある。 そこでデータアナリストというか アナリティクスディレクターの目線でデータマネジメントについて考えていた一環でデータ更新をする際におきることを考えていたところ、日常の風景なので簡単かと思ったら結構な問題だったことに気づいたので記事としてまとめることにした。 データがおかしいな？と思って調べてみるとよくある データを使っていると、 知らない間にマスタデータが更新されているのに周知されない 大分前に更新されたことは記憶にあって

【読売新聞】　「ポイントカードはお持ちですか？」。コンビニやスーパー、ドラッグストアなどのレジで必ずと言っていいほど耳にするこのセリフを世に広めたとされるのが、カルチュア・コンビニエンス・クラブ（＝CCC、本社・東京）運営の「T（ポ

日本交通系のジャパンタクシー（東京・千代田）がユーザーに十分に説明せずに位置情報などを利用したとし、個人情報保護委員会から行政指導を受けていたことが分かった。ゲームやSNS（交流サイト）など主要アプリの5割が位置情報を広告や機能向上に生かし、個人の利便性は高まっている。ただ本人が知らないままプライバシーが脅かされる懸念も強く、活用や説明を誤れば新たな火種になりかねない。「利用者に分かりやすく告

って話をbuilderscon 2018でします。 builderscon.io 当日利用する資料はこちら。 speakerdeck.com 私のセッションはbuildersconの最終セッション。 皆さん素晴らしいセッションが並ぶ中で選択肢に迷ってる方も居ると思います。 だから先に公開しておきますのでこれをご覧になって、他のセッションに行くというのも有りだと思います。 あと事前に去年のトークを見てくれると当日はより理解が深まると思います。 同じ話を2回しても皆さんにとって勿体無いのでリファクタリングの細かい前提の話は当日はしません。 soudai.hatenablog.com 動画はこちら。 www.youtube.com これを見て、面白そうだなって思ったらぜひ、遊びに来てください。 僕が知ってるRDB設計、そしてRDBの歩み方を全てお伝えします。 あなたの新しい道の一歩目をご用意しま

Amazon Web Services ブログ Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法 あなたがデータサイエンティストであるとしましょう。会社のシステムが統合され、膨大なデータセットの定義も完了し、データが容易に分析できるとしたら、ラッキーです。そんな会社はごく一握りだからです。 では、そのような恵まれた環境ではないとしましょう。機械学習用の準備作業の中で、フォーマットの異なるデータセットを統合し、データの分析や可視化を行ううえでの支援が必要なら、ぜひこの記事をお読みください。 このブログ記事では、Amazon SageMaker で、大量の企業データを予備解析する方法について説明します。Amazon SageMaker では、Jupyter ノートブックが動作しており、企業のデータレイクの中

一休のデータサイエンス部に所属しています小島です。 以前データ分析基盤の構築で記事を上げていましたが、今回はETL*1周りの話をしようと思います。 user-first.ikyu.co.jp 今回ETLのツールとして導入したのはAirflowというツールです。 2017年のアドベントカレンダーでも紹介させていただきました。 一休のデータフローをAirflowを使って実行してみる 一休のETLの現状について 一休のETL周りは以下の画像のようになっていました。 課題 ETLの処理時間が伸びた（出社後も処理が続いていた） エラーのリカバリ作業に時間がかかる（ログが確認しにくい, サーバーに入って作業しなければいけない） 複雑な依存関係の定義がしにくい（どれとどれが依存しているかわからない） リソース負荷（全て並列で実行していた） 処理毎のボトルネックが把握できない ツールの問題というよりは正し

背景 SPSSという壁 SPSSは使わない 本題 ~ HTTP cookieを使って年齢と性別を推定する 問題の設定 データを可視化してアプローチ方法を考える モデリング 結果 性別 年齢 結果の総評 プロダクション環境に組み込む 終わりに 背景 表題をみた皆様はこう思われたに違いない「何を今更そんな話、、、、」。 実はこれ、 developers.microad.co.jp でサラリと触れられている”SPSS"に関係があるんです。 SPSSという壁 マイクロアドではSPSS Modeler(以下SPSS)を使って年齢と性別を推定していました。いま流行の機械学習でね。 皆さんのSPSSについての印象は大まかに次の３パターンに分かれるでしょう。 「Ⅰ. SPSSってなんぞや？(((ﾟдﾟ; )」 「Ⅱ. (∩ﾟдﾟ)Rの有償版？」 「Ⅲ. あぁ、察した、、、（そそくさと退散）彡(*￣з￣)」

リクルートライフスタイルでは大小３０ほどのサービスを提供しており、それらのデータを横断的に分析出来る分析基盤を有しています。 データの利活用が推進されている昨今ですが、分析基盤を作っただけでは分析者はなかなか使ってくれません。 また、使っている分析者の要求は日々増していきます。 継続的に使ってもらえる分析基盤を構築、運用するためにはどのようにすれば良いのか？ 弊社の事例を踏まえて紹介させていただきます。 リクルートライフスタイル　山田　雄(ヤマダ　ユウ)

大企業に蔓延する「データ集めなきゃいけない病」とは？Shutterstock弊社のクライアント企業の経営陣は、よく以下のような質問を投げかけて来ます。 • 集められるデータを集められるだけ収集しないと、AI活用できないのか？ • 分析するのは「ビッグデータ」じゃないといけないのか？ • どれだけの容量のデータが集まれば、「解析するのに十分だ」と言えるのか？ データが十分に集まっているだけでは、ゴールにたどり着けません。それを考えるきっかけとなる例が、少し前にみつけたこの記事にありました。 IoTで取得できるようになった健康データの量と、アメリカ人の肥満率レベルをまとめたものです。 関連記事：Does More Data Really Lead To Better Decision Making?（Forbes） 記事が投げかける疑問は端的でユニークです。 IoTデバイスやウェラブルが溢れた

セプテーニ・オリジナル様が主催する新宿Geek Lounge#4 分析基盤MeetupでLTをしました。 スライド 『データ基盤を支える民主化とサービスレベル』 「いかにビジネス価値を最大化し続けるか」という本来の目的から、データ基盤1を見直すキッカケになればと思います。 PyCon JP 2017でベストトークアワード優秀賞を受賞した発表（構築編）の続き（運用編）をチラ見せです。 データ基盤は使われてこそ意味がある 世の流れは「やってみた」から「価値創出・運用」志向に推移しています（例：DataOps、機械学習工学、MLOps） 「俺の考えた最強のダッシュボード」では1週間で誰も見なくなります データの民主化 事務スタッフ（非エンジニア）がBigQueryを叩いています！すごい浸透！ チームごとの民主化状況をモニタリングして必要なアクションを実施しています 民主化には3つの壁があることが

はじめに リクルートでのインターンシップがようやく終了したのでそれのまとめです。職種はデータサイエンティストというやつで，以下の2つのコースに参加していました。 夏インターンシップ リクルートホールディングスのサマーインターンシップ。2週間で集中してやる。 就業型インターンシップ サマーインターンシップ参加者を対象に，実際に現場に配属されて行うインターンシップ いちおう両方に参加していたというのと，なんだかんだ学びはたくさんあったので，ちょっとずつ書いていこうと思います。 なんかいっぱい書いてたら長くなってしまったので，主に「まとめ」というところだけ読むといいと思います。 サマーインターンシップ サマーインターンシップは2週間の集中コースでした。データサイエンティスト職の学生が5-6人，これまた5-6チームくらいに別れて各タスクに取り組んでいきます。タスクは様々で，各グループ会社から与えら

あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。

「メルカリで売ればいいじゃん」 日々の生活の中で、こんな言葉を耳にすることが増えた気がする。例えば、大学生などのミレニアル世代は何かモノがいらなくなったとき、“捨てる”のではなく“メルカリで売れるかどうか”を真っ先に考える。そして、この言葉を聞く度にこう思う。 グーグルが「ググる」という言葉とともに、「グーグルで検索する」行為が世の中のスタンダードになったように、メルカリも何かいらないものがあったときの売り場所として世間に浸透しつつあるのか、と。 また、メルカリは2017年12月、世界累計1億ダウンロードを達成。その勢いはとどまるところを知らない。そんなメルカリの躍進を語る際、「経営陣」にフォーカスが当たりがちだが、それが全てではない。メルカリの本質的な強みは、「現場」にあると言っていい。 数ある現場のチームの中でも、今回は多くの重要な意思決定に際して影でメルカリを支えているデータ分析の専