Photo by Jukan Tateisi on UnsplashThe Command and Query Responsibility Segregation (CQRS) it’s an architectural pattern where the main focus is to separate the way of reading and writing data. This pattern uses two separate models: Queries — Which are responsible for reading dataCommands — Which are responsible for update dataIn a Nutshell - The Command and Query Responsibility Segregation (CQRS)

2020年2月6日に開催された「令和元年度 政策評価に関する統一研修」（埼玉会場）の講義資料です。 (2020-02-09追記) 受講者以外の方々にもたくさんご覧頂いているようでありがとうございます。 注意点として、口頭での説明を前提とした資料であるため、スライド中の文章は最小限にとどめてある点ご了承下さい。

Ahn Sanghwan (h2spice) 2015-08-12LINEでセキュリティエンジニアとして働いています。バグを追跡して脆弱性を分析することが好きで、セキュリティ強化を図るための新技術に興味を持っています。もちろん、ハッキングもそれに負けないくらい好きです。 こんにちは。LINEでアプリケーションのセキュリティを担当しているH2spiceです。今回の記事では、スマートフォンを紛失したときにユーザーが削除したトーク履歴が流出する仕組み、そしてそれを防止するためのLINEの新機能「True Delete」についてご紹介します。 はじめに 多くの人はスマートフォンを紛失したり、時には人通りの多い公共の場所にスマートフォンを放置したりします。もし紛失したスマートフォンを他人が拾った場合、スマートフォンに保存されているデータにアクセスして流出することができるので、かなり深刻な問題が起こる

調査会社と一緒に、TikTokほか動画サービス4社の推奨度の調査を、勝手にやったので公開メモ。先日、THE GUILDとしての仕事のほうで、テスティーという、リサーチ会社の顧問となりました。ティーンエイジャーに特につよい、ネットリサーチ会社です。 で「一緒にやるなら、せっかくだからNPS®調査の商品作って欲しいんですよ」と、無茶なおねだりしたら…実験的にアンケートをしてくれました。 以下は、NPS®アンケートをベースに、THE GUILDデータ部のみんなによる分析です。サンプル数は200-400人程度。対象はTikTokと、競合A、B、Cの3アプリ。内容は推奨度の調査（NPS®調査）となります。 そもそもNPS®調査とはNet Promoter Score(System)の略です。簡単にいうと、「そのサービスを熱心に勧める人、批判する人はどれくらいいるのか？」を測る調査です。 海外では、A

2017/9/22(金) 開催 サイバーエージェントのデータ分析基盤とデータ活用およびそれらの技術についての勉強会「Data Engineering and Data Analysis Workshop #2」Read less

インフラ部 & 技術部の青木峰郎です。 クックパッドでは全社的にAmazon Redshiftを中心としたデータ活用基盤を構築しています。 今日はその全体像についてお話ししたいと思います。 データ活用基盤の全体像 まず、以下にクックパッドのデータ活用基盤の全体像を示します。 大きく分けると入力が2系統、内部処理が1系統、出力が3系統あります。 入力はMySQLからのインポートとログのロードがあり、どちらも独自に構築したシステムで行われています。 DB内部のデータ処理はSQLバッチのみです。 そして出力は管理画面やBIツールからのアクセスとバッチ処理によるエクスポートに大別できます。 以下1つずつ説明していきましょう。 入力その1: MySQLインポートシステム MySQLからRedshiftへのマスターテーブル取り込みにも独自のインポートシステムを使っています。 このインポート処理には、つ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? #はじめに 本記事では、データサイエンティストを目指して勉強した半年間で学んだこと、気付いたことをまとめます。これからデータサイエンティストを目指して勉強する人の参考になればと思います。 #最初の一手 個人的にではありますが、最初はアプローチの理解から始めると思いますが、数式とプログラミングの両方を勉強する方が良いと思います。**数式→プログラミング or プログラミング→数式の順序はどちらでも良いと思いますが、プログラミング（フレームワーク）のみ**はやめた方が良いと思います。出力結果の解釈で苦労することになるので、理論、数式はしっか

Send feedback Stay organized with collections Save and categorize content based on your preferences. The page you're looking for isn't available. The link you clicked was to documentation on the legacy version, Universal Analytics. Universal Analytics has sunset and is no longer available as of July 1, 2024. Visit the Analytics Learning Center to get started with the new version, Google Analytics

かつて拙著出版の際に大変お世話になった技術評論社（技評）さんから、『データサイエンティスト養成読本』改定2版のPRとして以下の記事がリリースされていました。この記事がもう何と言いますか、「読めばそのままデータサイエンティスト（本物）もしくはグローバルにおけるData Scientistのスキル要件になっている」ほどの素晴らしい記事なので、ぜひ皆様にはご一読をお薦めいたします。 ちなみにここであえて「本物」と銘打ったのは、少し前にもどこかで論じられていた記憶があるのですが、要は「なんちゃってデータサイエンティスト」は含まないということです。僕の知る限り、日本国内でデータサイエンティストと言うと「データサイエンティスト（カナ）」と方々から侮られるのが常なのですが、それはそもそも後述するように数年前に大量に発生したデータサイエンティスト（本物）でも何でもない専門的スキルに乏しい人々のことが世間で

月日が経つのは早いもので、かつてボンクラ研究者だった僕が企業（そしてインダストリー*1）に移ってからちょうど今日で5年が経ちました。インダストリーに移ってからのこの5年間で様々なことを体験し、あるいは見聞し、あるいは決断したりしてきたわけですが、良い区切りなので自分にとってのマイルストーンとするためにも、ここでこれまでの5年間を振り返ってみようと思います。 Disclaimer 以下に体験談もしくは見聞談として記載されている内容は、特に断りがなければ自分自身の複数の体験や見聞及び同業の友人知人からの見聞をマージして一般化したものであり、過去現在の個々の特定の所属先における特定のエピソードや職務内容及び特定の個々人のエピソードなどを意味するものではありません。またここで述べられている意見はあくまでも個人の主観的な意見であり、いかなる特定の企業・組織・機関も代表するものではありません。 この5

最近盛り上がりを見せるデータサイエンス界隈。 様々なpodcastが存在しているが、あまり言及されることが無いようなのでここでまとめておく。 割と更新頻度が高いものを中心に選んだつもりなので、これらを購読すれば聞くものが無いという状態にはなかなかならないかと思う。 言語は英語なので、データサイエンスの最新動向を知るのとともに英語の勉強にも使えるかと思う。 日本の機械学習エンジニアと研究者が世界と戦うための一助になれば幸いです。 Super Data Science

「SPEEDA」「NewsPicks」「entrepedia」などの経済情報サービスを提供するユーザベースグループ（ニューズピックス、ジャパンベンチャーリサーチ）では、経営陣からメンバーにメッセージを伝えるための「みんなの会（Town Hall Meeting=THM）」を隔週で開催しています。 この記事ではユーザベースのカルチャーをお伝えするために、みんなの会の様子を書き起こしてレポートします。今回はNewsPicks CTO 杉浦正明（https://newspicks.com/user/102706）が語る、「事業成長のために必要な3つのこと」です。 みなさん、おはようございます。杉浦です。 「みんなの会」は、経営メンバーがそれぞれ今一番大事だと思っていることを、ユーザベースで働くみんなに伝える会です。今、僕が一番伝えたいことは、「事業の成長のために必要なことは何か」です。 どうすれ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? pythonの環境構築について "python 環境構築"でググると20万件くらいヒットしますが、割と内容が古いです。 タイトルにはデータサイエンティストと書いてありますが、データサイエンティスト以外にもanacondaはおすすめです。 2.x or 3.x? 3.xは動かないライブラリが多いので2.x推奨 >　3.xで動かないライブラリがある、くらいまで来ました。 easy_installでpipを入れて、setuptoolsも入れて、でもwheelというのもあって... > 古いです。 virtualenv 必須 > そんなこともな

Get full access to Python for Data Analysis, 2nd Edition and 60K+ other titles, with a free 10-day trial of O'Reilly. There are also live events, courses curated by job role, and more.

サーバーサイドエンジニアの芹沢です。 トレタは検索用のデータストアとしてBigQueryを使用しています。 奇抜な使い方はしていませんが、トレタにおけるBigQuery活用法を紹介します。 システム構成 BigQuery周りのシステム構成を１枚の図にまとめるとこんな感じです。珍しいものは使っていませんがその分安定した構成かと思います。 BigQueryにimportしているデータ 大きく分けて以下2種類のデータをBigQueryにimportしています。 1.APIが参照しているRDBのデータ APIが参照しているRDB(Amazon Aurora)のslaveからデータをimportしてデータ分析や調査用のデータ検索業務に使っています。 2.各種ログ 以下のログをfluentdでBigQueryに保存しています。 nginxのaccessログ railsで1リクエスト単位で出力しているカ

ウォンテッドリーでは、「シゴトでココロオドル人の数」の最大化を目指して開発を行なっています。 その上で、このWantedly Visitでは、「MAU」「応募」「売上」を大きな三つの指標としてサービスを運営しています。 サービスによって、分析指標は異なりますが、今回いくつかのデータ分析の基本パターンについて説明したいと思います。 AARRRとはベンチャーキャピタリストである、デイブ・マクルーアが成功するビジネスの構築に必要な「5つの要素」の頭文字からその名前をつけたものです。 具体的には、獲得・アクティベーション・定着・収益・紹介です。 Wantedlyでは初期からこれらの指標をKPIとして定め、開発を行ってきました。これらのAARRRを監視するために必要な分析のパターンを今回ご紹介します。また、特に定着はその中でも最重要でサービスの成長の鍵になります。 7つの分析パターン１. DAU /

Get started quickly with PubNub’s SDKs, APIs and 3rd party integrations

こんにちは。技術部の吉川です。 みなさんは、異常なデータを見つけたが、どうしてそのような状態になったのか追跡できず困ったという経験はないでしょうか。 今回は、そんなときにクックパッドで利用されているAuditログについてご紹介します。 Auditログとは クックパッドでのAuditログは特定のデータレコードに対して発生したイベントをコンテキストとともに記録するものです。 一般的に監査ログ、証跡ログといったものがありますが、それらとは多少異なっています。 ここでのイベントとは、あるデータレコードが 作成された 更新・変更された 削除された といったものです。またそれ以外にもログインした、ログアウトした、セキュアな情報が閲覧された、といったイベントも含まれています。 コンテキストは以下のようなものを記録します。 いつ どこで 処理が行われたホスト 何が イベント 何を 対象データの情報 スキー