主な確率分布の関連図 こんにちは、吉岡（@yoshiokatsuneo）です。 Webサービスを運営していると、利用状況を分析・予測したり、A/Bテストなどで検証したりすることがよくあります。 データを一個一個見ていてもよくわからないので、データ全体や、その背景の傾向などがまとめて見られると便利ですよね。そんなとき、データの様子を表現するためによく使われているのが「確率分布」です。 学校の試験などで使われる偏差値も、得点を正規分布でモデル化して、点数を変換したものです。 今回は、Webサービスなどでよく使われる確率分布18種類を紹介します。 それぞれ、Webサービスでの利用例やPythonでグラフを書く方法も含めて説明していきます。コードは実際にオンライン実行環境paiza.IOで実行してみることができますので、ぜひ試してみてください。 【目次】 正規分布 対数正規分布 離散一様分布 連続

GAMEBOOKのChief Business Development Officer，Nico Nowarra氏 日本で主に女性に人気のある，いわゆる「乙女ゲーム」というジャンルは当然ながら海外にも存在し，その一部は大きな売上を上げる巨大ジャンルとなっている。なかでも有名なのはビジュアルノベル系のゲームで，プレイヤーはゲーム内で提示される選択肢を選ぶことで異なる物語体験ができるというシステムのものだ。 日本からはあまり見えてこないタイプのゲームだが，このシステムを有するゲームを実際にどう設計し，運用するかにまで踏み込んだ講演がdevcom 2019で行われたので，レポートしたい。 必要に応じてメインプロットも変更 登壇したのはGAMEBOOKのChief Business Development Officer，Nico Nowarra氏だ。GAMEBOOKは多数の乙女ゲームを制作してい

データ分析チームは色んな会社に存在すると思いますが、そういった種々のチームの内情がわかりそうなリンクを会社ごとにまとめてみました。（随時更新） 会社研究などにお使いください。 mercari

2018年5月22日、トレジャーデータ株式会社が主催するイベント「PLAZMA Data Platform Day: TD Tech Talk」が開催されました。2日間に渡って、TreasureDataを活用する各企業が、運用上の知見やヒントを共有する本イベント。1日目のData Platform Dayでは、分散処理システムの構築やエコシステム開発、運用に対する取り組みや技術について、各社が知見を語ります。プレゼンテーション「2020年代に向けたDeNAの分析基盤」に登場したのは、株式会社ディー・エヌ・エー、システム本部の松木秀憲氏。講演資料はこちら。 DeNAにおける、データ活用の重要性 松木秀憲氏（以下、松木）：よろしくお願いします。「2020年代に向けたDeNAの分析基盤」というタイトルでお話をさせていただきます。松木と申します。株式会社ディー・エヌ・エーのAIシステム部でAIと分

アナリティクス アソシエーション（a2i）主催で4月18日に開催された「アナリティクス サミット 2018」には、ビジネスの最前線で活躍するデータアナリストが次々と登壇。メルカリの樫田氏は、同社BIチームの運営体制や、その仕事哲学などを解説した。 創業5年でアプリ1億ダウンロード＆3か国展開メルカリは、スマホ1台だけで簡単に個人間売買ができる“フリマアプリ”。売りたい商品の出品はもちろん、購入までをアプリだけ完結させられる手軽さで人気を集めている。 国内でトップ級の知名度を誇るメルカリだが、国際化にも力を入れている。サービス展開国は日本・米国・英国の3か国に合計6つのオフィスを構える。アプリのダウンロード数は全世界で1億件を突破した。 メルカリのアプリが公開されたのは2013年のこと。わずか5年でここまでの規模に成長しただけに、メルカリでデータアナリストを務める樫田氏も「（企業としての）成

※1 当社調べ ※2 HTB Business CTF 2024:国内1位 ※3 2023年 DEF CON 31 Cloud Village CTF:世界1位、2024年 DEF CON 32 Cloud Village CTF :世界1位

こんにちは。技術部モバイル基盤グループの三木(@giginet)です。 クックパッドでは、Pureeと呼ばれるiOS/Android/ReactNative向けのログ収集ライブラリを公開しています。 モバイルアプリのログ収集ライブラリ「Puree」をリリースしました - クックパッド開発者ブログ ログ収集ライブラリ Puree の iOS 版をリリースしました - クックパッド開発者ブログ 最近、以前開発されていたPureeをpure Swiftで書き換え、OSSとして公開しました。 この記事では、新しくなったPureeをご紹介します。 概要 クックパッドでは全社的にAmazon Redshiftを中心としたデータ活用基盤を構築しています。 クックパッドのデータ活用基盤 - クックパッド開発者ブログ この仕組みを使い、公開している多くのモバイルアプリからも、1つのログ基盤にさまざまなログを

Security meets Machine Learning 第1回キックオフミーティング https://connpass.com/event/62844/ 発表資料

［ロンドン　２４日　ロイター］ - 英オックスフォード・ユニバーシティ・プレスが発刊する最新のシェークスピア全集「ニュー・オックスフォード・シェークスピア」では、三部作である「ヘンリー六世」の共同執筆者として、同時代の劇作家クリストファー・マーロウの名が記載される。また、この全集に含まれる４４作品のうち、１７作品が他の作家との共著であることが判明したという。 「ヘンリー六世」執筆でシェークスピアがマーロウと協力した可能性については、憶測や陰謀説を含めて何世紀も議論されてきたが、これまで証明できていなかった。 上級編集員の１人であるゲリー・テーラー米フロリダ州立大学教授は、今回はシェークスピアやマーロウにとどまらず、エリザベス朝時代に書かれた演劇など多数の著作のデータを活用し、特有の単語や、単語の組み合わせを検討したと述べた。 テーラー教授はロイターに「こうしたビッグデータはつい最近まで入手

Pythonで統計学を勉強するメリット 統計学を学ぶにあたって、Pythonを利用するメリットを確認しておきましょう。 近年の統計業務は、Pythonを使ったアプリケーションで行うケースが増えており、Web上のノウハウや書籍が充実しています。これらを活用することで、統計学の知識が乏しい状態でも、Pythonを切り口として学習を進めやすくなっています。 煩雑な計算を省略できる Pythonは科学計算処理に必要なライブラリが充実しています。Pythonのライブラリには、統計で用いられる専門的な計算式が内包されており、基礎的な考え方さえ理解していれば、具体的な計算式を知らずとも実践的な統計を実行可能です。もちろん読書や座学でも学習は可能ですが、Pythonを利用することで「煩雑な計算の理解」に時間を取られずにすむため「統計を使ってできること」をダイレクトに理解し易くなるでしょう。 データが簡単に

「予見せんがために，見る（voir pour prevoir）」とは，オーギュスト・コントの有名な言葉ですが，過去のトレンドから未来を予測するのは，データ分析の重要な仕事です。 アメリカで，経済的理由による自殺者が増えているという記事を見かけましたが，決して対岸の火事ではないでしょう。参院選が間近ですが，日本の政治家さんにも真剣に考えてもらいたい問題です。今や，「格差・貧困」は，わが国の社会状況を言い表すキーワードです。 http://news.livedoor.com/article/detail/11680650/ 私は前に，失業率と自殺率の長期推移のグラフを作ったことがありますが，見返してみると，2本の曲線は気持ち悪いくらい同調しています。失業率が上がれば，自殺率も上がる。こうした共変関係がクリアーです。 あらゆる財やサービスが貨幣を通じて交換される社会では，失業によって収入源を断た

data analyst meetup tokyo vol.1でのLTスライドです． 弊社の分析事情を，私のいままでの経験や主観と比較しながら書いています．Read less

『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day

株式会社あきんどスシロー様とクラスメソッド株式会社はAmazon Machine Learning(以下、Amazon ML)を用いて、機械学習を用いた店舗混雑時の待ち時間予測の精度向上に取り組んでいます。 直近の取り組みでは、今までの方法では予測が困難であった一部の店舗に対して新手法で予測を行い、精度を向上することができました。今回はこちらの取り組みについて紹介したいと思います。 概要 券売機やスシローアプリなどに表示される入店までの待ち時間を予測するため、チケット情報・店舗の状態などからデータ分析を行い、特徴を抽出した上で機械学習を行いました。 各店舗では既に待ち時間予測のための仕組みが導入されていますが、商業施設内などの一部の店舗ではユーザが他店舗とは異なる行動をするため、別の切り口から予測を行う必要がありました。 今回は、この一部店舗を対象にTableauを用いてチケットデータ等の

Machine Learning Casual Talks #4で登壇した際のスライドです。 今までデータに関わってきた立場、サービス開発してきた立場として、データに関わる人たちが平和になるスキームを現在模索しています。 DMM.comラボでのビッグデータの取組みをご紹介すると共に、この辺を意識して取組むべきでは？と言う投げかけを行ないました。 ご参考になればと願いつつ。 ------- 【ビッグデータチームを発足するにあたって気をつけておきたいn個のこと】 1.ビッグデータチームの結成の仕方により、戦略・推進の方法が異なることを意識しないといけない 2.送信されるログ、転送してきたデータは完全ではないことを意識しておくこと 3.集計したい対象は常に拡大するが、集計ロジックは増やさないように考慮する 4.ログの実装は自分たちでやれる環境を整備しておくと運用側も実装側も平和 5.レポート /

複数台のサーバーやクラウド環境を組み合わせてのサービス運用においては、ログの収集方法に工夫が必要となる。こういった場合に有用なのが、さまざまなログの収集手段を提供するfluentdだ。今回はfluentdのアーキテクチャやそのインストール/設定方法、基礎的な設定例などを紹介する。 さまざまな方法でログを収集できるfluentd 今回紹介するfluentdは、Treasure Dataが開発するログ収集管理ツールだ（図1）。オープンソースで公開されており、Linuxや各種UNIXで動作する。 図1 fluentdのWebサイト ログ収集のためのソフトウェアとしてはsyslogdやsyslog-ngなどが有名だが、fluentdがこれらと異なる点としては、以下が挙げられる。 さまざまなソースからのイベントをさまざまな媒体に出力できる fluentdの大きな特徴としては、ログの収集方法やログの記

現在オンラインゲームのバックエンド、KPIシステムを担当していますマサヨシです。 今回のブログでは【DMMオンラインゲームで実際に実装しているログとKPI】に関して3回にわたってご紹介致します。 DMMオンラインゲームでは、これまではオンラインゲームのプロジェクトごとに行っていたログの収集方法を統一し、プロジェクトに依存しない基本KPI機能とゲーム独自のKPI機能を実装するためのフレームワークを開発しましたのでその事例をもとにご紹介します。 ログ収集、解析の概要 まず、オンラインゲームのログ収集の全体像をご紹介します。 オンラインゲームのログ収集ではApacheやnginx、PHPのログをfluentdで収集しています。 fluentdに集めたログをHadoopの分散処理システムに保存し、HiveやImpalaで解析をする流れになっています。 ご存知の方も多いと思いますが、HiveとはHD