先日、こんな素晴らしい記事を読みました。 データ分析屋としてキャリアを積んでいる私にとってAgileの考え方はとても腑に落ちやすいものだった。そもそも、データ分析自体、繰り返しの検証をするものなのだ。 （太字原文ママ） 僕自身はソフトウェアエンジニアではないので、Waterfall / Scrum / Agileそれぞれの開発スタイルの定義や違いはたまたその実践について何か論評できる立場にはなく、エンジニアチームの現場にいたこともあるので「雰囲気ぐらいなら」おぼろげに分かっているという程度の理解レベルです。ただそれでも、この記事で提唱されている「データサイエンスはAgile」という考え方については、僕個人の経験から言っても大いに納得できるものがあります。 実は、ここ1年ぐらいデータ分析の仕事をしていく中で「手戻り」「ロールバック」は是か非か？という議論を目にする機会が何度もあり、その度にこ

Format Apache Arrow defines a language-independent columnar memory format for flat and hierarchical data, organized for efficient analytic operations on modern hardware like CPUs and GPUs. The Arrow memory format also supports zero-copy reads for lightning-fast data access without serialization overhead. Learn more about the design or read the specification. Libraries Arrow's libraries implement t

ここ2ヶ月ぐらいに渡って多くの方々からご著書をご恵贈たまわっているのですが、そのうちの一冊がこちら。かつて計量時系列分析を学んでいた頃に僕も大変お世話になった、Logics of Blueブログの馬場さんの手による『RとStanではじめるベイズ統計モデリングによるデータ分析入門』です。 実践Data Scienceシリーズ RとStanではじめる ベイズ統計モデリングによるデータ分析入門 作者:馬場 真哉出版社/メーカー: 講談社発売日: 2019/07/10メディア: 単行本 以前はベイズ統計モデリングの入門書というと「みどりぼん」こと『データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)』一択でしたが、皆さんもご存知のように既にメンテされていないWinBUGSを使っているなどout-of-dateな要素が多く、近年はこれに替わる良書

By: Di Lin, Girish Lingappa, Jitender Aswani Imagine yourself in the role of a data-inspired decision maker staring at a metric on a dashboard about to make a critical business decision but pausing to ask a question — “Can I run a check myself to understand what data is behind this metric?” Now, imagine yourself in the role of a software engineer responsible for a micro-service which publishes dat

IT Leaders トップ ＞ テクノロジー一覧 ＞ データマネジメント ＞ 知っておいて損はない気になるキーワード解説 ＞ 「データレイク」はデータウェアハウスとどこが違うの？ データマネジメント データマネジメント記事一覧へ [知っておいて損はない気になるキーワード解説] 「データレイク」はデータウェアハウスとどこが違うの？ 2018年11月9日(金)清水 響子 リスト マイクロサービス、RPA、デジタルツイン、AMP……。数え切れないほどの新しい思想やアーキテクチャ、技術等々に関するIT用語が、生まれては消え、またときに息を吹き返しています。メディア露出が増えれば何となくわかっているような気になって、でも実はモヤッとしていて、美味しそうな圏外なようなキーワードたちの数々を「それってウチに影響あるんだっけ？」という視点で分解してみたいと思います。今回はビッグデータやアナリティクス、ス

IT Leaders トップ ＞ 経営課題一覧 ＞ 事業創出 ＞ 新製品・サービス ＞ さくらインターネット、衛星データを無料で活用できるクラウドサービス「Tellus」を開始 事業創出 事業創出記事一覧へ [新製品・サービス] さくらインターネット、衛星データを無料で活用できるクラウドサービス「Tellus」を開始 2019年2月21日(木)日川 佳三（IT Leaders編集部） リスト さくらインターネットは2019年2月21日、クラウド上で衛星データを分析できるデータ基盤サービス「Tellus（テルース）」を開始した。経済産業省「平成30年度政府衛星データのオープン&フリー化及びデータ利用環境整備事業」プロジェクトを受託・事業化した。だれでも無料で利用可能で、クラウド上で衛星データを活用したアプリケーションを作成・販売することもできる。 さくらインターネットの「Tellus」は、衛

PyCon JP 2017 の発表資料です。ジャンルは「業務利用事例」となります。 追記1. PyCon JP 2017 ベストトークアワード優秀賞を受賞しました！ 追記2. http://yuzutas0.hatenablog.com/entry/2017/09/12/203000 に補足を掲載しています！

6. 6 RAPIDS — オープン GPU データサイエンス ソフトウェア スタック データ準備 可視化モデルのトレーニング CUDA PYTHON APACHE ARROW DASK DEEP LEARNING FRAMEWORKS CUDNN RAPIDS CUMLCUDF CUGRAPH 8. 8 cuDF — ANALYTICS ライブラリ daskgdf: Dask を使った分散 GPU データフレーム。マルチ GPU、マルチノードをサポート。 pygdf: libgdf の Python バインディング (Pandas ライクなデータフレーム操作 API を提供) libgdf: CUDA C++ による GPU データフレーム操作の実装 (Join, GroupBy, Sort, etc.) 必要なメモリサイズ 作業メモリとしてデータセットサイズの 2~3 倍。 マルチ G

既存事業を抱える大企業は、イノベーションを起こしにくい。いわゆる、イノベーションのジレンマだ。この考えに真っ向から立ち向かおうとしているのが、保険大手のSOMPOホールディングスである。「今のビジネスモデルを自ら破壊しなければ、この会社の将来はない」。楢崎浩一常務執行役員グループCDO（最高デジタル責任者）は危機感を募らせる。 イノベーションを起こすため、SOMPOが2018年6月13日に設立したのが、社内外の人材を集めた「SOMPO D-STUDIO」である。SOMPOグループ傘下の人材のほか、行政や研究機関、ベンチャー企業などからも多様な人材を広く受け入れ、新規ビジネスのアイデアを生み出す。優れたアイデアには、SOMPOやベンチャーキャピタルが出資し、事業化を支援する。 当初の参加者は合計20人。今後も広く参加者を募集する。社内のメンバーは主にデジタル戦略部の社員。社外からの参加者は多

Help us understand the problem. What is going on with this article?

本格活用が始まるテレビ視聴ログ、広告のターゲット効果を実証 総務省のIoTサービス創出支援事業での静岡実証事業 改正個人情報保護法が2017年5月30日に施行されることに伴い、各種の分野（特定分野）におけるガイドラインの見直し作業が進められている。放送分野では、総務省が「放送受信者等の個人情報の保護に関する指針」（いわゆる「放送分野ガイドライン」）の改正に向けた作業を進めている。 テレビがネットに接続される時代に入り、視聴履歴データ（視聴ログ）の収集が可能になり、ターゲティング広告や番組リコメンドなどへの活用が期待されるようになってきた。しかし、従来の放送分野ガイドラインは、有料放送の料金の支払いなどを目的にしたものとなっており、こうした新しい分野に向けた明確な規定がなかった。 放送分野ガイドラインの改正案（既に公開されてパブコメ結果も発表済み）では、事前同意を得て視聴履歴データをこうした

データ分析基盤Night #2 - connpass 2017/04/26 データ分析基盤Night #2 #データ分析基盤Night - Togetterまとめ 前回第1回に引き続き抽選に当たったのでこの日参加してきました。 『 データ分析基盤Night #1 』に参加してきた #データ分析基盤Night - 試纏 会場は株式会社FiNC様＠有楽町。有楽町駅ビックカメラのすぐ隣、交通の便は超良い場所です。 会場内もとてもオシャレで綺麗なオフィスでした！ 挨拶 ウェルネスタイム(軽いストレッチ) by FiNC FiNCの分析基盤の概要 発表資料 発表内容 freee のデータ分析基盤の全容 発表資料 特徴：他のサービスとどこが違うのか 構成：アーキテクチャ マーケティング 販売・サポート エンジニア ダッシュボード バッチ処理 辛み 展望・チャレンジ まとめ mercariのデータ分析基

ビッグデータ分析及び環境構築に携わっているものとして、タイトルと中身を一目見て『これは！』と思い抽選に申し込み。晴れて当選する事出来たので、2017/02/28の仕事上がりで参加してきました。 当エントリは『WebサービスやiOS/Androidアプリを対象とした、インハウスのデータ分析基盤を開発しているエンジニアが、どんな基盤を作り、運用し、利用者に広めるためにどんな取り組みをしているのか、苦労を分かち合いながらノウハウを共有する場』(※connpassイベントページより抜粋)として設けられた当イベントに関する参加メモです。 データ分析基盤Night #1 - connpass 2017/02/28 データ分析基盤Night #1 #データ分析基盤Night - Togetterまとめ 「リブセンスのデータ分析基盤の全貌」 発表資料 聴講メモ Q&A 「Rettyのデータ分析基盤について

この記事は4年前の以下の過去記事の続きです。 大変遅まきながら*1、最近になって単変量時系列モデリングの手法としてARIMA / DLM以外にも幾つか方法があるのだということを知りました。一つは指数平滑法というかExponential Smoothing State Space Model (ETS)で、もう一つはこれをロバスト化したRobust ETS。 指数平滑法そのものについては日本語でも色々資料があるんですが（この辺とか）、例えば{forecast}パッケージのets関数に実装されている指数平滑状態空間モデルについてはweb上にはあまり詳しい日本語資料が見つからなかった*2ので、代わりに英文資料(7.7 Innovations state space models for exponential smoothing | OTexts)を貼っておきます。おそらくこれだけ読んでおけば十

Redash helps you make sense of your dataConnect and query your data sources, build dashboards to visualize data and share them with your company. “Redash is as essential as email to my company. We love data but accessing the data is a pain without Redash. Any company I go to, I get them hooked on Redash. It’s an easy sell :)” by Ben Dehghan, Co-Founder of Data Miner Read what our users say → Write

分析女子、シブヤに集う――。2016年10月24日、東京・渋谷のイベントスペースdots.で「データサイエンティスト女子部」と題したセミナーが開催された。テーマは「教えて！データサイエンティストの勉強法」。第一線で活躍する女性データサイエンティストから、効果的かつ効率的な、分析実務の学び方を聞こうと、約50人の受講者が集まった。 データサイエンティスト女子部は、一般社団法人データサイエンティスト協会に所属する多根悦子氏（現・ブレインパッド アナリティクスサービス本部）と松永智子氏（日本IBMポートフォリオ・マーケティング）が立ち上げ、2016年8月に第1回セミナーを開催。今回は2回目となる。「データサイエンティスト協会も女性会員が1割程度いるが、大多数が男性なので気後れし、聞きたいことを聞けないことも多い。女性同士ならよりフランクに情報交換できるのではと思った」。多根氏は立ち上げの経緯をこ

Google Data Studio (データスタジオ) という可視化サービスがベータ版で使えるようになっていたので試してみた 見たい数値を一覧するためのダッシュボード的なものを作るためのサービスなので、いろんな場所からデータを取ってきて一箇所でまとめて確認するのが用途っぽい(今のところ似たようなサービス・ツールの方が機能が多そう データソース データソースとしてGoogle AnalyticsやBigQuery、Google Spreadsheet、MySQLなどを選んでデータを取ってこれる データソースを選んでGUIでグラフやテキストを配置していく データの既存のフィールドに関数を適用した結果の値を使うこともできる 使える関数のリスト 下の画像ではGoogle Analyticsの「ブラウザ」(Chrome, Firefoxなど)と「ブラウザのバージョン」(バージョンの番号)をCONC

%matplotlib inline import matplotlib.pyplot as plt import matplotlib.cm as cm import numpy as np import seaborn as sns import numpy.random as rd m = 10 s = 3 min_x = m-4*s max_x = m+4*s x = np.linspace(min_x, max_x, 201) y = (1/np.sqrt(2*np.pi*s**2))*np.exp(-0.5*(x-m)**2/s**2) plt.figure(figsize=(8,5)) plt.xlim(min_x, max_x) plt.ylim(0,max(y)*1.1) plt.plot(x,y) plt.show() この図は、平均$\mu$、標準偏差$\sigma$