つまり デバッグは楽しいです。 基本的な考え方を抑えておくことで、 目の前のバグがどんなに複雑でつかみどころがないように見えても 解決に向けて動き出すことができます。 この記事の内容 言語やフレームワークに関係なく、ソフトウェア開発において抑えておくべき（と私が考える） 「デバッグの思考法」をご紹介します。 エンジニアにより執筆されエンジニアによって読まれる記事には デバッグツールの使い方についての解説はあるものの デバッグを進めるときに何を考えて取り組めば良いのか？ という根本の考え方に踏み込んだ話はあまり見当たりませんでした。 特にソフトウェア開発においてあまり経験が深くない方にとっては この考え方を知っている（あるいは無自覚に理解している）のと知っていないのとでは「見える世界が全く違う」と思っています。 「自分より優秀な先輩が、自分には思いつかないような箇所に目を付けて 限られた情報

第１週：データ分析に基づく問題解決プロセスを紹介 ・データサイエンスの発展 ・社会で起きている変化～データサイエンスの必要性～ ・データサイエンスに求められるスキルや知識 ・データサイエンスの未来と発展 ・データサイエンスのサイクルと課題解決の進め方 ・分析の手法の選択 第２週：記述統計によるデータの把握と比較の方法を学ぶ ・Analysis（分析）とは ・１変数の状況の把握(1)（可視化の活用） ・１変数の状況の把握(2)（代表値の活用） ・比較して２変数の関係を見る ・ビジネスにおける比較(1)（概要） ・ビジネスにおける比較(2)（適切なA/Bテストの活用）

今週、自分のメンターであるクリスから小さなアドバイスをもらって、それは自分が考えたこともなかった事だったので、忘れないようにメモしておきたい。 センスの正体クリスとのメンタリングセッションの日に、最近不思議に思っていることについて質問してみた。それは、自分の同僚に Vincent という人がいるのだが、彼もまた例にもれずセンスがとても良い。例えば、ログの分析も自分よりとてもうまい。それが自分がよく知らないエリアであっても、ログの分析が自分よりずっとうまい。 彼はとても若いけど、新卒ではない。そういう条件なので、もしそれがセンスだとすると一体何が影響しているのかを知りたかったのでクリスにそれを伝えてみた。 Patience が足りないクリスは、少し考えてこういった。「君には多分 patience （我慢みたいな意味）が必要だと思う。」 彼は、ここに来る前から「プロダクション（実際にアプリを多

この本では、無料で公開しているnoteの内容をさらに丁寧に分かりやすく、体系化させてアップデートした内容となっています。 noteの内容を立ち読みだと思ってもらい、より丁寧に学びたい場合は是非書籍を読んでもらえると嬉しいですmm これからSQLを学びたいと思っている方向けに作成したSQL勉強会の資料を公開します！(以下の方向けの勉強会資料です) SQLをこれから学びたい人 仕事でSQLを触り始めたけどイマイチよくわからない人 データ集計やデータ分析をエクセル使ってやってる人 資料こちらから最新の資料をダウンロードして下さい。 (※「Source code (zip)」からダウンロードして下さい) 資料の構成は以下の通りです。 docs PDF資料 演習問題など含めて全部で約200ページくらいあります data ハンズオン用テストデータ csvファイル3つ script ハンズオン用テストデ

都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 都内の事業会社で分析やWebマーケティングの仕事をしている「SKUE」と申します。大学・大学院では経済学を通じて統計解析を行うなどしておりました。 企業に勤めてからは、機械学習やテキストマイニングなどに関心を持つに至りました。 このブログでは、今後仕事で使いたいなと思うような情報をメインに扱っています。仕事で使ったものは載せれないので、できるだけ先回りして面白いものを扱っていけたらなと思います。 スライドシェアなど

ユーザーローカルは7月24日、入力した文章から重要部分を取り出して要約する「ユーザーローカル自動要約ツール」を公開した。Webサイト上で無償利用できる。 入力フォームにテキストを貼り付けるか、テキストファイルをアップロードすると、文章構造を分析して特徴語（特徴的な言葉を機械的に抽出した単語）や重要文を自動抽出するツール。重要な文章をマーキングやヒートマップ、モノクロ強調で視覚的に捉えられる強調表示にも対応する。 要約文は「3行ダイジェスト」「5行ダイジェスト」「10行ダイジェスト」といった分量調整もできる。 重要文の抽出には、重要単語を多く含み、他の文に類似度が高い文を抽出するアルゴリズム「LexRank」を活用した。 ツールが公開されているWebページには、ニュース配信各社から引用したニュース本文の要約をダイジェストとしてランキング表示している。 同社は「インターネット上には、日々ニュー

データ分析ガチ勉強アドベントカレンダー 14日目。 時系列データでまず思いつくのは、株価のチャートですよね。 また、最近はやっている仮想通貨。私も最近coincheckに入金しました。 ビットコイン取引所 "coincheck" やっぱ、実際にお金が絡むとちゃんと勉強しようって言う気になる！笑 せっかくチャートを見るわけだし、その見方について勉強しておこうと思いました。 そしてせっかくなので、自分で実装してどういう仕組みなのかまで知っておこうと思いました。 理系だからね、分からないものを使うのは嫌だからね。 というわけで、Python(主にPandasとMatplotlibを用いながら)でテクニカル指標についてやっていきます。扱うデータは三年分の日経平均株価。 指標について知りたい人も、自分で実装してみたいという人もどうぞ。 テクニカル分析とファンダメンタル分析 実装において ローソク足

【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～Pythonスクレイピングpandasデータ分析 やりたいこと はてなブックマークで、Python記事を検索しトレンドを分析 はてなブックマークにSeleniumでログイン ブックマーク数をスクレイピング 時系列比較を行う バズるタイトルを分析 実装方法 詳しくは下記記事を参考にしてください。Pandasを利用したデータ分析まで載せています。 【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～ 実装 from selenium import webdri

さて、改めて今回の目的を確認しておくと、機械学習を使って東京都23区のお買い得賃貸物件を発見しよう、というものです。前回までの記事で、お買い得賃貸物件を発見するためのデータを収集し、分析にかけられるよう前処理してきました。 www.analyze-world.com www.analyze-world.com 今回の記事では、いよいよ機械学習を使って分析していきましょう。前回まではPythonを使っていましたが、この分析ではRを用いています。なお、コードはGitHub（https://github.com/ShoKosaka/Suumo）に上げておきますので興味ある方は参照ください。 最初に、データの中身をざっくり見ていきます。具体的には、分析のキーになるポイントをグラフにしながら、賃貸物件の現状や変数同士の関係性を把握していきます。 データ探索 まず、23区の中でどこが物件数が多いのかを

Outbrainという会社の「WEBコンテンツの見出し（タイトル）」について、15万記事を調査したデータが、おもしろかったので簡単にメモ。 １）8ワードのタイトルがクリック率が最高に。 記事タイトルの長さとしては、8ワード（英語で）のものが一番クリック率が高かった。平均よりも21％高かった。 ２）サムネイル画像を入れるとクリック率＋27％ ほとんどのメディアはやっている気がするが、サムネイル画像を記事タイトルに加えると、クリック率を27％も高めることができる。 たぶん、ソーシャルのOGP画像とかもそうだし、あとはスマートニュースとかにも、多かれ少なかれ、当てはまる話だと思われる。 ３）偶数よりも奇数のほうが20％も吸引力がある 偶数よりも奇数のほうがクリック率が20％も高まる。たとえば「デザイン上達8のコツ」よりも「デザイン上達7のコツ」にすべきだと。 感覚的には「3・5・7」あたりの数値

Parrots in captivity seem to enjoy video-chatting with their friends on Messenger

去年から公開されてる「JR東日本アプリ」ですが、機能の一つに「山手線トレインネット」というものがあります。 これは山手線の各車両の現在位置、混雑状況、室内温が見えるというもので、 座りやすい車両を探すのに便利だったりします。 山手線トレインネットから取得した車両位置と混雑率 電車の運行情報がここまで時間粒度細かく公開されているのは世界的にも珍しいので、特に目的も無しにデータをクローリングして遊んでみました。 データをクローリングする まずは山手線トレインネットの車両位置・混雑情報をクローリングします。 JR東日本アプリの山手線トレインネット。 今の車両内の混雑や室内温が見える。すごい！ 「山手線トレインネット」はブラウザから見えるページが存在しない、iPhone/Androidアプリ専用の画面です。 なので普段の「FirebugでAJAXの通信を見てAPIをリバースエンジニアリング」ほど簡

「ランキングが上がらない」「開発費が回収できない」アプリを作って終わりにしない現場のノウハウを凝縮。 「DL数が伸びない」「DAUが増えない」「課金されない」スマホアプリビジネスの悩みを、ASO、広告運用、内部改善など、豊富な事例をもとに解説。iOS/Androidマーケの全体像がつかめる国内唯一のアプリマーケ実践本です。連載時から大幅に加筆修正し、最新情報を盛り込みました！ 事例に学ぶスマホアプリマーケティングの鉄則87 価格：2,700円 (本体2,500円) ／形態：B5変 (208ページ) ISBN：978-4-04-866451-6 スマートフォンアプリのマーケティングノウハウを紹介する本連載。前回の記事では、Google Play やApp Storeから提供される情報を使ったマーケット分析の方法を紹介しました。 今回は、アプリ内のユーザーの行動をGoogle アナリティクスを

最近仕事であるテーマについて調べ物をしています。 昔は、情報をひたすら集めるだけ集めて、そのまんま放置しがちでした。 それって、ものすごく勿体なくて意味のないことなんですよね。 集めた情報をきちんと分析すること。 集めた情報を分析して得た結論をまとめておくこと。 ...をしておかないと、情報を集めた労力が無駄になってしまう。 先日「集めた情報の分析方法」を勉強しました。 ひたすら情報を集めた後、きちんと分析すると、その情報の本質を見いだすことができる...ということです。 今日の記事では、この「集めた情報の分析方法（＝物事の本質を探る方法）」について紹介したいと思います。 [スポンサード リンク] 集めた情報の分析方法（物事の本質を探る方法） 目に見えているものだけを分析するのではなく、その全体構造/背景を探り、その位置づけを理解する。 情報をとにかく多くのカテゴリに分類していき、物事を理

線形回帰における仮定 前々回、前回 と線形回帰について説明してきました。 線形回帰における最小二乗法では Y 軸の点と点の全体的な長さの差異 (= これを、それぞれの差の二乗を取ってから加算するので二乗誤差といいます) が最小になるように、まっすぐな線 (= 1 次式の直線となる関数) を求めました。すなわち、データの集合から直線に回帰する推定をおこなったわけです。 相関係数を求める どんな 2 次元データでも線形回帰で関数を導くことはできますが、それが妥当かどうか気になります。そこで両者の相関係数を求めます。相関係数はベクトル v1, v2 からそれぞれの要素 x, y の平均を求め、次に v1, v2 の分散と共分散を求めます。コードで表現してみましょう。 def correlation(data): n = len(data) # 二次元データの長さを n に求める xm = 0.0

今回の大雪ビッグデータから、いったい何が見えたのか。ひも解いていこう。 まず、図1を見てほしい。これはウェザーニューズに寄せられた、2月15日午後1時における関東地方の路面の状態を図示したものである。ウェザーニューズの気象予報に参加する「サポーター」から、携帯電話やスマートフォンを通じて続々と寄せられる首都圏の路面状況の報告を、地図上に色別にプロットしてある。 特に注目してほしいのは色の配置。個々のプロットの固まりが、西から順に「赤色」「緑色」「黄色」と、きれいに3つに分かれている。 3つの色を隔てる“見えない”縦方向の線が、あたかも存在しているかのように思える。 雨と雪の境目が見えた 各色は、赤色が路面の「積雪」、緑色が「シャーベット」、黄色が「影響なし」を示している。つまり、路面の報告から、雨と雪の“境界線”がはっきりと見えてきたことになる。雨から雪に変わり、道路状況が悪くなっていく様

せっかく作り上げたものを否定されると、自分の正しさを証明したくなりがちです。しかしそれでは良くなるものも良くなりません。反対意見に対して腹を立てず、それを取り込むヒントをご紹介します。 本連載は、2013年11月14日に発売した吉田照幸著『発想をカタチにする技術 新しさを生みだす“ありきたり”の壊し方』（日本実業出版社刊）から一部抜粋、編集しています。 どんな会社でも、面白いことは始められる！　あの「サラリーマンNEO」を生み出し、「あまちゃん」を担当した異色のNHKディレクターの仕事術！ 面白いアイデアを思い付いても、それを伝えて思惑通りに実現していくのはなかなか難しいもの。ともすると「前例がない！」「そんなのできない！」という声にかきけされてしまいます。 そんな中で、会社からも多くの人からも認められるものを作るには「きちんと人に伝えること」「自分の意思を通すこと」でも「独りよがりになら

日本のスーパーは遅れている？　客のデータを分析しなければいけない：仕事をしたら“客の迷い”が見えてきた（後編）（5/5 ページ） 欧米と日本のスーパーの差 土肥：　深谷さんは1990年代前半に米国で仕事をされていて、そのときに現地のスーパーを見て驚かれた。防犯カメラをマーケティングに使っていたんですよね。日本のスーパーよりも一歩も二歩も先を進んでいたわけですが、いまでもその差はあるのでしょうか。 深谷：　お客のデータを分析する、という意味ではかなり進んでいますね。例えば、Aさんは「毎週1回、買い物に来る。重いモノを買う」というデータがあるとしますよね。その場合、お店は、Aさんにどういったサービスを提供すると思いますか？ 土肥：　うーん……毎週1回来てもらっているので、ポイントを付けるとか？ 深谷：　それは日本のスーパーにありがちなサービスですよね。値引きのクーポンを提供したり、ポイントを5