本文書の後半では、この表の中にある「解釈可能性」をサポートするライブラリ、InterpretMLのサンプルを動かしてみます。 それでは技術トピックを紹介してゆきます。 解釈可能性 多くの機械学習器は指定されたフォーマットの入力に対して結果を返すブラックボックスのように動作します。しかし適用するドメインによってはなぜ機械学習モデルがその結果を出力したのかが問われることがあります。 AIや機械学習の研究開発では精度が重要です。精度を向上するために古典的な機械学習器であれば、あらゆる有効そうな特徴量やその組み合わせを元にモデルを作成します。近年、大きな発展を遂げた深層学習では多数の中間層をもつモデルで入力の各要素がどのように結果に影響をあたえるかを判断するのはさらに難しくなります。 解釈可能性をサポートする機械学習モデルは出力がどのような情報をどのような重みをつかってなされたのかについての根拠を

はじめに ユーザーに近い機械学習プロダクトのむずかしさ サービス開発のスピード チームで開発するということ ソフトウェアエンジニアは楽しい？ 実際にユーザーに届くということ これからのこと はじめに 「そういえば，来期は1年間ソフトウェアエンジニアをやっていただきたいんですが」と当時のマネージャーに言われてから1年になる。その頃の私は機械学習エンジニアとして着実に成長はできていたのだと思う。実際に機械学習プロダクトを本番環境に投入することができていたし，機械学習のモデル構築以外にもデプロイ周りやインフラ周り，データベース周りといった知識も身につけることができていた。けれど「もっとユーザーに近いところで仕事がしたい」という思いも持っていた。 ユーザーに近い機械学習プロダクトのむずかしさ 機械学習プロダクトをユーザーに近いところ，つまり実サービスに投入するのはむずかしい。そもそも機械学習プロダ

こんにちは！研究開発部ソフトウェアエンジニアの林田千瑛(@chie8842)です。あまりたくさん飲めないけど日本酒が好きです。 クックパッドが提供するサービスの検索や推薦機能の構築・改善を行っています。 本稿では、クックパッド本体の検索改善や推薦システム構築の傍らで、新規サービスであるクックパッドマート向けの検索システムをつくったので、その際の設計や精度改善の工夫について書きます。 新規サービスクックパッドマートと検索 クックパッドマートは、生鮮食品に特化したECサービスで、ステーションと呼ばれる場所に購入した食品を届けてくれるという特徴をもっています。2018年夏にサービス開始して以来順調にユーザ数を伸ばしています。中でも商品検索機能は、クックパッドマートの追加機能として9月にリリースしました。 検索システムの要件 プロダクトチームの当初の要件は以下のとおりでした。 まずは 1ヶ月で リ

2019年7月31日、検索技術研究会が主催するイベント「Search Engineering Tech Talk 2019 Summer」が開催されました。「検索」や「検索システム」にまつわる技術や手法を共有する本イベント。第3回となる今回は、3人のエンジニアが、現場の経験を通して学んだノウハウや、検索にまつわる知見を語ります。プレゼンテーション「Elasticsearch における類似度ベクトル検索のベストプラクティスを求めて 」に登壇したのは、伊藤敬彦氏。講演資料はこちら Elasticserchにおける類似度ベクトル検索のベストプラクティスを求めて 伊藤敬彦（@takahi_i） 氏（以下、伊藤）：「Elasticserchにおける類似度ベクトル検索のベストプラクティスを求めて」ということで、いろいろ調査をしてみましてとりあえずまとめてみましたというお話です。 シュッとやると最初は書

9月末で無職になりました。 正社員として地方からフルリモートで働ける・雇っていただける会社を探しています。 直近のお仕事では、Java/Spring Bootを使ったAWS ECS上で動くアプリケーションの開発や TerraformやAnsibleを使った運用に関わってきました。また、ScalaでGatling書いて、負荷試験などもやっていました。 当初はバックエンドのエンジニアとして働いてたのですが、色々弄ってたことや積極的に運用に関わっていたこともあり、後半はSREとして働いていました。 SREとしては、変わらずJavaを弄ったり、Terraformを弄ったり、Golangを弄ったりしていました。 趣味でSpotbugsのコミッタをやったりOSSのメンテナンスをやったりもしました。 その他にも色々自由に動けて楽しかったです。 今後の予定は決まっていません。 正社員として、地方からフルリ

2019年3月28日、株式会社scouty、エムスリー株式会社、クックパッド株式会社、Repro株式会社の4社の共済によるイベント「Machine Learning Team Building Pitch」が開催されました。機械学習チームのチームビルディングについて、各社の取り組みを共有する本イベント。徐々に増え始めた機械学習組織の運営における知見を語ります。プレゼンテーション「クックパッドと機械学習 」に登壇したのは、クックパッド株式会社研究開発部部長の原島純氏。講演資料はこちら クックパッドの研究開発部門について 原島純氏（以下、原島）：よろしくお願いします。クックパッドの原島です。今日「何話そうかな？」ってギリギリまで考えたんですけど、ベタに自分の会社と僕の紹介にしようと思います。 まず簡単に自己紹介だけさせていただきますと、原島と申します。 2006年に京都大学の自然言語処理の

クックパッド株式会社（以下、クックパッド）は、Amazonが展開するクラウドベースの音声サービス「Amazon Alexa」向けに提供しているスキル「クックパッド」をアップデートし、過去にクックパッドで閲覧・保存したレシピを提案する機能、レシピについての質問に答える機能を追加したことをお知らせいたします。 過去にクックパッドで見たりMYフォルダに保存したレシピを提案 材料名や料理名からレシピを検索する際、過去にスマホアプリやWebサイトのクックパッドで閲覧したレシピや、MYフォルダに保存したレシピをAlexa上で提案する機能を追加しました。 これにより通勤中や買い物中にスマホで閲覧したレシピや、MYフォルダに保存したお気に入りのレシピを、自宅のAlexaから簡単に呼び出すことが可能になり、更に利便性が向上しました。 ※本機能はスキルにクックパッドアカウントをリンクすることで利用可能になり

Cookiecutter Template for Data Scientists Working in Docker Containers

git-rerereってなんかレレレのおじさんみたいですが(Reuse recorded resolution of conflicted merges だそうな)、同じような衝突を何度も起こす状況で使うととっても便利なようで、調べつつ、メモ。 Linusが言っている「無駄なマージコミットやめて」を実現するには、rebaseがあればいいよね、と思ってたんだけど、既に公開しているようなブランチとなると、rebaseするわけにもいきません。 でも途中でちょっとだけ本線とマージしてテストしてみたくなったり、マージした後でやり直して再度マージしてみたくなったりも、しがちです。 そうなるとキツいのが、分かりきってるようなコンフリクトの解消。同じようなマージを繰り返すと、同じように衝突してるところを何度も手で直す作業を繰り返しやるハメになって、泣きそうになります。かといってマージを限界まで我慢して一発

※ご購入後、「マイページ」からファイルをダウンロードしてください。 ※ご購入された電子書籍には、購入者情報、および暗号化したコードが埋め込まれております。 ※購入者の個人的な利用目的以外での電子書籍の複製を禁じております。無断で複製・掲載および販売を行った場合、法律により罰せられる可能性もございますので、ご遠慮ください。 備考 ■■著者プロフィール ■大場寧子（おおば やすこ） プログラマ歴30年あまり、Ruby 歴12年のRuby 大好きRailsプログラマ。（株）万葉 代表取締役社長。Rubyアソシエーション評議員。著書に「Ruby on Rails逆引きクイックリファレンス」「たのしい開発 スタートアップRuby」等。 ■松本拓也（まつもと たくや） 新潟県長岡市育ち、長岡花火を見に行くのが年課。14歳の頃ゲームを作りたくなってプログラミングをはじめる。Windowsアプリケーション

こんにちは、小室です。今年もMaker Faire Tokyoでmicro:bitコンテストをやります！大人も応募できるmicro:bitコンテストです。ゴールデンウィークにぜひぜひ作ってね！ 応募期間 2019年4月19日（金）～6月9日（日） 応募方法 プログラミング作品共有サイト「Paddle」よりご応募ください。その際、カテゴリで「たのしいmicro:bitコンテスト2019」を必ず選択してください。 応募資格 特にないです！楽しく作ってね！ただ、Maker Faire Tokyoのゆるーい出展ガイドラインにそぐわないもの（暴力的だったり過度に性的だったり、もしくは法律に違反していたりするもの）は入賞しません。出展ガイドラインはコチラの「7　出展のガイドライン」をご確認ください。 審査員や審査方法など詳しくはMake:のページをどうぞ！ makezine.jp 今回は入賞作品を実際

研究開発部に2月18日から3月15日までアルバイトとして参加している岩手県立大学修士1年の橋本（@funwarioisii）です。大学では画像認識について学びを深めています。 本稿では、アルバイトで行ったNPS®アンケート1の機械学習を用いた分類と、その結果を社内で活用してもらうための取り組みについて紹介します。 NPSアンケートについて クックパッドではイベントやアンケートなどを通じてユーザーからの声を集計しています。その一環として、2年前からNPSアンケートを実施しています。 NPSアンケートはサービス（今回はクックパッド）を他者にオススメするかを調査するのが目的です。アンケートでは必須回答の「スコア」と任意回答の「コメント」を頂いており、スコアは0~10の値を取ります。 この「スコア」が9、10で回答してくださった方を推薦者、7、8で回答してくださった方を中立者、6以下で回答してくだ

こんにちは。Mackerelチームディレクターの id:daiksy です。 ミートアップなどのイベントで開発中である旨をお知らせしていました、機械学習を用いたMackerelの新機能「ロール内異常検知」β版の提供を開始しました。 mackerel.io 異常検知は、これまでの閾値を設定する監視とはすこし考え方が異なります。ここでは、異常検知とはどういうものなのか、どのように使えばいいのかを見ていこうと思います。 ロール内異常検知とは 「ロール内異常検知」とは、機械学習により、Mackerelで設定されたロール内にあるホストに対して、特別な監視項目を設定することなくサーバーの異常を検知する機能です。 これまでのサーバー監視では、監視ルールを的確に設定するために、深い経験やノウハウが必要でした。CPUが高負荷な時にアラートを出したい、と思ったとしても、そもそも高負荷とはCPUの使用率が何%の

研究開発部のサウラブ(bira)です。 本稿ではユーザがレシピの作成にかける労力を減らすために取り入れた、機械学習を利用した機能の一つについて 解説します。この機能を利用すると、ユーザがレシピのタイトルを入力することで、利用されるであろう材料が予測できます。 要約 レシピのタイトルから材料を予測できるモデルを作りました。 投稿開発部と協力してレシピエディタに材料提案機能を追加しました。 App Storeで入手可能な最新のCookpadアプリ（v19.6.0.0）でこの機能を使用できます。 前 今 モデルはどうなっているか 1.　Embed 学習(Training): Word EmbeddingとSentence　Embeddingを学習してS3にアップロードします。（次のセクションで説明） 前処理(Preprocessing): 特殊文字を削除します。 多くのCookpadユーザーはテ

背景 データ分析コンペに参加した時に、爆速で Docker コンテナにデータ分析環境を生成するテンプレート を作りましたを参考に、DockerコンテナにJupyter notebookが使える環境構築をしたのでその手順についてまとめました。めちゃくちゃ早く環境構築ができるのと、Dockerコンテナを利用することで環境の再現性が出る等のメリットがあります。 プロジェクトディレクトリ作成 cookiecutterのインストール $ pip install cookiecutter プロジェクトディレクトリの作成 $ cookiecutter git@github.com:docker-science/cookiecutter-docker-science.git project_name [project_name]: xxxxxxxxxx project_slug [national_par

1年って早いね。振り返りエントリって書いたことなかったけど、なんとなく今回は書いてみます。 今年は去年に引き続き体調があまりよくなくて、なんだか呆けて過ごしてしまったなあという印象があります。気づいたら1年が終わってましたね。 2019年は健康に気をつけて、筋トレをしっかりして体作りをして性能向上に努めたいです。 仕事 外部発表で少し触れていますが、1年通してチャットシステムのエンハンス開発をしていました。 要求策定らへんの調整、チームのとりまとめみたいなところをやりつつ設計と開発もしていました。 チームメンバや他チームのメンバの方々に助けられたところも多く、できる仕事や注意できる範囲が広がってよかったという実感があります。 一方、自分の開発スキルをもっと伸ばしていきたいという気持ちもあって、なかなか時間の使い方が難しいなと思っていました。 やりたいことは、体力が続くのであれば無理してでも

こんにちは。広報部のとくなり餃子大好き（ id:tokunarigyozadaisuki ）です。 2018年11月1日に、Cookpad Tech Kitchen #19 R&Dにおけるサービス開発者の仕事を開催いたしました。クックパッドでは、Cookpad Tech Kitchenを通して、技術やサービス開発に関する知見を定期的に発信しています。 部長の原島が司会を務めました 第19回は弊社の研究開発部から5名が登壇致しました。研究開発部ではサービス開発に積極的に取り組んでおり、今回は機械学習、スマートスピーカーの開発、他社を巻き込んだプラットフォームの開発などについてお話しました。 本ブログを通して当日の様子をご来場いただけなかったみなさまにもお届けしたいと思います。 発表プログラム 「スマートスピーカー向けサービス開発者のお仕事」 はじめにお話いたしましたのは、2016年新卒として

研究開発部の takahi_i です。本稿ではクックパッド研究開発部の機械学習チームに所属するメンバがタスクに取り組む体制および、働く環境について紹介します。 準備 機械学習はそれら単体が学ぶのにコストが掛かる分野で、高い専門性を獲得するためには多くの時間をかける必要があります。そのため機械学習の専門家はソフトウェア開発を十分に経験する 機会を得られにくい状況にあります。 このような前提において民間企業で機械学習を導入する場合、二つの可能性が考えられます。一つは完全に分業する方向で、機械学習のエキスパートはモデルだけを作り、ソフトウェアエンジニアが導入 を引き受けます。もう一つは機械学習の実験、モデル作成から導入までを一人がおこないます。 分業による利点と問題点 機械学習は日進月歩の分野です。機械学習エンジニアやデータサイエンティストといった職が単体で存在します。特に大きな組織では、機械学