2020年4月30日 The Web Conference2020 参加報告会 by Wantedly (https://connpass.com/event/174856/) における発表資料です。 以下の２つの論文について概要を紹介しました。 - Zhang, Le and Xu, To…

Sampling-free Epistemic Uncertainty Estimation Using Approximated Variance Propagation (ICCV2019 oral)

This document summarizes a presentation about Presto at LINE. It discusses LINE's use of Presto, Yanagishima (an open source Presto web UI), OASIS (a Spark-based data analysis platform), and challenges encountered with Presto at LINE's scale. Some key points include: - LINE uses Presto for interactive queries through Yanagishima and Spark/Hive for batch processing through OASIS due to Presto's lac

NAACL 2019 Highlights This post discusses highlights of NAACL 2019. It covers transfer learning, common sense reasoning, natural language generation, bias, non-English languages, and diversity and inclusion. Update 19.04.20: Added a translation of this post in Spanish. This post discusses highlights of the 2019 Annual Conference of the North American Chapter of the Association for Computational Li

2019/04/18に株式会社gumi様で行ったデザイン講義のスライドです。 デザインとは何か？デザイナーは何を考えてデザインを作っているのか？ という話から、実際にデザインを評価・検討するための言葉を紹介しています。

Kaggleに登録したら次にやること ～ これだけやれば十分闘える！Titanicの先へ行く入門 10 Kernel ～PythonKaggle 事業会社でデータサイエンティストをしているu++です。普段ははてなブログ1で、Kaggleや自然言語処理などデータ分析に関する記事を定期的に書いています。 Kaggleでは2019年に「PetFinder.my Adoption Prediction」2というコンペで優勝（チーム）し、「Santander Value Prediction Challenge」3というコンペで銀メダルを獲得（個人）しました。「Kaggle Master」と呼ばれる称号4を得ており、Kaggle内ランクは、約16万人中最高229位です5。 本記事では「Kaggleに登録したら次にやること」と題して、Kaggleに入門したい方に向けて次のようなコンテンツを掲載します。

こんにちは、DSOC R&Dグループ研究員の奥田です。言語処理学会年次大会（NLP2019）の開催されている名古屋のホテルで今まさにこの記事を書いています。ひつまぶし美味しかったです。 さて、今回はCONLL 2018で発表されたSimple Unsupervised Keyphrase Extraction using Sentence Embeddingsを実装して日本語を対象に評価しましたので、その紹介です。こちらは1/31に開催された「第一回SIL勉強会 自然言語処理編」での発表を加筆修正したものですので、そちらの資料も合わせてご覧いただければと思います。 EmbedRankとは 本論文で提案されているEmbedRankとは、教師データを用意することなく、文章に含まれる重要なキーフレーズを抽出するアルゴリズムです。あるフレーズが重要かどうかは、それが含まれる文章全体の意味をよく表し

こんばんは ぎんです。 「今週末は初めてのリアル脱出ゲームか～、楽しみだなあ」と思っているそこのあなたちょっと待ってください、事前対策は万全ですか？ 「練習問題」は余裕で解けたし大丈夫！って方は要注意です。 じつは、練習問題はそんなに難しくないんです まずはリアル脱出ゲームの全体像を知ろう！ １：ヨクアル脱出ゲーム（無料） ２：封印された島からの脱出（無料） ３：地球滅亡からの脱出（無料） ４：インペルダウンからの脱出（無料） ５：リアル脱出ゲーム　公式問題集（有料） ６：5分間リアル脱出ゲーム（有料） ７：人狼村からの脱出DVD（有料） リアル脱出ゲームの問題に慣れよう！ ８：新宿200問の謎解き ９：六本木24問の謎解き １０：基礎なぞ（リアル脱出ゲームでよく出る問題） さいごに じつは、練習問題はそんなに難しくないんです まずは、こちらの謎を解いてみて下さい。 解答はこちら ひらがな

著者のJeremie Harris氏は、データサイエンティスト志望者が職に就くまで助言を行うメンターシップ・サービスを提供するスタートアップSharpestMindsの共同設立者。同氏が英文長文記事メディアMediumに投稿した記事では、データサイエンティスト志望者が目指すべきキャリアパスについて論じられています。 現在「データサイエンス」という言葉で語られる内容は広範囲にわたる一方で、データサイエンスをビジネスに活用したい企業はそれぞれ個別的な問題を抱えています。こうした現状をふまえて、同氏はデータサイエンティスト志望者に「どんなデータサイエンティストになりたいのか」ということを第一に考えることをすすめています。というのも、漠然とデータサイエンスに関して何でも知っている人材より、企業が抱えている具体的な問題を解決する専門的なスキルを持っている人材のほうが雇用のチャンスに恵まれるからです。

最近、Kaggle などのデータ分析コンペで使われることの多い Adversarial Validation という手法について調べたり考えていたので書いてみる。 もくじ もくじ 背景 Adversarial Validation 試してみる 下準備 二つのデータが同じ分布に由来するとき 二つのデータが異なる分布に由来するとき 異なる分布でそのまま分類してみる 検証用データに似ているものを取り出す 取り出したデータを使って学習してみる ラベルごとに似ているデータを取り出す どれだけ取り出して学習させれば良いのか Adversarial Validation の応用例 背景 Adversarial Validation という手法は、データ分析コンペに存在する、ある課題を解決するために考案された。 その課題とは、提供される複数のデータセットの分布が異なる場合に、いかにして正しく予測するかとい

DMMにおけるユーザーレビュー基盤の変革(データ駆動戦略を実現する『三種の神器』編)【Developers Summit 2019】

はじめに 機械学習/ディープラーニング/Pythonに関する、私が書いた記事をまとめたものです。対象のブログは主に以下になります。 karaage. note.mu まとめページを新たに作りました ここにある情報もだいぶ古いものが多くなってきたので、新たに自分が学んだことを以下のページにまとめ直しました。今からだと、こちらから見ていった方が良いかもしれません。 Pythonで基礎から機械学習まとめ 概要・初心者向け 機械学習もディープラーニングもPythonも詳しく知らない・初心者という方は、まずはこちらを参照下さい。 人工知能・機械学習・ディープラーニング関係の雑多なまとめ Pythonで最初に知っておきたかったことのまとめ【初心者向け】 環境構築 環境構築に関する記事です。 Pythonで機械学習をするための環境を雑にセットアップする方法（Jupyter notebook環境、ディープ

陰性のデータは1万件近く集めることができましたが、陽性のデータは100件しか集められませんでした。このように、陽性・陰性というクラス間でデータ数に明らかな偏りがあるケースを不均衡データ（inbalanced data）といいます。 不均衡データの問題点 評価上の問題 これは教科書的な問題で、「精度（Accuracy）が機能しない」という点です。例えば先程の例で陰性がデータ全体の99%なら、ありとあらゆるデータに対して陰性と判定（$y=0$）する分類器を作れば、その時点で精度99%を達成してしまいます。 こんなイメージです。機械学習なんていらないですね。笑っちゃうかもしれませんが、実は機械学習を使っても「return 0」みたいな状態に最適化が向かうことがあります（後述）。 今最適化での解の問題はおいておくとして、あくまで評価上の問題なら、Precision, Recall, ROC曲線、F

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 日本では「欧米」という言葉のもと、ヨーロッパとアメリカを一緒のようなものとして扱ってしまうことをよく見受けます。 例えば、アメリカがすごいという分野があると、それによってヨーロッパも同じようにすごいのだ、というかんじです。 ところがじっさいにアメリカやヨーロッパに住んでみると、この2つは大きく異なる価値観をもった2つの異なる世界なのだと実感することになります。もちろん、そのヨーロッパの中でも、西と東で大きく違い、西ヨーロッパの中でも北と南、もしくはカトリック系とプロテスタント系では大きく違ったりします。さらにアメリカの中でも、例えば東海

はじめに 当社にアルバイトに来ていた人（来春に新卒入社の予定）に「pandasを高速化するための情報は無いですか？」と尋ねられました。 このパッケージの使い方は多数の書籍やWebで体系立った記事で書かれています。 しかし、高速化に関しては体系的な情報源が思いつかなかったので、「実際に書いてみて、1つ1つチューニングするしかないです」としか答えられませんでした。 そこで、この方を始め、来春（2019年4月）にデータアナリストまたはデータサイエンティストになる新卒へ向けて、pandasの高速化に関する私の経験をTips集にしてお伝えしたいと思います。 この記事は今後も内容を充実させるために、Tipsを追加していきます。 この記事を読んだ後にできるようになること pandasでレコード数1000万件のデータでも1分以内で完了する前処理が書けるようになります。 その結果、1日中実行し続けなければな