ちゃお…† まいおり…† 今回はConcept driftについて調べてたのでメモを書こうと思います。 Concept driftとは 機械学習やその周辺分野では、モデルを無益なものにするデータの変動をConcept drift (コンセプト変動; コンセプトドリフト; 概念ドリフト) と呼びます。 Concept driftは、モデルが予測するために用いる説明変数の統計的性質が思いがけないことで時間とともに変わってしまうと起こります。 Concept driftが起こると時間が経つごとに予測精度が低くなる問題を引き起こします。 この問題において最も重要なことは、動的に変動するデータやデータモデルに関するDrift detection (ドリフト検出) と Drift adaptation (ドリフト適応) によるアプローチです。 予測モデルの衰退 機械学習において、データモデルは確率分布

こんにちは。@shunk031です。 新型コロナウイルスが猛威を奮っていますね。 不要不急の外出は控えるのが大切そうです。 こういう時は引きこもって論文を読むのが一番です。 今回はコードエディタであるVSCodeで、深層学習モデルの実装を爆速にするための設定についてメモします。 深層学習モデルの実装をする際にはリモート上にあるGPUを搭載したサーバで実装をしたりデバッグすることが非常に多いです。 VSCodeはこうしたリモートでのコード編集およびデバッグを簡単に行える仕組みを多数揃えています。 本記事では、深層学習モデルの実装に頻繁に利用されるPythonを対象に、以下の観点からモデルの実装を爆速にする設定や機能について紹介します: Pythonの開発環境の構築 リモートのGPUサーバに接続するための設定 深層学習モデルの実装・デバッグを簡単にする機能 おすすめのショートカットキー・拡張機

以前Vimperator用にmvimコマンドを入れたけど、これはMacVimの環境設定で「外部からファイルを開くときにはタブで開く」の設定にしておいても、mvimコマンドからだと新規ウィンドウで開いてしまう。すでにMacVimのウィンドウが開かれている場合はウィンドウが2個になる。これの解決方法について。 この動作はVimperatorからC-iで開く場合には、入力後にMacVimのウィンドウを閉じることでVimperator側に反映させるので新規ウィンドウの方が都合が良いんだけど、ターミナルから普通にコマンドラインで指定して開く場合はタブで開いてほしい。どうしたものかなと調べていたら、そのものズバリの解決方法を紹介してくれているページがあった。 単にmvimコマンドを使うと、実行ごとに新しいウインドウが開いてしまう。 せっかくタブ化できるんだから、タブで開きたい。 そういうときは、mvi

概要 当エントリは『機械学習 on AWS Advent Calendar 2019』の20日目のエントリです。 クラスメソッド 機械学習 on AWS Advent Calendar 2019 - Qiita クラスメソッド 機械学習 on AWS Advent Calendar 2019 ｜ シリーズ ｜ Developers.IO 先日、sklearnのversion「0.22」のリリースハイライトを見ていて「plot_partial_dependence」というAPIが気になり調べてみたので、結果をレポートします。 本エントリーの内容をざっくり言うと、「目的変数と特徴量の関係性」を可視化する際に便利なAPIである「plot_partial_dependence」が「sklearnの version0.22」でリリースされたのでその内容のレポートと、というものになります。 目的変数と

はじめに 自分は元々pandasが苦手でKaggleコンペ参加時は基本的にBigQuery上のSQLで特徴量を作り、最低限のpandas操作でデータ処理をしていました。 しかし、あるコードコンペティションに参加することになり、pythonで軽快にデータ処理をこなす必要が出てきたので勉強しました。 そこで、当時の勉強メモをもとに「これだけ知っていればKaggleでそこそこ戦えるかな」と思っているpandasの主要機能をまとめました。 注記 実戦入門 のつもりが ほぼ辞書 になってしまいました orz pandasとはなんぞや的な内容は書いていません (import pandasやDataFrameとは何かなど) pandas1.0系でも動くように書いたつもりですが間違ってたらすみません 目次 はじめに 注記 目次 Options DaraFrame 読み書き CSVファイル 読み込み 書き出

ちゃお・・・† はじめに Pythonでネストしている (入れ子構造になってる) リストを1つのリストにまとめたい、つまりflattenしたい時ってたまにありますよね。そうした場合に対処する情報もWeb検索すればすぐ出てきますよね。でも、それをいちいちコピペするのって正直めんどくさくないですか？わたしはめんどくさい。というわけで、この記事ではPythonでflattenするモジュールflatiを紹介します。 現時点ではPython 2.7とPython 3.4~3.8対応です。Pure-Pythonモジュールなので、対応しているPython環境さえあれば、Windows/macOS/Ubuntuなど色々なプラットフォームで動くと思います。 名前の由来 flatten処理とFulvio Fratiさん (一緒に研究したことある先生) をかけてflatiと名付けました。「ふらてぃ」と発音してく

学習させた機械学習モデルにおいて、どの特徴量がどれくらい性能に寄与しているのかを知りたい場合がある。 すごく効く特徴があれば、それについてもっと深掘りしたいし、あるいは全く効かないものがあるなら取り除くことも考えられる。 使うフレームワークやモデルによっては特徴量の重要度を確認するための API が用意されていることもあるけど、そんなに多くはない。 そこで、今回はモデルやフレームワークに依存しない特徴量の重要度を計測する手法として Permutation Importance という手法を試してみる。 略称として PIMP と呼ばれたりすることもあるようだ。 この手法を知ったのは、以下の Kaggle のノートブックを目にしたのがきっかけだった。 Permutation Importance | Kaggle あんまりちゃんと読めてないけど、論文としては Altmann et al. (2

Deliver the ready-to-train data to your NLP model. - chakki-works/chariot 言語モデルの実装パターン「言語モデルの実装」として紹介されることの多い実装は、主に2つあります。1つがバッチ型、もう一つがシーケンシャル型です(このタイプは私が名付けたので、一般的ではありません)。そして、バッチ型の性能は素直に実装するとシーケンシャル型に大きく劣ります。本節ではまず実装の違い、次節で性能差の原因について解説します。 バッチ型のモデルは、固定長の系列から予測を行うタイプの実装です。特にKerasによる言語モデルの実装ではこのタイプが使われていることが多いです。一定長の系列を与えて、系列に続く単語(文字)を予測させる形です。図にすると以下のようになります。 バッチ型の言語モデル実装コードにすると、概ね以下のような実装になります。b

日本語の自然言語処理が絡んだ作業をする際に、 名詞だけ抜き出したい 名詞だけ抜き出したいが、接頭詞の「未」「非」とかもくっつけて抜き出したい 形容詞を抜き出したいが、否定の「ない」もくっつけて抜き出したい みたいに形態素解析をしたあとに形態素同士をつなげてフレーズの抽出をしたいシチュエーションがよくあると思う。 そういった特定の品詞の組み合わせをルールを定義することで、フレーズを抜き出せるPythonパッケージ「negima」を作った。 概要 例えば複合名詞を抽出したい場合、このようなルールを定義する。 id min max pos0 pos1 pos2 pos3 pos4 pos5 nouns 0 2 接頭詞 1 4 名詞 一般|サ変接続|数 0 2 名詞 接尾 このルールをnoun.csvとしてファイルに定義したとすると、 0個以上2個以下の接頭詞ではじまり、 1個以上4個以下の名詞(

久しぶりの投稿になってしまいましたが、ニュースパス(現在CM放映中!!)開発部の大曽根です。 作業中はGrover Washington Jr のWinelightを聴くと元気が出ます。参加ミュージシャンが素晴らしいですね。 なぜ時系列分析をするのか 季節調整 実演 おまけ: 時間別に見てみる まとめ 今後 なぜ時系列分析をするのか 数値を非常に重視している弊社では、数値を知るためのツールとしてRedashやChartioおよびSlackへの通知を活用しています。現在の数値を理解する上では、長期のトレンド(指標が下がっているのか、上がっているのか)を知ることが重要です。しかし、日々変化するデータ(特に売上やKPIと言われる指標)は、ばらつきも大きく、変化を適切に捉えることが難しいこともあります。 特にSlackなどへの通知を行っていると、日々の変化に囚われがちです。例えば、弊社ではニュース