こんにちは。 現役エンジニアの”はやぶさ”@Cpp_Learningです。仕事でもプライベートでも機械学習で色々やってます。 今回は時系列データの前処理（ラグ特徴量）について勉強したので、備忘録も兼ねて本記事を書きます。 時系列データとは 時系列について、Wikipediaでは以下のように説明しています。 時系列（じけいれつ、英: time series）とは、ある現象の時間的な変化を、連続的に（または一定間隔をおいて不連続に）観測して得られた値の系列（一連の値）のこと。 引用元：Wikipedia より直観的な説明をすると、データを可視化したとき横軸が時間なら、そのデータは時系列データといえます。 上図の縦軸が加速度センサの計測値、横軸が時間です。つまり、これも時系列データです。

概要 当エントリは『機械学習 on AWS Advent Calendar 2019』の20日目のエントリです。 クラスメソッド 機械学習 on AWS Advent Calendar 2019 - Qiita クラスメソッド 機械学習 on AWS Advent Calendar 2019 ｜ シリーズ ｜ Developers.IO 先日、sklearnのversion「0.22」のリリースハイライトを見ていて「plot_partial_dependence」というAPIが気になり調べてみたので、結果をレポートします。 本エントリーの内容をざっくり言うと、「目的変数と特徴量の関係性」を可視化する際に便利なAPIである「plot_partial_dependence」が「sklearnの version0.22」でリリースされたのでその内容のレポートと、というものになります。 目的変数と

株式会社ブレインパッドの2019年新卒研修資料です。SQL操作に関する基本的な内容を扱っています。 SQLローカル環境の構築方法については事前にこちらをご参照ください https://speakerdeck.com/brainpadpr/sql-local-environment-construction

(Image by Pixabay) 「データサイエンティスト」の第一次ブーム勃興から6年余り、人工知能ブームに便乗した第二次ブームで人口に膾炙してから3年余り、気が付いたら何やかんや言われながらもデータサイエンティスト及びその類似職が、じわじわと日本国内の産業各分野・企業各社に広まりつつあるように僕の目には映ります。 そういう背景がある中で、ここ1年ぐらいの間にそこかしこで目立つようになってきたのが「ゼロからデータサイエンティストを育てたいのだがどうしたら良いか」という相談や議論。割とあるあるなのが「取引先がデータサイエンティストを採用して商談の席に同席させるようになって、彼らがデータサイエンスの知識を駆使してビシバシ突っ込んでくるのだが、こちらにデータサイエンティストがいないので対応できない」みたいなお話。これは実はUSでも同様だと聞くので*1、案外洋の東西を問わない課題なのかもしれま

SF作家ウィリアム・ギブスンの有名な言葉に、「未来は既に到来している。均等に配分されていないだけだ」というものがある。新しい技術が開発されたとき、それはあらゆる領域に均等に普及していくわけではない。 それはAI技術も同様で、地域や業界で導入の進み具合は異なる。業界ごとに見ると、それぞれどのような状況なのだろうか。今回は、製造業におけるAI活用例を紹介したい。 連載：よくわかる人工知能の基礎知識 いまや毎日のようにAI（人工知能）の話題が飛び交っている。しかし、どれほどの人がAIについて正しく理解し、他人に説明できるほどの知識を持っているだろうか。本連載では「AIとは何か」といった根本的な問いから最新のAI活用事例まで、主にビジネスパーソン向けに“いまさら聞けないAIに関する話”を解説していく。 （編集：村上万純） 製造業のAI導入状況 近年では製造業におけるAI・IoT技術の導入が進んでお

1. Deep Metric Learning 概要 Metric Learningとは日本語で「距離学習」と呼ばれる方法で, 入力空間におけるサンプル同士の類似度が, ユークリッド距離やコサイン類似度などの尺度と対応するように別空間に埋め込むための変換を学習する方法です. この別空間のことを埋め込み空間や特徴空間といいます(以後, 埋め込み空間で統一). DMLは, この変換をDeep Neural Networkによって非線形に設計します. とりわけ入力が画像であれば, DNNとしてConvolutional Neural Networkが用いられます. 犬種を用いた例をあげます. $x_1$, $x_2$はチワワの画像を表しており, $x_3$は柴犬の画像を表しています. $x_1$と$x_2$は同じ犬種なので画像としての類似度が高いと言えます. 一方で$x_1$と$x_3$は異なる

この度光栄なことに著者の @Maxwell さんから「Kaggleで勝つデータ分析の技術」 を献本いただきました。 私事ですがこのような形で献本頂いたのは初めての経験だったのでとてもうれしくまた恐縮している次第です。 光栄なことに @Maxwell_110 さんからKaggleで勝つデータ分析の技術を頂きました〜 目次の充実が話題になってましたがサラッと見ただけでも濃い内容満載で読むのワクワクです😆 https://t.co/VTKmsR5Z6s pic.twitter.com/yuRS72YyTs— ニューヨーカーGOTO (@nyker_goto) October 2, 2019 「せっかく本を頂いたので書評をかこう!!」と思ってここ数日読み進めていたのですが、この本が自分がここ一年ぐらいで読んだ機械学習に関連する本の中でもずば抜けて内容が濃くまた情報量の多い本であったため「これは僕

回答 (5件中の1件目) ディープラーニングは昔ニューラルネット（神経回路網）と言われていました。 モデルとなった神経回路網において、神経の結合、処理状態がわかれば考えていることがわかるのか？と言われればそれは無理ですね。これはブラックボックスです。 じゃ、考えていることがわかるようなニューラルネットは作れるかと問われれば、できないと断言はできない。 ちなみに三十年くらい前のAIの主要トピックスは。 エキスパートシステム　これは専門家の知識を記述するもので内容はわかります。 ファジーシステム　どこ行ったんでしょうね？ ニューラルネット でした。

［CEDEC 2019］ゲームの敵AIはAIに作らせる。「『強い』を作るだけが能じゃない！ディープラーニングで3Dアクションゲームの敵AIを作ってみた」聴講レポート ライター：箭本進一 パシフィコ横浜で2019年9月4日〜6日，ゲーム開発者向けカンファレンス「CEDEC 2019」が開催されている。本稿では，AIにAIを作らせるというユニークな試みを紹介するセッション「『強い』を作るだけが能じゃない！ディープラーニングで3Dアクションゲームの敵AIを作ってみた」の模様をお伝えしたい。 「CEDEC 2019」公式サイト 4Gamer「CEDEC 2019」記事一覧 登壇したのはLuminous Productionsのプログラマー，上段達弘氏だ。スクウェア・エニックス入社後にゲームエンジン「Luminous Studio」の開発に携わり，「FINAL FANTASY XV」ではAI関連の実

1. はじめに PyTorchの使い方にも少し慣れてきたので、arXivに公開されているディープラーニング関連の論文の実装にチャレンジをはじめました。まず今回はVisualizing and understanding convolutional networksを実装してみました。本論文はディープラーニングの可視化の文献としてよく参照されているので1、以前から興味がありました。 本論文の流れは、前半でCNNの可視化手法を中心に取り扱い、後半では構築したモデルのパフォーマンスを取り扱います。有名な論文ということもあり、Web上で日本語の解説もこちらに公開されています。 本論文の概要に関しては上記リンクの解説の通りなので、本記事では上記解説であまり触れられていない提案された可視化手法の実装に重点を置いて解説してみようと思います。 2. 本論文の概要 CNNは画像分類において高い精度を実現する

はじめまして、ますみです！ はじめに 最新の「機械学習の学習プラットフォーム」をさっくりとまとめてみました。 新しい情報は随時更新していきます。 目次（「機械学習」とAnd検索した時のヒット数順） Aidemy (7,430,000 件) AI academy (717,000 件) Amazon Machine Learning University (271,000 件) Elements of AI (141,000 件) Learn with Google AI (137,000 件) メディカルAIコース (135,000 件) Grow with Google (97,200 件) Chainerチュートリアル (65,000 件) Coursera (48,200 件) Codexa (26,100 件) それぞれの特徴 1. Aidemy (7,430,000 件) 圧倒的

はじめに こちらの記事の内容を１枚絵にまとめたものになります。以下、文章で少しだけ補足します。 正解率系の各種指標について (参考)こちらの記事より引用させて頂きました。 クラス分類モデルの性能評価には様々な評価指標が存在しますが、上記の各種指標の計算で諸々算出されます。 用語を覚える際に混乱してしまいがちですが、以下の関係性さえ理解しておけば丸暗記しなくても思い出せます。 前一文字:正解か不正解かを示す -> T or F 後一文字:モデルからの予測分類を示す -> P or N 偽陽性は、FP(間違って陽性判定した数) / FP + TN(陰性全体の母数) 真陽性は、TP(正しく陽性判定した数) / TP + FN(陽性全体の母数) テキストでROC曲線とAUCをまとめる ①ROC曲線ってなんだ? クラス分類するためのスコア閾値を外部の変数として変化させ、偽陽性率を横軸に、真陽性率を縦

ディープラーニングも使える確率的プログラミングツール「Gen」を開発、MIT：AIモデルやアルゴリズム作成の民主化に貢献 マサチューセッツ工科大学（MIT）の研究チームが開発した確率的プログラミングツール「Gen」を使えば、初心者でも簡単にAIに触れることができ、専門家は高度なAIプログラミングが可能になる。ディープラーニングよりも適用範囲の広いことが特徴だ。 【訂正：2019年7月4日10時50分　記事タイトルの一部に誤解を招く表現があり訂正しました。 訂正前：ディープラーニングを超える汎用AIツール→訂正後：ディープラーニングも使える確率的プログラミングツール】 マサチューセッツ工科大学（MIT）の研究チームは、2019年6月下旬に米アリゾナ州フェニックス市で開催されたカンファレンス「Programming Language Design and Implementation」で、新し

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 先日、こんな記事が上がっていました。 グーグルの天才AI研究者、ニューラルネットワークを超える「カプセルネットワーク」を発表 中々刺激的なタイトルですね。 ニューラルネットワークといえば、近年の機械学習分野を支える最も大きな技術の一つであると言えます。そんなニューラルネットワークを超えたカプセルネットワークとは一体何なのでしょうか。また、本当にニューラルネットワークを超えたのでしょうか。 本記事では、カプセルネットワークの仕組みを理解することで、従来のニューラルネットワークとの違いを比較していきます。 CNN カプセルネットワークに触れ

データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust）Pythonpandasデータ分析データ可視化pandas-profiling Pythonのpandas-profilingと、pixiedustの2つのライブラリを使うと、データの集計・グラフの作成が、感動的なほど早く終わることを実感したので共有します。 Excelでデータ集計・グラフ作成した場合と比較すると、体感で100倍くらい早く終わります（誇張ではなく） Pythonで爆速でデータ集計する方法（体感所要時間：5分） 前提： 以下の環境が整備されていることは、前提とします。 Pythonのインストール（約30分） データ分析に必要な各種ライブラリのインストール（約30分） →numpy, matplotlib, pandas, jupyter など →Anac

概要 強化学習のDQN(Deep Q-Network)について理解したので、ゆるくGopherくんを使って説明を試みました。 DQNは人間を打ち負かしたAlphaGoでも使われています。 強化学習は書籍もネットの記事も難解なものが多いので、なるべく図で具体的に記載しました。 強化学習とは ある状態における最適な行動を学習する、機械学習の手法の一つ。 モデル化 ゴーファーくんがケーキを食べるために、最適な行動を学習することを例に考えてみます。 The Go gopher was designed by Renée French. エージェント ある環境で動くプレーヤー → ゴーファーくん 状態（status） エージェントが置かれている状況 $S=\{s_1,s_2,s_3 \cdots \}$ → どのマスにゴーファーくんがいて、どのマスにケーキがあるか？ 各マスに１〜９の番号をふる ゴー