並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 67件

新着順 人気順

kerasの検索結果1 - 40 件 / 67件

kerasに関するエントリは67件あります。 機械学習TensorFlowpython などが関連タグです。 人気エントリには 『pythonを使った株価の自動収集 - Qiita』などがあります。
  • pythonを使った株価の自動収集 - Qiita

    Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up

      pythonを使った株価の自動収集 - Qiita
    • ビーフストロガノフはどのくらい強いのか - Qiita

      # !wget https://dl.fbaipublicfiles.com/fasttext/vectors-crawl/cc.ja.300.vec.gzで落とせます model = gensim.models.KeyedVectors.load_word2vec_format('cc.ja.300.vec.gz', binary=False) repat = re.compile(r'^[あ-ん\u30A1-\u30F4\u4E00-\u9FD0]+$') vocab_list = [w for w in list(model.vocab.keys())[10000:50000] if len(w) > 2 and repat.fullmatch(w) and w[-1] != 'っ' and w not in list(ww_df.word) and w not in list(sw

        ビーフストロガノフはどのくらい強いのか - Qiita
      • Wikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammer

        最近の自然言語処理では、大規模なテキストから単語の分散表現や言語モデルを学習させて使っています。学習する際のテキストとしては、分量や利用しやすさの都合からWikipediaが選ばれることが多いですが、その前処理は意外と面倒で時間のかかる作業です。そこで、本記事では比較的最近リリースされた前処理済みのデータセット「Wiki-40B」とその使い方を紹介します。 Wiki-40Bとは? Wiki-40Bは、40言語以上のWikipediaを前処理して作られたデータセットです。このデータセットは言語ごとに学習/検証/テスト用に分かれているので、単語分散表現や言語モデルの学習・評価に使えます。言語ごとの対応状況については、以下のページを参照するとよいでしょう。 wiki40b | TensorFlow Datasets 前処理としては、大きくは以下の2つに分けられます。 ページのフィルタリング ペー

          Wikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammer
        • 機械学習で画像の高画質化を試みる(備忘録)- Python3 - Qiita

          1.はじめに 最近、Twitterで「謎の技術で高画質化された画像」なるものがタイムラインにいくつか流れてきて興味が湧いたので、機械学習の勉強がてら画像の高画質化の方法を、僕のように「理屈無しで手っ取り早く機械学習に触れたい!」という人に向けて備忘録としてここに残しておくことにしました。 謎の技術でこれを高画質にするのは草 pic.twitter.com/HeBB7J8Q7D — koboのようなもの (@cinnamon_kobot) February 14, 2020 謎の解像度をあげる技術で僕らのぼっさんが高解像度に!!! pic.twitter.com/cjB0MM8Oqu — ろありす (@roaris) February 15, 2020 2.実行環境の構築 今回、この手の機械学習でよく用いられる「pix2pix」を使用しました。pix2pixはGANを用いた画像生成アルゴリズ

            機械学習で画像の高画質化を試みる(備忘録)- Python3 - Qiita
          • 【決定版】スーパーわかりやすい最適化アルゴリズム -損失関数からAdamとニュートン法- - Qiita

            オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください! 【決定版】スーパーわかりやすい最適化アルゴリズム 深層学習を知るにあたって、最適化アルゴリズム(Optimizer)の理解は避けて通れません。 ただ最適化アルゴリズムを理解しようとすると数式が出て来てしかも勾配降下法やらモーメンタムやらAdamやら、種類が多くあり複雑に見えてしまいます。 実は、これらが作られたのにはしっかりとした流れがあり、それを理解すれば 簡単に最適化アルゴリズムを理解することができます 。 ここではそもそもの最適化アルゴリズムと損失関数の意味から入り、最急降下法から最適化アルゴリズムの大定番のAdamそして二階微分のニュートン法まで順を追って 図をふんだんに使いながら丁寧に解説 し

              【決定版】スーパーわかりやすい最適化アルゴリズム -損失関数からAdamとニュートン法- - Qiita
            • 【入門】機械学習に1時間でコードレベルまで入門する方法 #Keras #SageMakerStudio | DevelopersIO

              皆さん、こんにちは。コンサル部のテウです。 2020年もあっという間に2ヶ月が経ちました。新年目標の達成進捗率はいかがでしょうか? 今年こそ機械学習に入門しようぜ!!って決心された方もいらっしゃると思います。なので、今回は機械学習に 爆速 で入門できる方法をご紹介させて頂きたいと思います。 本記事の手順通り、ランチタイム等の時間を活かして、手軽に入門してみてください。 目次 始める前に 皆さんのご存知の通り、機械学習を一瞬でマスターすることは不可能だと思います。ですが、手を動かして、可能な限りより早く技術を体験することはとても大事だと思います。技術を実際に体験して、何ができるかを確実に把握することにより、次のステップへのチャレンジのハードルも下がりますね。 本記事は、今まで SageMaker インスタンスを一度も起動してみたことがなかった方を対象として書かれております。この機会に是非Sa

                【入門】機械学習に1時間でコードレベルまで入門する方法 #Keras #SageMakerStudio | DevelopersIO
              • PyTorch/TensorFlow/Keras/scikit-learnライブラリ内蔵のデータセット一覧

                PyTorch/TensorFlow/Keras/scikit-learnライブラリ内蔵のデータセット一覧:AI・機械学習のデータセット辞典 機械学習やディープラーニング用の主要ライブラリが提供する「画像/音声/テキストなどのデータセット」の名前とリンクを表にまとめ、典型的な使い方を簡単に紹介する。 連載目次 本連載「AI・機械学習のデータセット辞典」では、ここまで主に、scikit-learnやKeras/TensorFlow(tf.keras)、TensorFlow Datasets、PyTorchといった主要なPythonライブラリに共通的に含まれる代表的なデータセットを紹介し、各ライブラリでの典型的な実装コード例を示してきた。しかし、これらの全ライブラリに共通的に含まれているデータセットはまれで非常に少ない。よってこれからは、個々のライブラリに1つしか含まれていないようなこまごまと

                  PyTorch/TensorFlow/Keras/scikit-learnライブラリ内蔵のデータセット一覧
                • 【ディープラーニング】機械学習初心者が競艇1位予想を作れるのか試してみた。 - Qiita

                  はじめに ディープラーニングの勉強を始めて1ヶ月。 基礎的なものは理解できた気がしてきたので、何かできないかと考えてみました。 そしてふと、この競艇の順位予想が思いつきました。 順位予想ができるという確信はありませんでしたが、ボートレースのデータのオープンソースが公開されていることがわかり、これはやってみるしかないと思いました。 参考にしたデータ元と特徴量 ↓データ元のサイトは下記リンクから飛ぶことができます。↓ BOTE RACE OFFICIAL タウンロード・他 選手のデータから勝率まで細かく載っているので学習させるにはちょうどいい情報量だと思います。 今回学習させるデータの種類は以下の通りです。 艇番 年齢 体重 級別 全国勝率 全国2率 当地勝率 当地2率 モーターナンバー モーター勝率 ボートナンバー ボート勝率 とりあえずこの情報量で学習させていきます。 選手番号を使うことも

                    【ディープラーニング】機械学習初心者が競艇1位予想を作れるのか試してみた。 - Qiita
                  • 普通のエンジニアが初めて動かすディープラーニング

                    @IT eBookシリーズ Vol.64『普通のエンジニアが初めて動かすディープラーニング』(画像クリックでeBookを表示) AI・機械学習・ディープラーニングはもはや、あなたのような「普通のエンジニア」にとっても「使えない」では済まされないトピックだ。しかし「どこから手を付ければよいのかが分からない」「書籍を読んだけど数式がたくさん出てきて、途中で読むのをやめてしまった」「書籍は何とか1冊読み切ったけど、やっぱり仕組みと挙動への理解が不十分で実践しづらい」という人は少なくないのではないだろうか? 本書は、『普通のエンジニアでも分かるディープラーニング概説:人気連載まとめ読み! @IT eBook(58)』の続編として、ディープラーニングの仕組みと実装方法を初心者向けに解説している。図解(「ニューラルネットワーク Playground - Deep Insider」という無料で動かせるW

                      普通のエンジニアが初めて動かすディープラーニング
                    • 第5回 お勧めの、TensorFlow 2.0最新の書き方入門(エキスパート向け)

                      どの書き方を採用すべきか 公式チュートリアルでは、「初心者向け」と「エキスパート向け」という2つのクイックスタートが用意されており、これは前掲の図における(1)と(4)に該当する。本連載ではそれに合わせて、初心者は(1)、初中級者以上は(4)をお勧めとしている。 (4)や(5)のSubclassing(サブクラス化)モデルは、「Pythonを使ってコーディングしている」感がより強まる。それに伴い、どうしてもコード量が飛躍的に増えがちである。しかしこれは、(1)や(2)のSequentialモデルだとメソッド内に隠蔽(いんぺい)されていた学習処理を細かく制御したり、柔軟なカスタマイズができたりするというメリットの裏返しでもある。 どの書き方にもメリット/デメリットはあるので、まずは使える書き方や、気に入った書き方から始めてみるのもよいだろう。特にKerasに慣れている人の中には、「(4)/(

                        第5回 お勧めの、TensorFlow 2.0最新の書き方入門(エキスパート向け)
                      • マルチバックエンドKerasの終焉、tf.kerasに一本化

                        マルチバックエンドKerasの終焉、tf.kerasに一本化:TensorFlow 2+Keras(tf.keras)入門 Kerasの公式サイト「keras.io」が完全リニューアル。Kerasのインストール方法やkerasモジュールのインポート方法に関する説明が変わった。「tf.kerasに一本化」とはどういうことなのかを解説する。

                          マルチバックエンドKerasの終焉、tf.kerasに一本化
                        • BERT(Keras BERT)を使用した文章分類を学習から予測まで紹介! | cloud.config Tech Blog

                          概要 絶賛フロントエンド勉強中の井上です。今回は自然言語処理界隈で有名なBERTを用いた文書分類(カテゴリー分類)について学習(ファインチューニング)から予測までを紹介したいと思います。本記事では実装ベースでお話しするので、「そもそもBERTって何?」という方は検索するか、参考URLを載せておくのでそこから飛んでいただけると助かります。 目次 事前準備 学習 評価 予測 参考文献 事前準備 Google Colaboratory 学習は膨大な計算量が必要なので、Google Colaboratoryを使用します https://colab.research.google.com/notebooks/welcome.ipynb?hl=ja 無料でTPU(Tensor Processing Unit)が使えるのでお得! googleさんありがとうございます TPUはIntelのHaswellと

                            BERT(Keras BERT)を使用した文章分類を学習から予測まで紹介! | cloud.config Tech Blog
                          • AI学習済みモデルの開発に使える無償のフレームワーク「SmallTrain ver.0.2.0」商用利用可能 | Ledge.ai

                            SmallTrainサイトのトップ画面 株式会社Geek Guild(ギークギルド)は11月9日、商用AI(人工知能)サービスのための、高精度なAI学習済みモデルの開発に使えるディープラーニング(深層学習)フレームワーク「SmallTrain(スモールトレイン)ver.0.2.0」のソースコードを公開したと発表。オープンソースなので、無償で誰でも利用できる。 SmallTrainは、ライブラリ機能とラッパー機能を兼ね備えたオープンソースフレームワーク。Kerasのように使えるという。多様なデータを学習済みのAIモデルを起点に、転移学習をするだけで、工数をかけずにAIを構築できるとのこと。 SmallTrainを使うと、精度を損なわず、大量のデータを取得する労力もいらず、ディープニューラルネットワークをすぐに開発できるという。MITライセンスに準拠しており、商用利用も可能だ。 需要と供給にあ

                              AI学習済みモデルの開発に使える無償のフレームワーク「SmallTrain ver.0.2.0」商用利用可能 | Ledge.ai
                            • keras-yolo3 で独自データセットに対して学習させる方法 - ほぼPython

                              宣伝 人工知能が顔面成分を分析してくれるサイトを作りました。ぜひ使ってみてください! ちなみにTensorflow.jsで作成しているのですべての処理がユーザーのブラウザで行われます。つまり、画像をアップしてもそれがサーバーに送られることはなく、セキュリティ的にも安心です。 ai-animal.web.app 何番煎じなんだって感じもしますが、まとめておきます。 「keras-yolo3で学習済みモデルを使って一般的な物体検出はできた」という方が対象です。 ちなみにkeras-yolo3とは物体検出を行う深層学習モデルYOLOv3をkerasで実装した有名なgitHubリポジトリのことです。 github.com さて、独自データセットで学習させるためには大きく分けて3つのことをする必要があります。(執筆時点) ・データのアノテーション ・train.pyによる学習 ・独自データによる学習

                                keras-yolo3 で独自データセットに対して学習させる方法 - ほぼPython
                              • 画像生成AI「Stable Diffusion」がTensorFlowとKerasCVで約30%高速になることが判明

                                機械学習プラットフォームのTensorFlowで実行される、Pythonで記述されたディープラーニング用APIが「Keras」です。このKerasを拡張して画像分類、物体検出、画像分割、画像データ補強などを行うためのモジュール式ビルディングブロック「KerasCV」を使うと、画像生成AIのStable Diffusionが約30%高速になるという報告が、KerasCVの開発者による研究チームからあがっています。 High-performance image generation using Stable Diffusion in KerasCV https://keras.io/guides/keras_cv/generate_images_with_stable_diffusion/ Stable Diffusionは2022年8月に一般公開されたオープンソースの画像生成AIで、入力した

                                  画像生成AI「Stable Diffusion」がTensorFlowとKerasCVで約30%高速になることが判明
                                • GitHub - google/magika: Detect file content types with deep learning

                                  You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                    GitHub - google/magika: Detect file content types with deep learning
                                  • 出きたてホヤホヤ!最新オプティマイザー「AdaBelief」を解説! - Qiita

                                    オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介していますので、人工知能のことをもっと知りたい方などは @omiita_atiimoをご覧ください! 他にも次のような記事を書いていますので興味があればぜひ! 【2020決定版】スーパーわかりやすい最適化アルゴリズム -損失関数からAdamとニュートン法- ついにAdamを超えた!最新の最適化アルゴリズム「RAdam」解説 新たな活性化関数「FReLU」誕生&解説! 2019年最強の画像認識モデルEfficientNet解説 画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説! SGD+Momentum(緑)とAdam(赤)とAdaBelief(青)の比較。青が一番早く収束していることがわかります。 "AdaBelief Optimizer: Adapting Stepsizes by th

                                      出きたてホヤホヤ!最新オプティマイザー「AdaBelief」を解説! - Qiita
                                    • 学習済みの一般物体検出(YOLOv3)をPC上で動かしてみた - ハードウェア技術者のスキルアップ日誌

                                      前回のYOLOv2に引き続き、今回はYOLOv3を動かすことにチャレンジしましたので、実施内容を記録しておきます。 masaeng.hatenablog.com フレームワークはKerasを用います。 動作環境 OS:Windows 10 Home (64bit) Python 3.5 Anaconda 4.2.0 Keras 2.2.4 手順 ①GITHUBに上がっているこちらの学習済みモデルをダウンロードし、任意の場所に解凍します。 https://github.com/mashyko/keras-yolo3 <学習済みモデル> 入力画像サイズ:416x416 学習データセット:COCO classes 検出クラス:80クラス "person", "bicycle", "car", "motorbike", "aeroplane", "bus", "train", "truck", "

                                        学習済みの一般物体検出(YOLOv3)をPC上で動かしてみた - ハードウェア技術者のスキルアップ日誌
                                      • Googleのオープンモデル Gemma の概要|npaka

                                        以下の記事が面白かったので、簡単にまとめました。 ・Gemma: Introducing new state-of-the-art open models 1. Gemma「Gemma」は、「Gemini」と同じ技術を基に構築された、軽量で最先端のオープンモデルです。「Google DeepMind」と「Google」の他のチームによって開発された「Gemma」は、「Gemini」からインスピレーションを受けており、その名前はラテン語で「宝石」を意味するgemmaを反映しています。モデルの重み付けに伴い、開発者のイノベーションをサポートし、コラボレーションを促進し、「Gemma」の責任ある使用をガイドするためのツールもリリースします。 「Gemma」は本日より世界中で利用可能になります。 知っておくべき重要な詳細は次のとおりです。 ・「Gemma 2B」「Gemma 7B」の2つのサイズの

                                          Googleのオープンモデル Gemma の概要|npaka
                                        • 【強化学習】ついに人間を超えた!?Agent57を解説/実装してみた(Keras-RL) - Qiita

                                          強化学習の評価でよく使われるAtariのゲームですが、ついに57全てのゲームで人間を超えた手法が現れたようです。 早速実装してみました。 ※ネット上の情報をかき集めて自分なりに実装しているので正確ではない点はご了承ください ※解釈違いの内容がある可能性もご注意ください(理解が追いついていない部分があります) コード全体 本記事で作成したコードは以下です。 github GoogleColaboratory(実行結果付き) ※GoogleColaboratoryはmultiprocessingの相性が悪いらしく1Actorのみの学習となります) ※MountainCarの学習をのせています 追記:自作フレームワークを作成しています。そちらの実装の方が正確なコードとなります。 目次 構成としては前半が技術解説で後半が実装の説明になります。 Agent57とは NGU(Never Give Up

                                            【強化学習】ついに人間を超えた!?Agent57を解説/実装してみた(Keras-RL) - Qiita
                                          • 「Core ML Tools実践入門」という本を書きました #技術書典 - その後のその後

                                            iOS×機械学習といえばCore ML。既製のCore MLモデルを扱うのは非常に簡単なのですが、 TensorFlowやKeras等の機械学習ツールで作成した独自モデルをCore MLモデルに変換したい モデルサイズを小さくしたい 複数サイズの入力をサポートしたい オンデバイスで更新できるようにしたい 等々、つまり 自分でCore MLモデルをつくりたい・カスタマイズしたい場合にはCore ML Tools(coremltools)を使いこなすことが不可欠 です。 が、こんなに重要なツールなのに意外にも情報が少なく、日本語情報どころか英語の公式ドキュメントすら全然網羅的ではありません。 というわけで自分で勉強しつつ書いた本がこちらです1。 Core ML Toolsの利用方法を実践形式でさまざまなモデルをつくりながら学んでいきます。最初はわずか2行のコードで変換することからはじめてCor

                                              「Core ML Tools実践入門」という本を書きました #技術書典 - その後のその後
                                            • ディープラーニングモデルを自動構築するAutoML OSS「AutoKeras」

                                              ディープラーニングモデルを自動構築するAutoML OSS「AutoKeras」:AutoML OSS入門(7)(1/3 ページ) AutoML OSSを紹介する本連載第7回は、KerasベースのAutoML OSSである「AutoKeras」を解説します。AutoKerasは、ENAS(Efficient Neural Architecture Search)によりニューラルネットワークの構造設計とハイパーパラメーターチューニングを自動で行うツールです。

                                                ディープラーニングモデルを自動構築するAutoML OSS「AutoKeras」
                                              • 第9回 機械学習の評価関数(回帰/時系列予測用)を使いこなそう

                                                連載目次 前々回は回帰問題、前回は分類問題の解き方を解説した。それぞれの評価時における精度指標(Metrics)として、回帰問題では平均絶対誤差(MAE)を、分類問題では正解率(Accuracy)を用いた。これらは、最も基礎的で一般的な評価関数(Metric function)である。実践では、より多様な評価関数を使い分けることになるだろう。 そこで今回は、回帰問題や時系列予測(後述)で使える代表的な評価関数をまとめる。具体的には、下記の7つの評価関数を説明する。 本稿は、一通り目を通すことでざっくりと理解したら、あとは必要に応じて個別に参照するという「辞書的な使い方」を推奨する。といっても、上記の順番で違いを意識しながら理解すればそれほど難しくはないので安心してほしい。 時系列予測について 本連載では、ここまで回帰(Regression)と分類(Classification)については説

                                                  第9回 機械学習の評価関数(回帰/時系列予測用)を使いこなそう
                                                • 11月新刊情報『scikit-learn、Keras、TensorFlowによる実践機械学習 第2版』

                                                  11月新刊情報『scikit-learn、Keras、TensorFlowによる実践機械学習 第2版』 Aurelien Geron 著、下田 倫大 監訳、長尾 高弘 訳 2020年11月4日発売予定 832ページ ISBN978-4-87311-928-1 定価5,280円(税込) 本書はコードを動かしながら学び、機械学習が使えるようになることを目的とした書籍です。現実的な問題を出し、サンプルデータを示しながら、機械学習で問題を解決に導くまでの一連の手法を体系立てて解説します。 深層学習以外の機械学習にはscikit-learnを使い、機械学習プロジェクトの流れ、データからモデルを学習する方法、データの処理・クリーニングなどの基礎から、特徴量の選択や過学習、データの次元削減など応用までを学びます。深層学習にはTensorFlowとKerasを使い、ニューラルネットワークの構築と訓練、ニュ

                                                    11月新刊情報『scikit-learn、Keras、TensorFlowによる実践機械学習 第2版』
                                                  • SciSharp STACK

                                                    A .NET based Open Source Ecosystem for Data Science, Machine Learning and AI SciSharp brings all major ML/AI Frameworks from Python to .NET .NET developers are most productive with the tools they know and love. Our mission is to make sure that they don't have to leave that behind when reaching for opportunities in Data Science Machine Learning and AI. The well established Python based Machine Lear

                                                    • tf.kerasが終了 Keras 3がTensorFlowから独立し、マルチバックエンド復活!

                                                      tf.kerasが終了 Keras 3がTensorFlowから独立し、マルチバックエンド復活!:TensorFlow 2+Keras(tf.keras)入門 TensorFlow+Kerasの最新情報として、Keras 3.0のリリースに伴い、TensorFlowから独立し、TensorFlow 2.16以降でKeras 3がデフォルトとなったことについて紹介します。また、Keras 3(TensorFlowバックエンド)での書き方や、今後のディープラーニングライブラリの選び方についても私見を示します。 連載目次 もう4年も前になりますが、2020年5月に「マルチバックエンドKerasの終焉(しゅうえん)、tf.kerasに一本化」という記事を書きました。しかしその後、逆の動きが起きています。本稿では、前回の記事をフォローアップする目的も兼ねて、最新の状況をお伝えします。 そもそもKer

                                                        tf.kerasが終了 Keras 3がTensorFlowから独立し、マルチバックエンド復活!
                                                      • Why I Switch From Keras to PyTorch

                                                        Image edited by Author for the icon taken from the official site of PyTorch and KerasThe war between Deep Learning Frameworks is still on fire, which one that will gain more masses, it will be the next game-changer for the deep learning community in future. The loser one will fade in if they can’t survive by giving the best solution for the deep learning community and the world. The first framewor

                                                          Why I Switch From Keras to PyTorch
                                                        • 第10回 機械学習の評価関数(二値分類用)の基礎を押さえよう

                                                          では、早速1つずつ説明していこう。今回はこれまでの連載の中でも比較的難しめであるので、理解できない部分があれば時間をかけて何度も読むなどして頑張ってほしい。 二値分類用[基礎編](Binary classification) 混同行列(Confusion Matrix)について 二値分類の評価関数を理解するには、まずは混同行列(Confusion Matrix)を知っておく必要があるので、最初に説明させてほしい。簡単そうで間違いやすいところなので、冗長になるが例を使って丁寧に説明する。 二値分類の問題に対する学習済みモデルの予測結果を評価して、正解率(何%正解か)を算出することを考えてみよう。二値分類の一方の値が例えば「YES(1.0)」で、もう一方が「NO(0.0)」であるとする(例えばタイタニック号乗客者の生存状況で生存がYES、死亡がNOなど)。予測値がYESのとき、正解値がYESな

                                                            第10回 機械学習の評価関数(二値分類用)の基礎を押さえよう
                                                          • Google ColaboratoryのTPUランタイムを使ってKeras Tunerでパラメタ探索

                                                            この記事は  GMOアドマーケティングAdvent Calendar 2020   23日目の記事です。 みなさんこんにちは、GMOアドマーケティングのM.H.と申します。 突然ですがみなさんは機械学習する時にどのような環境で実行していますか?Google Colaboratoryでは、制限はありますが無料でTPUを使用し、高いパフォーマンスで学習を進めることができます。 今回はこのTPUを使って、モデル内のハイパーパラメータを自動で探索してくれるKeras Tunerを使っていく方法と注意点についてお話しします。 そもそも、TPUとは TPU(Tensor Processing Unit)とは、Googleが開発した機械学習特化型のプロセッサのことで、基本的にGPUよりも高速で学習を進めることができます。計算量が多く、バッチサイズが大きい場合に特にその効果を発揮します。 私たちがこのパワ

                                                              Google ColaboratoryのTPUランタイムを使ってKeras Tunerでパラメタ探索
                                                            • TensorFlow, Kerasの基本的な使い方(モデル構築・訓練・評価・予測) | note.nkmk.me

                                                              TensorFlow(主に2.0以降)とそれに統合されたKerasを使って、機械学習・ディープラーニングのモデル(ネットワーク)を構築し、訓練(学習)・評価・予測(推論)を行う基本的な流れを説明する。 公式ドキュメント(チュートリアルとAPIリファレンス) TensorFlow 2.0(TF2)でモデルを構築する3つの方法 データの読み込み(MNIST手書き数字データ) Sequential APIによるモデルの構築 訓練(学習)プロセスの設定: Model.compile() 訓練の実行: Model.fit() 学習済みモデルの評価: Model.evaluate() 学習済みモデルを使った予測(推論): Model.predict() 学習済みモデルの保存と復元: Model.save() Functional APIによるモデル構築 Subclassing API(Model Su

                                                                TensorFlow, Kerasの基本的な使い方(モデル構築・訓練・評価・予測) | note.nkmk.me
                                                              • 第11回 機械学習の評価関数(二値分類/多クラス分類用)を理解しよう

                                                                評価関数については今回で最後となるので、ぜひ頑張って今回の分まで読み終えて、機械学習/ディープラーニングにおける代表的な評価関数を一通り押さえてほしい。本稿の最後では、TensorFlow/Keras(tf.keras)のcompile()&fit()メソッドを使った場合に「評価」を実行するための基本的な方法も紹介する。 二値分類用[応用編](Binary classification) 今回のLogLossとAUCは前々回と前回ほど評価関数の数式がシンプルではない。少し回り道になってしまうが、数式の意味をより深く理解するために、順序立ててグラフなどを示しながら説明していくのでお付き合いいただけるとうれしい。 LogLoss(Binary Logarithmic Loss) 前回は二値分類用の正解率を解説した。正解率の場合、モデルからの出力結果は(基本的に)陽性(Positive、正例、例

                                                                  第11回 機械学習の評価関数(二値分類/多クラス分類用)を理解しよう
                                                                • Detecting COVID-19 in X-ray images with Keras, TensorFlow, and Deep Learning - PyImageSearch

                                                                  Deep Learning Keras and TensorFlow Medical Computer Vision Tutorials by Adrian Rosebrock on March 16, 2020 In this tutorial, you will learn how to automatically detect COVID-19 in a hand-created X-ray image dataset using Keras, TensorFlow, and Deep Learning. Like most people in the world right now, I’m genuinely concerned about COVID-19. I find myself constantly analyzing my personal health and wo

                                                                    Detecting COVID-19 in X-ray images with Keras, TensorFlow, and Deep Learning - PyImageSearch
                                                                  • ディープラーニング実践ガイド

                                                                    本書では、ディープラーニングの研究で受賞歴のある3人の著者が、アイデアを現実世界の人々が使用できるものに変換するプロセスをステップバイステップで丁寧に解説します。構築するのは、クラウド、モバイル、ブラウザ、エッジデバイス向けの実用的なディープラーニングアプリケーションです。一部の章ではその章で扱うトピックの専門家をゲスト執筆者に迎えてさまざまな手法を解説しているので、読者のニーズにマッチするアプリケーションがきっと見つかるでしょう。対象読者は、ディープラーニングの世界にこれから参入したいソフトウェアエンジニアやベテランのデータサイエンティストから、AIを搭載した独自のアプリを作りたいけれど何から始めればいいのかわからないホビーストまで。 賞賛の声 監訳者まえがき まえがき 1章 人工知能の概観 1.1 おわび 1.2 ここからが本当のイントロダクション 1.3 AIとは 1.3.1 きっか

                                                                      ディープラーニング実践ガイド
                                                                    • TensorFlow 2.0でTPUを利用する

                                                                      こんにちは、GMOアドマーケティングのS.Rです。 TPUとはディープラーニングを高速化するために、Googleが開発したプロセッサーです。TPUの利用により、ディープラーニングのモデルのトレーニング時間を20倍以上改良する事が可能です。 TensorFlow 1.xでTPUを利用するAPIを提供していますが、TensorFlow 2.0ではこのAPIの利用方法が変更されました。 今回はTensorFlow 2.0でTPUを利用する方法を皆さんへご紹介します。 利用する環境 Googleが無料で提供している機械学習目的の研究用ツール【Colab】を利用します。 1 Colabのインスタンスを作る Colabを利用するために必要な最初のStepは、Colabのファイルを作る事です。 Google Driveの管理画面へ遷移し、新しいColabのファイルを作ります。 2 TPUを設定する 作成

                                                                        TensorFlow 2.0でTPUを利用する
                                                                      • 細工した分類器を利用した任意のコード実行 | 技術者ブログ | 三井物産セキュアディレクション株式会社

                                                                        TensorFlow models are programs. これは、著名な機械学習プラットフォームであるGoogle TensorFlowの「Using TensorFlow Securely」の冒頭に記載されている文言です。 TensorFlowには、学習済みの機械学習モデル(以下、分類器)をファイルに書き出す、または、学習済み分類器をファイルから読み込む機能が備わっています。これにより、一度学習して作成した分類器の再利用や、分類器の第三者への配布を可能にしています。しかし、もし第三者から提供された学習済み分類器が悪意を持って作られていたらどうでしょうか? TensorFlowの学習済み分類器には、学習済みの重みやバイアス、Optimizerなどを含めることができるほか、Lambdaレイヤを使用することで任意の関数をも含めることができます。当然ながら、任意の関数には任意のコードを記述

                                                                          細工した分類器を利用した任意のコード実行 | 技術者ブログ | 三井物産セキュアディレクション株式会社
                                                                        • CIFAR-100:物体カラー写真(動植物や機器、乗り物など100種類)の画像データセット

                                                                          CIFAR-100:物体カラー写真(動植物や機器、乗り物など100種類)の画像データセット:AI・機械学習のデータセット辞典 データセット「CIFAR-100」について説明。6万枚の物体カラー写真(動植物や機器、乗り物など100種類)の「画像+ラベル」データが無料でダウンロードでき、画像認識などのディープラーニングに利用できる。Keras/tf.keras、TensorFlow、PyTorchにおける利用コードも紹介。

                                                                            CIFAR-100:物体カラー写真(動植物や機器、乗り物など100種類)の画像データセット
                                                                          • PyTorchモデルをモバイルやエッジで利用するための方法の整理 - ほろ酔い開発日誌

                                                                            はじめに 最近では、Deep LearningのライブラリとしてPyTorchが利用される機会が多くなっています。私自身も以前はTensorflow/Kerasを利用していましたが、現状はPyTorchを使うことがほとんどです。 しかし、PyTorchは実装がしやすいものの、モバイルやエッジデバイスへのデプロイを考える上では不安な点が残ります。今回は、PyTorchを様々なプラットフォーム上で利用することを考えたときにどのような方法があるかを整理します。 モバイル 選択肢の整理 現在、モバイル (iOS/Android)へのデプロイを考えるときにメジャーな選択肢が3つあります。 Core ML (Apple) PyTorchをonnxに変換し、onnxをcoreMLに変換する Tensorflow Lite (Google) PyTorchをonnxに変換し、Tensorflow/Kera

                                                                              PyTorchモデルをモバイルやエッジで利用するための方法の整理 - ほろ酔い開発日誌
                                                                            • http://arxiv.org/pdf/2009.05673

                                                                              • Reuters newswire:ロイターのニュース記事のトピック分類データセット

                                                                                連載目次 データセット解説 Reuters newswire classification dataset(ロイターのニュースワイヤー分類データセット。以下、Reuters newswire)は、ニュース配信テキストが「46分野のどのトピックに該当するか」を判定するために使える、テキスト分類/文書分類用データセットである(図1、詳細は後述するがReuters-21578のサブセットとなっている)。 図1 Reuters newswireデータセットの内容例 ※元々のデータセットの配布元: David D. Lewis氏のサイト「Reuters-21578 Text Categorization Test Collection」。また、UCI Machine Learning Repository「Reuters-21578 Text Categorization Collection Da

                                                                                  Reuters newswire:ロイターのニュース記事のトピック分類データセット
                                                                                • Python以外でもDeep Learningしたい! - Qiita

                                                                                  はじめに この記事は、NTTテクノクロス Advent Calendar 2019 の23日目です。 こんにちは、NTTテクノクロスの広瀬と申します。業務では高精細VR配信エンジン1や機械学習による画像認識AIエンジンの研究開発に取り組んでいます。 今回はちょっと技術や開発から離れて、Deep Learningを組み込んだアプリ開発現場で、速度を求めたりGUIが欲しかったりとアプリ開発はPython以外で開発したい時はどうするの?といった疑問を解決する入口部分に触れていきたいと思います。 入門書を読み終わってアプリを作ろう!という方の、次の勉強ステージ選択の手助けになれれば幸いです。 我々はPythonに縛られている 世の中にはTensorFlowやPyTorch/ChainerといったDeep Learningを扱うフレームワークは数多く存在するのですが、開発にあたってはPythonを前

                                                                                    Python以外でもDeep Learningしたい! - Qiita

                                                                                  新着記事