「TensorFlow 2.7」では、デバッグエクスペリエンスを大幅に改善し、スタックトレースの簡素化、カスタムKerasレイヤから発生したエラーでの追加のコンテキスト情報の表示、KerasとTensorFlowのすべてのエラーメッセージの幅広い監査といった変更が行われている。 スタックトレースの簡素化では、エラー時に表示されるスタックトレースをデフォルトでフィルタリングし、TensorFlow内部コードに由来するフレームを非表示にすることで、重要な情報のみを表示する。これによって、スタックトレースがより単純かつ短くなり、コードの問題を理解した修正が容易になる。なお、TensorFlowコードベース自体を実際にデバッグしている場合は、tf.debugging.disable_traceback_filtering()を呼び出すことでフィルタリングメカニズムをオフにできる。 カスタムKera

前提・実現したいこと ネットにあるチュートリアルを試してみるところですが， いきなりimportでエラーになります 環境は次のとおりです windows10（64bit） anaconda 5.3.1 python　3.7 TensorFlow　1.11（keras内蔵） Jupyter Notebookを利用 【コマンド】＞＞＞＞＞ import tensorflow from tensorflow import keras from keras.layers import Input, Dense ＜＜＜＜ 【エラー】＞＞＞＞＞ ModuleNotFoundError Traceback (most recent call last) <ipython-input-19-d63db0619a81> in <module> 1 import tensorflow 2 from tenso

連載目次 昨年10月、同タイトルの記事を公開して好評だった。今回は、2021年に向けた、そのアップデート記事となる。 ディープラーニング（深層学習）を実装する場合、専用のライブラリ／フレームワークを用いるのが一般的だ。ディープラーニングが流行してから直近5年ほどの間に、次々と新しいフレームワークが登場した。現在、主要なものを挙げると、 TensorFlow： 2015年登場、Google製。一番有名で、特に産業界で人気 Keras： 2015年登場、作者がGoogle社員。使いやすくて簡単。TensorFlow 2に同梱され標準API化 PyTorch： 2016年登場、Facebook製。この中では新興だが、特に研究分野で人気急上昇中 Chainer： 2015年登場、日本のPreferred Networks製。2019年12月に開発を終了し、PyTorchへの移行が推奨されている な

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo!広告 ディスプレイ広告エンジニアの川崎です。 ユーザーに最適な広告を配信するプラットフォームの開発をしています。 この記事では、広告配信にTensorFlow Servingを導入して生産性改善した事例をご紹介します。 Yahoo!広告 ディスプレイ広告とは？ Yahoo!広告では、Yahoo! JAPANのさまざまなサービスや提携パートナーサイトに広告を掲載できます。Yahoo!広告は、検索広告とディスプレイ広告に大別されます。本記事で扱うディスプレイ広告は、例えば以下の図ようにYahoo! JAPAN トップページなどに掲載される広告です。 広告配信の仕組み 広告配信システムの概略図を以下に示します。

最近の自然言語処理では、大規模なテキストから単語の分散表現や言語モデルを学習させて使っています。学習する際のテキストとしては、分量や利用しやすさの都合からWikipediaが選ばれることが多いですが、その前処理は意外と面倒で時間のかかる作業です。そこで、本記事では比較的最近リリースされた前処理済みのデータセット「Wiki-40B」とその使い方を紹介します。 Wiki-40Bとは？ Wiki-40Bは、40言語以上のWikipediaを前処理して作られたデータセットです。このデータセットは言語ごとに学習/検証/テスト用に分かれているので、単語分散表現や言語モデルの学習・評価に使えます。言語ごとの対応状況については、以下のページを参照するとよいでしょう。 wiki40b | TensorFlow Datasets 前処理としては、大きくは以下の2つに分けられます。 ページのフィルタリング ペー

連載目次 データセット解説 Reuters newswire classification dataset（ロイターのニュースワイヤー分類データセット。以下、Reuters newswire）は、ニュース配信テキストが「46分野のどのトピックに該当するか」を判定するために使える、テキスト分類／文書分類用データセットである（図1、詳細は後述するがReuters-21578のサブセットとなっている）。 図1　Reuters newswireデータセットの内容例 ※元々のデータセットの配布元： David D. Lewis氏のサイト「Reuters-21578 Text Categorization Test Collection」。また、UCI Machine Learning Repository「Reuters-21578 Text Categorization Collection Da

更新情報： 2021年5月に TensorFlow 2.5, OpenCV 4.5.1, Debian 11 Bullseyeに合わせて更新しプログラムを動作確認した ラズパイにUSBカメラを繋ぎ、Python 3上のOpenCVを用いて映像を取り込み、リアルタイムにTensorFlowで物体検出する手順です。Tensorflow HubのサンプルとTensorFlow Lite のサンプルを改変して用いて、それぞれ以下のような検出結果を表示します。ラズパイ依存部分は無いので、インテルCPUを積んだノードパソコンとかでも以下のプログラムは実は問題無く動作します（少なくともLinux稼働していれば~~（などといいつつ後半２つがインテルUbuntu 20.04で動作していなくて直せていない…😭）~~）。ARM特有の話として import cv2 をTensorFlow関連パッケージのimpo

日立製作所OSSソリューションセンタの横井です。今回は、画像認識を行うNode-REDのTensorflow.jsノードの使い方をご紹介します。 Tensorflow.jsとNode-RED TensorFlow.jsとは、TensorFlowのJavaScript実装です。TensorFlow.jsを用いることで、ブラウザ上やサーバサイドのNode.jsで学習や推論処理をリアルタイムに実行できます。また、Node-REDは、主にIoT向けに開発されたピジュアルプログラミングツールです。InfoQの記事によると、2020年のトレンドとしてTensorlow.jsはEarly Majority、Node-REDはEarly Adoptersという流行っている/流行りつつあるOSSとして位置付けられています。 本記事では、これらトレンドの2つのOSSを組み合わせて何ができるか見てみましょう。

PyTorch／TensorFlow／Keras／scikit-learnライブラリ内蔵のデータセット一覧：AI・機械学習のデータセット辞典 機械学習やディープラーニング用の主要ライブラリが提供する「画像／音声／テキストなどのデータセット」の名前とリンクを表にまとめ、典型的な使い方を簡単に紹介する。 連載目次 本連載「AI・機械学習のデータセット辞典」では、ここまで主に、scikit-learnやKeras／TensorFlow（tf.keras）、TensorFlow Datasets、PyTorchといった主要なPythonライブラリに共通的に含まれる代表的なデータセットを紹介し、各ライブラリでの典型的な実装コード例を示してきた。しかし、これらの全ライブラリに共通的に含まれているデータセットはまれで非常に少ない。よってこれからは、個々のライブラリに1つしか含まれていないようなこまごまと

こんにちは、GMOアドマーケティングのS.Rです。 TPUとはディープラーニングを高速化するために、Googleが開発したプロセッサーです。TPUの利用により、ディープラーニングのモデルのトレーニング時間を20倍以上改良する事が可能です。 TensorFlow 1.xでTPUを利用するAPIを提供していますが、TensorFlow 2.0ではこのAPIの利用方法が変更されました。 今回はTensorFlow 2.0でTPUを利用する方法を皆さんへご紹介します。 利用する環境 Googleが無料で提供している機械学習目的の研究用ツール【Colab】を利用します。 1 Colabのインスタンスを作る Colabを利用するために必要な最初のStepは、Colabのファイルを作る事です。 Google Driveの管理画面へ遷移し、新しいColabのファイルを作ります。 2 TPUを設定する 作成

連載目次 前々回と前回は、TensorFlow 2.x（2.0以降）の書き方を説明した。既に全3種類4通りの書き方を説明済みだが、基本はそれらで修了である。 今回は、応用編として残り2つの書き方を紹介する。※脚注や図、コードリストの番号は前回からの続き番号としている（前々回・前回・今回は、切り離さず、ひとまとまりの記事として読んでほしいため連続性を持たせている）。 今回の内容と方針について TensorFlowのメリットは、初心者向けからエキスパート向けまでさまざまな書き方が用意されており、誰でも簡単に学んで使いこなせるだけでなく、必要に応じて応用発展的な実装も可能なことである。 逆に、そのメリットがデメリットでもあり、人によって書き方が大きく違うこととなり、初心者から見ると理解の妨げになりやすい。例えばTensorFlowの公式チュートリアルやドキュメント、ネット上／GitHub上のサン

【DL輪読会】Perceiver io a general architecture for structured inputs &amp; outputs

TensorFlowを初期の頃から触っていて define-and-run の流儀にはそれなりに慣れてしまっていたけど、そろそろTensorFlowも2.0がreleaseされそうだし(2019.09時点で 2.0rc1) 新しいinterfaceも触っておかないと、と思って勉強してみた。 Effective TensorFlow 2.0 を読むと、major changesとして "Eager execution"、recommendationsとして"Keras layers and models"が紹介されている。 これからの時代はKeras APIを使ってEager executionでやっていく必要がありそうだ。 お題: 将棋駒画像の分類 昨年くらいから将棋の画像認識をやろうと思って 駒の画像データセットを作成 していた。今回はこれを使う。 各駒14種の先手・後手で28種、空白マ

スタンドアロンKerasとtf.kerasの違いとは？　～ #AskTensorFlow より～：TensorFlow 2＋Keras（tf.keras）入門 「スタンドアロンKerasとtf.kerasは何が違うのか？」「tf.kerasが、将来的にTensorFlowから削除される可能性はあるのか？」など、TensorFlow 2.0時代のKerasに関する一般的な疑問と、それへのTensorFlowチームメンバーからの回答をまとめる。

Microsoft Researchは2019年6月25日（米国時間）、データサイエンスやディープラーニング、強化学習向けにオープンソースのデバッグ／可視化ツール「TensorWatch」を発表した。TensorWatchは「Jupyter Notebook」で動作し、機械学習（ML）トレーニングのリアルタイム可視化や、モデルとデータの重要な分析タスクを実行する。 Microsoft ResearchはTensorWatchを、「研究者やエンジニアの仕事に役立つ先進的機能を数多く提供する、デバッグツールのスイスアーミーナイフ」とうたっている。2019年6月にスペインのバレンシアで開催された「ACM SIGCHI Symposium on Engineering Interactive Computing Systems」で、TensorWatchのプレゼンテーションを行ったという。 Mic

上記単語は、『現代日本語書き言葉均衡コーパス』語彙表サイトから短単位語彙表データを入手し、その「読み」の項目を使用。 https://pj.ninjal.ac.jp/corpus_center/bccwj/freq-list.html 後で学習データとして使うのに便利にするため、すべての読みをひらがなに変更後、以下のようなデータを削除（VOICEROIDがうまく読めなかったり、今回の目的にふさわしくないもの） ・「ひとつ（数）」「ひと・・・」のように。「(」や「・」を含む単語 ・「う゛」を含む単語 ・sortすると先頭にくる、制御文字や記号からはじまる単語 また、学習時にはinputを固定長にする必要があるため、15文字以上の単語は一括で削除した。 上記データに個人的に学習させたい固有名詞を含めた合計138423個をinput.txtに用意し、 以下のスクリプトでVOICEROID2による

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめての AI Google がめざす、誰もが使える機械学習

はじめての AI Google がめざす、誰もが使える機械学習

米Googleは3月6日（現地時間）、機械学習用データを安全に匿名化するツール「TensorFlow Privacy」をオープンソースでGitHubで公開した。 開発者は数行のコードを追加するだけで、AIモデルのプライバシーを強化できるという。GoogleがGmailのスマートリプライなどで採用している「差分プライバシー」技術に基づいている。差分プライバシー技術は、米Appleも「iOS 10」で利用している。差分プライバシーは、大まかに言えば、リアルなユーザーデータを個人が特定できないよう加工し、かつデータとしての有用性を保つ技術。 Googleは、TensorFlow Privacyを提供することで、開発者が自分の機械学習ツールの安全性を高め、改善することを支援したいとしている。 関連記事 GmailのスパムブロックにTensorFlowが活躍　1日1億件のスパムを削除中 Google