TensorFlowで株価予想シリーズ 0 - Google のサンプルコードを動かしてみる 1 - 終値が始値よりも高くなるかで判定してみる 2 - 日経平均225銘柄の株価予想正解率ランキング〜 3 - 日本3506銘柄の株価予想ランキング 4 - 実際に売買したら儲かるのかシミュレーションしてみる 5 - 大きく上がると予想されたときだけ買ってみるシミュレーション 6 - 学習データの項目を増やす！隠れ層のサイズも増やす！ 7 - 株価が何%上昇すると予測したら買えばいいのか？ 8 - どの銘柄を買うか 9 - 年利6.79% はじめに これまで学習データやパラメーターなどを調整してきてなんとか黒字になる状態にもってきました。そして前回、日経平均２２５の銘柄の中から優れた成績を残せる３０銘柄を抽出しました。株価予想シリーズの最後として、この銘柄を使用した売買シミュレーションを行います

TL;DR ①TensorFlow版訓練済みモデルをPyTorch用に変換した (→方法だけ読みたい方はこちら) ②①をスムーズに使うための torchtext.data.Dataset を設計した ③PyTorch-Lightningを使ってコードを短くした はじめに 日本語Wikipediaで事前学習されたBERTモデルとしては, 以下の2つが有名であり, 広く普及しています: SentencePieceベースのモデル (Yohei Kikuta さん提供) TensorFlow版 Juman++ベースのモデル (京大黒橋研提供) TensorFlow版 PyTorch版(Hugging Face transformers準拠) このうち, SentencePieceベースのものは現在TensorFlow版のみの提供となっており, PyTorch版は存在しません。 そのため, 私のよう

こんにちは。次世代システム研究室のT.I.です。 今回は近年、発展の著しい機械学習の分野として、自然言語処理について簡単に紹介し、鍵とな技術や最近の潮流についても手短にはありますが触れたいと思います。 自然言語処理とは？ 文章を他の言語に翻訳したり、文章を生成したり、文章を読んで質問に答えるなど、自然言語処理のタスクは多岐に渡ります。 機械は言葉の意味をどう学習するか？ 文章を機械学習モデルに入力するためには、文章を単語に分割し、それぞれに何らかのラベル割り振って入力します。しかし、これだけでは無味乾燥なラベルに過ぎず、文脈のなかで単語の持つ意味という情報を適切に処理することが必用となります．単語の意味というものは、どのようにして抽出すればよいのでしょうか？ひとの手で、同義語や反語などの辞書を作ることにはコストや曖昧さが残ります。 近年ではインターネットの発展により利用可能となった膨大なテ

この記事では機械学習パイプラインを本番環境にデプロイするためのエンドツーエンドなプラットフォームの提供を目指す、TFXについて述べます。 TL;DR The TFX User Guide が一番詳しいのでこれを読みましょう。 TFX とは TensorFlow Extended (TFX) は次の3つのうちのいずれかを指します。 機械学習パイプラインの設計思想 設計思想に基づいて機械学習パイプラインを実装するためのフレームワーク フレームワークの各コンポーネントで用いられるライブラリ 以降ではまず、設計思想としての TFX に触れ概略を紹介します。次に、設計思想に基づき、コンポーネントを機械学習パイプラインとしてまとめ上げ、構築を行うライブラリについて紹介します。最後に、各コンポーネントで用いられるライブラリを見ることで、それぞれのライブラリが提供する機能について紹介します。 設計思想とし

第3回　ディープラーニング最速入門 ― 仕組み理解×初実装（後編）：TensorFlow 2＋Keras（tf.keras）入門（1/3 ページ） いよいよ、ディープラーニングの学習部分を解説。ニューラルネットワーク（NN）はどうやって学習するのか、Pythonとライブラリではどのように実装すればよいのか、をできるだけ簡潔に説明する。

10月28日から31日にかけて、アメリカ・サンタクララで開催された「TensorFlow World 2019」の様子を、現地から速報します。 こんにちは。 CDTO の太田です。10月28日から31日にかけて開催されたTensorFlow World 2019に参加してきたので、その様子を報告します。 開催概要 TensorFlow World は、 Oreilly社主催の TensorFlow に関するイベントです。これまで TensorFlow のイベントと言えばTensorFlow Dev Summitがありましたが、こちらは完全に開発者のためのものでしたが、今回開催された TensorFlow World は、より多くの方をターゲットとしたイベントです。 開催場所はサンタクララ、開催期間は 10月28日 - 10月31日 の4日間で、前半2日間はチュートリアルとハンズオントレーニ

TensorFlow User Group のイベント情報などを掲載しています。

はじめに 今流行りのディープラーニング(深層学習)ですが、いざ自分でやってみると思ったように精度が出なかったり、重みの初期化や学習率をどのように選択したらよいのか、といったことで戸惑うことがよくあります。 重みの初期化や学習率といった、ニューラルネットではなく人間が選択しなければいけないパラメータをハイパーパラメータ(Hyperparameter)と呼びます。逆に言えば、ハイパーパラメータとは学習アルゴリズムによって決定できず、ヒューリスティックな部分でもあります。 ハイパーパラメータは試行錯誤で決定していくのが基本ですが(もちろん自動化技術もあります)、50年以上の歴史があるニューラルネットには知恵やテクニックが多くの先人によって培われてきました。そして、今もなお研究が盛んに行われている分野でもあります。 あとで参照しやすいように本記事では、ハイパーパラメータの指南をまとめてみました。

概要 Kerasで提供されているVGG16という大規模な画像で学習済みのモデルを活用して、ご注文はうさぎですか？（略称 ごちうさ）に登場する主要キャラクター5名の画像を分類するモデルを作成します。 この学習済みモデルを使用して少ないデータセットで、かつ比較的短時間で学習できる手法をFine-tuningといいます。 用語解説 Tensorflow ･･･ Googleが開発しオープンソースで公開している、機械学習に用いるためのソフトウェアライブラリ。 Keras ･･･ オープンソースのニューラルネットワークライブラリ。バックエンドでTensorflowも動かせる。 VGG16 ･･･ ImageNetと呼ばれる大規模な画像データセットを使って学習された16層からなるニューラルネットワークモデル。 ご注文はうさぎですか？ ･･･ まんがタイムきららMAXで連載中の漫画。アニメ化もされた人気

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? DeepLearningは最近ブームであり,その有名なライブラリとしてTensorflowがあります． この記事ではDeepLearningの基本的な部分を数式を使って書き下すこととTensorflowの使い方を紹介します. 今更っていう気もしますが…，そこは気にしないでおくことにします 主な対象はベクトル空間やテンソル積等をある程度知っているけれど，DeepLearningは知らない人です. なので表記も大学の数学でよく出てくるものしています. なおニューラルネットワークの積分表現には触れません. 三層パーセプトロン ニューラルネット

「機械学習に興味あるけど、なかなか自分でアプリを作るところまでできない…･･･」 本連載では、そんな方を対象に、気軽に機械学習を使ったアプリを作れるようなサンプルを紹介していきます。 興味があるけどなかなか着手できていなかった方、一度チャレンジしてみたけれど難しくて挫折してしまった方、またはすでに取り組んでいて、もっといろんなアプリを作ってみたい方は、ぜひ本連載で紹介するアプリを一緒に作ってみてください。 本連載では、前半ではAPIサービスを、後半ではライブラリを使って、機械学習を使ったアプリのサンプルを紹介していきます。APIサービスとしてはGoogleのGoogle Cloud Platformで提供されているAPIサービスを使い、ライブラリとしては、オープンソースとして提供されているTensorFlowを使います。 阿佐志保 TIS株式会社 戦略技術センター所属。金融系シンクタンクで

HTML5 Conference 2016で発表予定の資料です。 http://events.html5j.org/conference/2016/9/ 変更履歴 2016/08/19 v1.0 公開 2016/08/20 v1.1 誤差関数の数式修正Read less

機械学習ライブラリ「TensorFlow」と、オープンソースのシステムトレードフレームワーク「Jiji」を組み合わせて、機械学習を使った為替(FX)のトレードシステムを作るチュートリアルです。 システムのセットアップからはじめて、機械学習モデルの作成、トレーニング、それを使って実際にトレードを行うところまで、具体例を交えて解説します。 システム構成 次のようなシステムを作ります。 Jijiのバックテスト機能を使ってトレードデータを収集。これをTensorFlowに入力してモデルをトレーニングします。 予測する内容については後述。 訓練したモデルを使って予測結果を返すREST APIを作り、トレード時にJijiから呼び出して使います。 レート情報の取得やトレードには、OANDA REST API を利用 トレード状況の確認やアルゴリズムの管理は、ブラウザ or スマホアプリで 外出先でも状況

【Pythonデータ分析勉強会#33】「DearPyGuiに入門しました」の続き～Image-Processing-Node-Editor～

動機 elix-tech.github.io の記事を読んで、「可視化」の項が面白いなーと思って。 引用されている図によると、人間の目にはまったく出力クラスとは関係なさそうに見える画像でもCNNによる分類器は騙されてしまう、ということのようだ。 なるほど分類モデルの方を固定しておいて入力を変数として最適化していけば任意の出力に最適な入力を得ることができるのか、と。 自分でもやってみることにした。 分類モデル TensorFlowによるDeep Learningでのアイドル顔識別モデルの性能評価と実験 - すぎゃーんメモ の記事で使ったモデルとデータセットで、ここではCross Validation用にデータを分けずに7,200件すべてを学習に使い20,000 step進めたものを用意した。 このモデルは学習したアイドルたちの顔画像に対してはかなりハッキリと分類できるようになっていて、試しに

Googleが出したTensorflow，盛り上がり具合がやばいですね。 githubのスター数とかを見ていると，スタンダードであるChainerとかCaffeとかを(盛り上がり具合だけは)軽く越えてしまった感じ。 というわけで，MNISTの(畳み込みしているほうの)サンプルをざっと読んでみました。 備忘録がてらメモしようかな，と思ってブログにしてみます。 自分は初心者なので，まぁそのレベルで色々注をつけて行こうと思います。 Tensorflowの良かったところ 最初に，Tensorflowの良かったところを。 大規模処理で並列化とかが楽らしいんですけど，正直よく分からないです笑 コードを見て思ったのは，必要な部分だけが厳密に書かれているなーと思いました。 低い次元の記述する必要のないものはしっかり隠して，必要な記述はちゃんと書かれているってのが自分みたいな初学者には良いと思います。Cha

https://78b88514d287ef16c8a41cdbf4.doorkeeper.jp/events/43887

アイドル顔識別のためのデータ収集 をコツコツ続けて それなりに集まってきたし、これを使って別のことも…ということでDCGANを使ったDeep Learningによるアイドルの顔画像の「生成」をやってみた。 まだだいぶ歪んでいたりで あまりキレイじゃないけど…。顔画像を多く収集できているアイドル90人の顔画像からそれぞれ120件を抽出した合計10800件をもとに学習させて生成させたもの。 分類タスクとは逆方向の変換、複数のモデル定義などがあってなかなか理解が難しい部分もあったけど、作ってみるとそこまで難しくはなく、出来上がっていく過程を見るのが楽しいし とても面白い。 DCGANとは "Deep Convolutional Generative Adversarial Networks"、略してDCGAN。こちらの論文で有名になった、のかな？ [1511.06434] Unsupervise

3. 3 会話AI 2016/2/15 C8Lab Copyright 2014 C8Lab Inc. All rights reserved MichroSoft社 女子高生会話AI 「りんな」 http://rinna.jp/rinna/  LINEやTwitterなどのチャットロボット に活用されている。  ゲームのNPCなどにも活用可能。  会話エンジンを用いた雑談APIなども 存在。  「うずら」、「もずく」、「りんな」等。  様々な種類のアルゴリズムの会話AI が存在するが、なかなか技術は公開 されていない。 4. 4 会話AIの種類 2016/2/15 C8Lab Copyright 2014 C8Lab Inc. All rights reserved  辞書型 辞書に登録されたテンプレに応じて会話を行う。 ○○を買ってきた よ！ ○○大好き！ こんにちは！ こ

ブログまとめ的な内容のLT