Leafmap offers a wide range of features and capabilities that empower geospatial data scientists, researchers, and developers to unlock the potential of their data. Some of the key features include: Creating an interactive map with just one line of code: Leafmap makes it easy to create an interactive map by providing a simple API that allows you to load and visualize geospatial datasets with minim

ユニクロの株価予測 公開データから2012年から2016年までのユニクロの株式情報に関するデータセットを用いて簡単な株価予測をします。 株価予測をするにあたって、「現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル」を参考にさせていただきました。 1. データセットの取り込み 必要なライブラリをインポートします。 %matplotlib inline import datetime import numpy as np import matplotlib.pyplot as plt import pandas as pd import sklearn import sklearn.linear_model import sklearn.model_selection ダウンロードしたデータセットの中身は以下のような状態で、データ

今回はpythonを用いて日経平均株価の推移を予測してみようと思います。コードの詳しい解説などは参考にさせていただいた記事にありますのでこちらをご覧ください。 この記事では実装した際に躓いた点や、ちょっとした工夫を解説します。 サンプルコード import numpy as np import pandas as pd import matplotlib.pyplot as plt import sys from fbprophet import Prophet from fbprophet.diagnostics import cross_validation from fbprophet.diagnostics import performance_metrics from fbprophet.plot import plot_cross_validation_metric data

Prophetは、Facebookが開発した時系列予測ライブラリです。この予測手法は、時系列データy(t)をトレンド(t)+季節性(t)+イベント(t)+誤差(t)の合成として分析して予測モデルを構築します。つまり、それらをハイパーパラメータとして予測モデルを調整できます。これがニューラルネットワーク（RNN）と比較して扱い易いところです。論文は次のリンク先のREAD THE PAPERから飛ぶことが出来ます。https://facebook.github.io/prophet/ インストールは、Anaconda環境下で次のようにcondaで出来ます。 conda install -c conda-forge fbprophet 本記事では、日経平均株価225の2017年12月から2020年12月までの3年間のデータを元に、下図のように2021年3月までの株価を予測する雛形コードを載せまし

検索速度を得るために、証券コード(scode)と日付(tday)にインディクスを張る。 株価データは、例えば下記のサイトよりダウンロードする。 http://souba-data.com/ ダウンロードした株価のZIPファイルを解凍して、CSVファイルの中から証券コード、終値を読込んでSQLiteに保存するサンプルコードを記載する。 def data_dl(): conn = sqlite3.connect("chart.db"); c = conn.cursor() d = datetime.datetime.today(); for i in range(0,365): d = datetime.datetime.today() - datetime.timedelta(days=i); zip_path = "data\\T%s.zip" % (d.strftime("%y%m%d"

イントロ情報係数（Information Coefficient）や決定係数を参考として暗号資産トレードの投資指標の選考を行っている記事が散見されます（主にnoteでの著者の皆さま）。同じようにしてJupyter Notebookを使用した散布図の描画し、その結果から投資指標を選択してみました。試験的にこの投資指標を暗号資産のトレードに適用してみた結果を考察します（概ね既知の内容です、 IC を計算しているJupyter Notebookはそのまま流用できます）。 まずbitbank.cc APIから得られる分足のOHLCVデータから1分後のリターンに対する投資指標の相関を計算して、情報係数（Information Coefficient） 0.382 を得ました（投資指標については後述）。情報係数については『シストレのススメ 3.5.投資指標の探索要領』やこちらの記事で解説されていますが

最近では機械学習を取り入れたサービス開発も増え始め、私自身もそのディレクションをすることがあります。 ただ、データサイエンティスト、MLエンジニアと呼ばれる人々が作る学習モデルを盲目的に利用するだけの簡単なお仕事です、というのは否めず、初心者（私）が、機械学習の知識レベルを上げるために、簡単な学習モデルを作れるようになるまでの過程をまとめてみました。 ※ 続編『機械学習の初心者がpythonで有馬記念を予想してみた』も書いたので、併せてご覧ください。 今回のゴール pythonによる環境構築からスタートして、一番手っ取り早いと思われるロジスティック回帰による分類モデルを構築してみるところまで実施してみます。題材は趣味と実益を兼ねて、競馬予測モデルに挑戦してみます。 ※なお、競馬の専門用語を使用してますが、不明な点は調べて頂ければと思います。 環境構築 前提 実施した環境は以下の通りです。

はじめに みなさん競馬はお好きでしょうか？ 私は今年から始めた初心者なのですが、様々な情報をかき集めて予想して当てるのは本当に楽しいですね！ 最初は予想するだけで楽しかったのですが、『負けたくない』という欲が溢れ出てきてしましました。 そこで、なんか勝てる美味しい方法はないかな〜とネットサーフィンしていたところ、機械学習を用いた競馬予想というのが面白そうだったので、勉強がてら挑戦してみることにしました。 目標 競馬の還元率は70~80%程度らしいので、適当に買っていれば回収率もこのへんに収束しそうです。 なのでとりあえず、出走前に得られるデータを使って、回収率100パーセント以上を目指したいと思います！ 設定を決める 一概に競馬予測するといっても、単純に順位を予測するのか、はたまたオッズを考えて賭け方を最適化するのかなど色々とあると思います。また、買う馬券もいろいろな種類があります。 今回

Yves Hilpisch『Pythonによるファイナンス 第2版　データ駆動型アプローチに向けて』（黒川利明訳、中妻照雄技術監修、オライリージャパン）が去年の末に発売されたので、元日から約三週間かけて読みました。そのあと放置していたのですが、今回その内容を章ごとに要約したので参考にしてください。 Pythonによるファイナンス 第2版 ―データ駆動型アプローチに向けて (オライリー・ジャパン) 作者:Yves Hilpisch 発売日: 2019/12/26 メディア: 単行本（ソフトカバー） 作者のYves Hilpisch（イーブ・ヒルピシュ）氏は、投資銀行のクオンツとしてPythonを用いたパッケージの開発で金融業界に貢献してきた方で、現在はThe Python Quants GmbHおよびThe AI MachineのCEOを務めています。本書でも後半は彼の手による価格付けライブ

ABEJA Advent Calendarの10日目です。 はじめにのはじめに 以下は、あくまでテストデータで上手く行ってるよという話で、本当にこれをやったら儲かるかというと、まだまだわかりませんのであしからず！あとネタがネタだけに、今回のはあくまで個人のやってみた記録であり、組織の取り組みとは関係ありません。 はじめに お金が欲しい！無限に寿司が食いたい！株で儲けたい！ 研究やエンジニアリングをしながら生きてく上で、将来のキャリアや技術スタックについて日々考えてるんですが、よくよく原点に立ち返るとそもそも技術スタックとかどうでもよくて、好きなものを作って漫画読んで生きていきたいんです。つまり結局、世の中は金なんですよね金。なので、何とかして寝てても圧倒的に儲かる仕組みを作りたい！そんな気持ちで私利私欲のために機械学習を使ったという記録です。 以下は、今回紹介する方法で実験したテストデータ

どういう馬が予測されているのだろう どういう馬を買って100%を超えたのだろう?メインレースより条件戦の方を狙っているのかな? 競馬ファンなら気になりますよね。 ところが検証用データのDataFrameには馬名が入っておらず、馬番や人気なども前処理加工された値ばかりが入っており、オッズもrawデータではなかったためとてもわかりにくかったです。別途データを作成しなければ、調べることができませんでした. ディープラーニングから他のモデルに変更してみる これは僕が変更したコードです。 シンプルなニューラルネットワークと比較しても、もっとシンプルなロジスティック回帰に変更してみます。 from sklearn.linear_model import LogisticRegression model = LogisticRegression(C=2.0, penalty='l1', random_s

pohotos by Ronnie Macdonald **「AIが人間の仕事を奪う」と言われ始めてしばらく経ちますが、今や「幻滅期に入った」**なんて言われ方もしています。おかげで僕は仕事を奪われることもなく、毎日満員電車に揺られています。奪う奪う詐欺もいいとこです。 そんなAIの発展にはもう少し時間がかかりそうな一方で、学べる環境は簡単に手に入るようになりました。触るなら、皆が幻滅しかかっている今な気もします。ということで、今更ですがAIの力を知るべく、ディープラーニングに触れてみることにしました。 いろいろ試したのですが、ここでは結果をメインに**「無知の状態から勉強しても、ディープラーニングでこれぐらいは楽しめるよ」**ということを伝えてみます。プログラムはお手本になるようなものではないので、見たい人だけに有料で公開してみます。 Kaggleでディープラーニングのお手並み拝見 最初

データに基づく因果推論がどのように行われるのか、詳しく説明していきます。因果の定義、因果推論に必要な条件、RCTの意義などいろいろまとめていたら、例のごとくすごいボリュームになってしまいました。なお、本記事で使われる用語は、「疫学」の因果推論で使われているものが基本です。同じコンセプトでも分野によって呼び方が違うので、その点はご了承ください。 まずは「因果効果」の定義から データから因果効果を求めるための前提条件 前提①：(Mean) Exchangeability 定義 交絡との関係性 ランダム化という魔法 観察データでの因果推論を可能にするConditional Exchangeability 前提②：Consistency 前提③：Positivity 前提条件のもと、データから平均因果効果を導く Exchangeabilityが成立しているとき（例：ランダム化比較試験） Condi

機械学習など主に予測を目的とした統計手法に強いイメージのPythonでしたが、統計的因果推論を行うためのライブラリ、“DoWhy”がついにリリースされました。 DoWhy | Making causal inference easy — DoWhy | Making Causal Inference Easy documentation これまで因果推論があまり浸透してこなかった*1データサイエンス界に新しい風が吹くのではと期待が高まります。 一方でこのパッケージが何を可能にし、逆に何ができないのかを理解しなければ、雑なデータ分析が増えて逆に有害なのではと思い、今回ブログを書くことにしました。 先に言っておくと、私自身はPythonをメインに使っているわけではありません（使ったことはあるので一応コードを読んで何が起こっているかくらいはわかります）。したがって本記事の目的は、DoWhyライブ

主張：高速化は最後のおたのしみにしましょう。 無駄にいじいじして高速化させて満足し、結局その後はほとんど使わなかったなあ、、、が私の日常です。 えらい人も言っていますが、高速化なんてホント最後でいいんです・・・。 今まで何十回後悔したことか。。。（これからもまたやりますが。） pythonであれば numba,cython,swig など、コンパイルしちゃう系の力（パワー）を借りることで、 全く同じアルゴリズムでもざっくり100倍単位で簡単に高速化できます。 しかし、このやり方ではpythonのインタープリターなゆるふわ△言語の良さを（該当コード部分において）捨ててしまいます。結局C/C++に魂を売っているだけです。 私は魂を売ることそれ自体が好きなので良いですが、この行為はpythonの持つ別の面での高速性、つまり "生産性の高さ" を犠牲にしています。 コードの実行スピードが速くなって

趣味でアルゴリズム取引のシステムを開発・運用してみたことで得られた知見について、社内のテーマ自由な勉強会で発表しました。Read less

2020/02/01 追記 [コード付き]誰も知らない関連銘柄を、機械学習を使って素早く見つける こちらに最新の結果を載せました！ 気づいたんですけど、私みたいな貧乏人はショッピングモールでおしゃれなゴミをせっせと買い漁るんですが、お金持ちの人って株を買うらしいんですよね。 考えてみれば貧乏人が欲しがるものって、百均のちょっとしたものから家や車やバイクやゲーム機など、買ったらお金が減るものばかりなんです。 それに比べて、お金持ちが買うものって、株や投資用の土地や、リスクこそあるものの貧乏人が欲しがらないわりに買ったらお金が増える可能性のあるものばかりなんですよねー。 これは悔しい！休日になるたびにせっせとショッピングモールにお金を運んでゴミを買い漁ってる自分を見てお金持ちはきっと笑っているに違いない！いやお金持ちには自分のような人間は視界にすら入らないのか、これはさっそく株を買わないと！と