はてなブックマーク

これはなにか 現職の社内でこのテーマで書いたが、そちらは社内プロダクトの情報も混じっているので、同じテーマでブログ向けにいちから書き直してみる。 ちょっと長いが、ウェブサービスを運用するならきちんと抑えておきたい。 課題 SPA + HTTP API（概ねREST APIと言っていい）の構成において、エラーハンドリングを正しく行うのは意外と面倒だ。 しかし、特に運用中のプロダクトにおいては、障害・バグの早期検出、ユーザエクスペリエンス向上の観点から、これをきちんとするのが望ましい。 広告 前提 HTTP通信は切断されるし、インフラは落ちる ローカルで開発をしていると忘れがちだが、HTTP通信は様々な要因で切断される。 クライアント側が公衆回線やWiFiを使っていれば、必ずそれは起きる。車両による移動、電子レンジの干渉、カフェのWiFiが混んできた、 etc. また、長時間運用しているとどう

2021/02/06 21時35分 追記 参照したGoogleの資料が古く、現在はAppleと同じ仕様になっております。 先日報じられた不具合の原因はこちらのIssueと思われます。 訂正が遅くなり申し訳ありません。 調べたらそれっぽいのがわかったのでメモ。 広告 報道発表の時期から、原因はこのコミットだと思われる。 怪しいのはこの変更。 - MinimumRiskScore = 1, + MinimumRiskScore = 21, (Minimum)RiskScore の定義を調べると、Google と Apple で異なる。 Appleの場合 Google の場合 https://www.blog.google/documents/68/Android_Exposure_Notification_API_documentation_v1.2.pdf Apple は0~8の整数値を取る

ここ1年はほとんど変わっていないですが、今現在の機械学習による競馬予想で使っているサービスやライブラリについて情報を残しておきたいと思います。 どちらかというと、なぜそれを使っているのかを考え直したり、あわよくばコメントを貰って改善に役立てるために公開します。 Web Service JRDB www.jrdb.com 予想をする上ではデータソースがないと話にならないのですが、Mac, Linux上でデータを取得できるサービスは今の所 JRDB だけです。 （netkeiba をスクレイピングするのはグレーだし、時間が非常にかかる） データ形式はShiftJISの固定長テキストなので、Pythonで仕様からパーサを生成してパースしています。 予想には2012年からのデータを用いていますが、netkeiba のスクレイピングでこれをするのは少し厳しいですね。 このデータをParquet形式に

2019/1頃に機械学習による競馬予想をしていて、副業との兼ね合いでちょっと中断したりしていたけど、 色々余裕が出てきたので再開しています。 回収率が100%を超えたので、先週から実際に投票するフェーズに入っていたのですが、 勝ち負けはこんな感じです。 日付 投票 払戻 2020/11/14 ¥7,000 ¥0 2020/11/15 ¥10,000 ¥0 2020/11/21 ¥14,000 ¥12,800 2020/11/22 ¥13,000 ¥17,400 先週は全く当たらなかったですが、今週は黒字です。 この調子でどうにか年内は黒字にしたいところです。 再開した理由はもう1つあって、この界隈は手札を見せずに結果だけ公開するか、基本的にやり方だけ示すだけなのが 常だったのですが、最近はうまくいっているものを比較的安価に公開するところが出てきたというのがあります。 特に直近で役に立った2

まだ仮想通貨の取引の痛手が残っていて株取引はできていない（SBIに口座を開設しただけ…）。 それはさておき、最近興味があったが応用先のない機械学習の知識がついに役に立つ分野が見つかった。競馬だ。 無料で手に入る多数のパラメータがあり、結果がはっきりしていて、しかもリターンが金銭的に入ってくる。 以下の記事を参考に、 netkeiba.com のデータを用いてLigthGBMで学習をしている。 cocon-corporation.com cocon-corporation.com また、以下の書籍を参考にして精度を向上している。 ゼロからはじめるデータサイエンス ―Pythonで学ぶ基本と実践 作者: Joel Grus,菊池彰出版社/メーカー: オライリージャパン発売日: 2017/01/25メディア: 単行本（ソフトカバー）この商品を含むブログを見る Pythonではじめる機械学習 ―s

前の記事で約定履歴が手に入ったので、OHLCを求めてローソク図を描画してみる。 team-6.hatenablog.jp from datetime import datetime, timedelta import pandas as pd import matplotlib.pyplot as plt import matplotlib.finance as mpf from matplotlib import ticker import matplotlib.dates as mdates import psycopg2 import sqlalchemy import sqlalchemy.orm import sqlalchemy.ext.declarative POSTGRES_HOST='HOST' POSTGRES_PORT=5432 POSTGRES_USER='user

昨年の12月から受講していた Cousera の Machine Learning course を修了した。 www.coursera.org 以下、簡単に感想 この界隈では受講必須 パラメータチューニングやサンプル追加の効果の判断など、アルゴリズムよりも重要な点について教えてくれる ライブラリしか使わない、という人にも有用 プログラミングはOctaveだが、行列演算がとても書きやすくてよい 学習当初は相場の予測に使おうと思っていたが、軒並み仮想通貨が暴落したのでちょっと迷っている... 仕事ではじめる機械学習 作者: 有賀康顕,中山心太,西林孝出版社/メーカー: オライリージャパン発売日: 2018/01/16メディア: 単行本（ソフトカバー）この商品を含むブログ (4件) を見る データサイエンスのための統計学入門 ―予測、分類、統計モデリング、統計的機械学習とRプログラミング 作者

あらまし GitHub Actions で Gatsby.js で生成したサイトを AWS Amplify にデプロイしたいが、 Amplify CLI のインストールをしなくともデプロイする方法が見つかったので紹介する。 広告 AWS Amplify （以下 Amplify）は、AWSのホスティングフレームワークで１つのアプリに対してフロントエンド・バックエンドそれぞれをデプロイできる。 フロントエンドはブランチごとのデプロイが可能で、本番・開発・作業ブランチなど複数のデプロイをすることが可能で、本番だけ独自ドメインを割り当ているというのも可能だ。 Amplify CLI という Node.js ベースのコマンドが用意されているが、これは比較的バックエンド寄りの機能が多くデプロイのみであればこれがなくても十分だ。 本来は GitHub と連携して Amplify の CI でビルド・デプ

以下の本を読んだんですが、掲題の通りノンプログラマ必読ですね。 職場の業務効率向上をしたい人はすぐに買うべきです。 退屈なことはPythonにやらせよう ―ノンプログラマーにもできる自動化処理プログラミング 作者: Al Sweigart,相川愛三出版社/メーカー: オライリージャパン発売日: 2017/06/03メディア: 単行本（ソフトカバー）この商品を含むブログ (4件) を見る 一方、プログラマにはそんなに需要のある内容ではないです。 Pythonプログラマは前半不要だし、後半も調べればできることしか書いてないです。 やりたいことをググッてコピペしてアレンジできる人は、そちらのほうが早いかも。 Pythonを使ったプログラミング入門本としても非常に良くできているんですが、 言語を習得したその先で何を出来るか、を表に出しているのがただの入門書とは異なるところです。 副題まで読まないと

先日の投稿で、少しフィードバックをいただけた（ありがとうございます！）ので、それに対する反応です。 team-6.hatenablog.jp フィードバックその1 コメント欄より。 引用されていたので反応しておきますと、こういう理由からAnacondaもいまは問題があると思っています。 http://ymotongpoo.hatenablog.com/entry/2017/02/02/182647 一次情報含め非常に詳しく書かれていますが、 要約すると、パッケージングにデフォルトのwheelではなく、独自のcondaを用いているAnacondaはデフォルトに歩み寄って欲しい、というお話です。 これについてはおっしゃるとおりで、wheelでできることをわざわざ別のパッケージシステムを構築してしまっているのはエネルギーの無駄ですね。 wheel一本になれば嬉しい人は多いはず。 フィードバックそ

ちょっと煽ったタイトルですが、これから言いたいことを一言で言うとそういうことです。 またPython環境構築界隈の混沌が深まりそうで申し訳ないですが、自身の中ではそういう結論です。 まず、先に数件の別サイトの記事を紹介したいと思います。 qiita.com qiita.com ymotongpoo.hatenablog.com 上記ではpyenv不要では？という議論がされています。 斜め読みした感じだと、「Pythonのバージョンを複数インストールして切り替える需要あるか？」 という点で、pyenv不要ということらしいです。 不要なら使わないに越したことはありませんね。 さて、機械学習・ディープラーニングするにはAnacondaが必須なのは異論のないところだと思いますが、 Anacondaのバージョンアップではこれに含まれるライブラリが非互換なAPI更新がちょくちょくあります。 また、バー

このシリーズもこれで終わりにします。 team-6.hatenablog.jp team-6.hatenablog.jp ドキュメント読んだ通りに実装してみたつもりが接続できず、 カスタマーサポートにはサポート外と言われてみたり、と散々だったが、 どうにかつながったのでその報告。 ２番めの記事の後、サポートに「サーバが生きているかどうかぐらい教えてよ」と食い下がったところ、 サーバは生きているのと、"「SockJSを使ってください」としかお伝えできません。"という超重要ヒントがもらえたので、 試行錯誤した結果、データ取得が出来るようになった。 ユーザでこれができているの、自分だけじゃないか？ 以下、そのコードだが、いくつもツッコミどころがある。 const crypto = require("crypto"); const request = require('request'); con

掲題のとおりなんですが、 非同期に処理結果をコールバックに渡してくるRxPYと、 関数呼び出しの戻り値としてレスポンスを同期的に値を求めるbottle.py は相性が良くないんですよね。 RxPYのexampleには、代わりにWebSocketを用いて（それもbottle.pyのフレームワークを使ってだが）結果をクライアントに返す例がありました。 github.com 結局のところ、RxPYの結果をbottle.pyで返すのはかなり難しいみたいです。 無理やりすればできないわけじゃないんだろうけど。 RxPY についてはこの記事も参考に。 team-6.hatenablog.jp Rxなんとかについては、RxJavaの以下の書籍がわかりやすくていいです。 RxJavaリアクティブプログラミング 作者: 須田智之出版社/メーカー: 翔泳社発売日: 2017/03/08メディア: Kindle

先日Qiitaの記事まとめている時に見つけたんですが、Jijiが面白そうです。 jiji2.unageanu.net Ruby でトレーディングアルゴリズムを書ける、実行できる バックテストも実行できる 無料（スマホアプリは有料） OANDA のAPIを使うようですね。確か国内では数少ないAPIでFX取引できるところ。 （オアンダらしい。オーアンドエーと思ってた） www.oanda.jp MTみたいに独自言語じゃなく、Rubyで実装できるのでいろいろはかどりますね。機械学習とか。 この記事では、Rubyから外部サーバに問い合わせる形でPythonを使ってます。なるほど〜。 qiita.com まだBitCoinのトレードから離れる気はないですが、ちょっと興味があります。 口座だけでも作っておこうかな。 ソフトウェアデザイン 2017年 09 月号 [雑誌] 出版社/メーカー: 技術評論社

bitcoinのシステムトレードをいろいろしているが、 エンジニアとして楽しいのはOHLC求めてテクニカル指標出して、あたりまでで、実際の売り買いとなるとそんなに結果が出なかったりするので、 またすぐに改良と称して最初の部分から作りなおしてしまっている。 ブログを書き始めた頃のものをversion6とよんでいるが、 マルチマーケット、マルチカレンシー対応、レンジバー対応したものがversion7、 Elasticsearchと機械学習を取り入れたものが現在のversion8となっている。 対応したマーケットは、bitFlyer、Zaif, coincheckだ。BITPointはこれからになる。 version8はまだ開発中で、データがある程度溜まってから 売買を行うモジュールtraderを実装することにしている。 現在、データ取得はbitFlyerがpubnubを使っていて、Node.j