はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? こんにちは。 ryo_grid です。 今回はピュアP2P分散マイクロブログシステム NostrP2Pというものを作ってみたのでそれについて書いてみます。 ひとまず開発物のGitHubリポジトリはこちら ryogrid/nostrp2p ryogrid/flustr-for-nosp2p アイキャッチ画像です。 前提知識 Nostr プロトコルについてのざっくりとした理解 こちらの記事などに目を通しておいていただければ十分かと 開発しようと思った経緯 元々NAT透過なオーバレイ上で動作するピュアP2Pなアプリケーションを作ってみたかった

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに これは データベース・システム系 Advent Calendar 2023 の12/23の記事である そして Nostr (2) Advent Calendar 2023 の12/2の記事である LMDBというDBMSについて調べてみた内容をつらつらと書く Discraimer 筆者はデータベースシステムの専門家ではないため、頓珍漢な記述をしている可能性あり。その点ご留意頂きたく。誤っている点があれば指摘頂ければ幸甚 一部、推測に基づいた内容あり。それらの箇所は推測に基づいている旨分かるように記述する （実装を確認するといった

どうも ryo_grid です。 今回は自作RDBMS SamehadaDB の開発の中で、インデックスとして用いるためのコンテナとして、オンディスク並行Skip Listなるものを作ってみたので、それについて書きたいと思います。 （以降、文体が変わりますが気にしないで下さい） はじめに 本文書は筆者がオンディスク並行Skip Listを設計・実装してみた中で得た、知識や知見の共有を目的とするものである 英文のものも含め、Skip Listに関して、本文書で共有する種の情報がまとまった形で提供されているWebページ（等）は、筆者が探した範囲で見当たらなかったので、その点で、価値のある知識・知見として、多くの人の役に立てば幸いである Skip Listについて Skip Listとは いわゆる Key-Value ストアを実現する確率的なデータ構造 他の同様の機能性を提供するデータ構造に対し

ご無沙汰しています。 ryo_gridです。 Disclamer 本記事は自作DBMSやろうぜ！ のページの 22/05/11 JST 7:45 の時点での内容をQiita記事向けに修正して作成したものです 元コンテンツのライセンスについては以下をご参照ください LICENCE 元コンテンツの方は更新が継続されていますので、よろしければそちらもご覧ください この記事の目的 RDBMS（いわゆるリレーショナルデータベース）というものはプログラミング言語の処理系や、OSなどと同様に、世の中で広く使われているソフトウェアであるにも関わらず、自作してみようと思うと日本語で記述されたサイトで、必要な情報・情報源がまとまったサイトがないことに気づきました そこで、筆者（ryo_grid) および数名のコミッタで開発している自作RDBMSである SamehadaDB が軌道に乗るまでの経験をベースに、自

どうも ryo_grid です。 昨年はRustを覚えたいと思い、題材としてRESTインタフェースを持った分散KVS（実質はいわゆる分散ハッシュテーブル）を書いたりしました。 FunnelKVS: Rust implementation of autonomous distributed key-value store which has REST interfaces この記事では、他言語を使ってきた私が、経験のないRustを用いてそこそこのコード規模・複雑さのシステムソフトウェアを書いてみた上で、Rustについて感じたことを、独断と偏見で述べます。 Rustってなんか流行りそうな雰囲気あるけど難しいとも聞くし、どうなんだろ？と考えている方や、Rustガチ勢の方々に、「初学者はこう感じるんだな」「ここらへんに苦労するんだな」というところを伝えることで、Rustのスムーズな普及に少しでも寄

どうも ryo_grid です。5カ月強ぶりの投稿です。 今回は、Pythonで書いた分散KVSのシミュレータ（マルチスレッドなプログラム）をRustで書き換えようとして苦戦している話について書きます。 Contribution 作業のメモ書きとかを書くのはガイドライン違反らしいので、この記事が単純なその手のたぐいではなく、ソフトウェア開発の世界に Contribution をするものであることを最初に書いておきます。 他言語で書いたプログラムをRustにポーティングする場合の事例紹介である 他言語から来た者がRustでマルチスレッドなプログラムをRustで書く時のはまりポイントについて示し、ある程度、どのように書けば良いかの情報を提供する（最適解でない可能性は高い。どころか、まったく的外れの可能性も無くはない） 多言語からRustに入る時に、他言語で気楽にできていたことがRustだとそう

2020/09/29 追記: 過去に、本記事冒頭で言及している"DHT内の通信について見るOSSなプログラム"を試した際の記録を記事にしていたのを見つけました・・・。また、そちらでも、掲題についてある程度説明していました。ですので、そちらの記事も併せて参照していただけると、より正確な理解が得られるのではないかと思います。 PythonでBitTorrent DHTネットワークに流れるメッセージを眺めるツール btsniff （libtorrentを利用） を試してみた - Qiita どうも。ryo_gridです。 趣味プログラミングで、Rustのお勉強がてら、簡単な Key-Value Store（単一ネットワーク内で動作、RESTインタフェースでアクセス）を書いてみようと思っている今日このごろです。 その実装に当たって、DHT（具体的にはChord）の仕組みを採用しようと思っているので

こんにちは。オリィ研究所( http://orylab.com ) のryo_gridです。 今回はWebカメラで表情認識して2Dアバターを動かす、というのをElectronやWebアプリ(ローカルのWebサーバで配信しているものに限る)で出来るように、Websocketを介して行うというのをやってみました。 まあ、FaceReg ( https://www.4gamer.net/games/032/G003263/20160111001/ ) 的なものを作ってみるって感じです。 実験レベルなのでリップシンク(唇が開いてるか閉じているか)だけ実装します。 #Python&pyFaceTracker&Live2D版 OpenCVを利用して表情認識してくれるpyFaceTrackerというPythonライブラリを使ってまずはやってみました。 アバターはLive2Dのリップシンクのサンプルプログ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Scrum-Upプロジェクトのryo_gridです。 この記事では有志による趣味ソフトウェア開発を行った上で得られた知見や、プロジェクトのこれまでの流れについて書いていきます。 #Scrum-Upプロジェクトとは 有志で趣味のソフトウェア開発しちゃおうぜプロジェクトです。 Maker Faire に参加している団体などハードウェア界隈ではチームでのプロダクト開発というのは比較的珍しくありませんが、ソフトウェア界隈でのチーム開発というのはゲーム界隈などの一部の分野を除くと、それほど一般的でないように思います。近いものとしては、OSSがあり

Scrum-Upプロジェクトのryo_gridです。 Mastodon風マイクロブログホスティングサービス UZOMUZO(alpha)をリリースしました。 http://uzomuzo.herokuapp.com/ まだアルファ版で拙いところもありますが触ってもらえれば幸いです。 開発はScrum-Upプロジェクトという有志によるソフトウェア開発チームで協力して行いました(UZOMUZOチームはおおむね3名(プログラマx2、デザイナx1)。開発期間は各々可能な時間にまたーりと進めて一ヶ月弱というところでした。 https://scrum-up.github.io/ 技術的な話など WebフレームワークにはRuby on Rails 5を利用しました。 開発に参加した3名はそれぞれある程度経験はあったものの、ver1・2ごろの話だったので、いろいろ変わっていたのでそこの差異を理解するのに苦

表題の本を購入したので著者のWebサイトからソースコードをもらってきて遊んでみました。 https://www.csg.ci.i.u-tokyo.ac.jp/~chiba/site/?ScriptingBook https://github.com/chibash/stone で、本ではビルドや実行をEclipseで行うことを前提としており、また、各章ごとにソースコードがバラバラに分かれていた(本の内容がインクリメンタルに開発していくような進め方になっているため)ので少し整理して、githubに置いておきました。 使い方は察してください。 コードが読みやすいように、高速化などに手をつける前の第10章までのソースコードだけを含みます。 Stone言語がどんなシンタックスを持っているかは、サンプルコードを眺めてみてください。 https://github.com/ryogrid/Stone_m

Bitcoin Cash（旧Bitcoin Unlimited） https://www.bitcoincash.org/ 8月1日の日本時間21:20にフォークが行われるようです。 別ブランド、別コインとしてスタートし、8月1日時点のビットコイン保有者には無償でBitcoin Cashが配布されるのと同じ形になるそうです。 関連記事 "[日経新聞]日本仮想通貨事業者協会、ビットコイン取引を８月１日に停止" http://www.nikkei.com/article/DGXLASFL18HHG_Y7A710C1000000/ 識者のお話 "「ビットコイン分裂」の真相と深層" http://btcnews.jp/49vdi2of11755/ まんがで今の状況を解説している記事 "今ビットコインに起こってること" http://okanefuyasuzo.muragon.com/entry/1

どうも、オリィ研究所 (http://orylab.com/) のryo_gridこと神林です。 今回はTwitter感情分析で株価予測の論文「Twitter mood predicts the stock market」を検証してみました。 追記: コメント欄にテクニカルによる予測とアンサンブルして約70%の精度で予測できたことについて記述しています。 追記２: コメント欄に始値で予測した場合について記述しています 検証対象 "Twitter mood predicts the stock market" https://arxiv.org/pdf/1010.3003.pdf 上記論文を日本語で解説した記事は以下。 [第三回論文速報会] Twitterの感情分析から株価の予報は可能か？ http://networkpaper.blogspot.jp/2012/04/twitter.htm

どうも、オリィ研究所(http://orylab.com) の ryo_grid こと神林です。 今回は顔文字をベクトル表現で扱うというテーマに取り組んでみました。 いきさつ 知人がSNSで顔文字の足し算引き算というネタ(今の気持ちはこれ足すこれ、みたいな話)を書いていて、これ、word2vecならぬkaomoji2vecしたら、実際できるんじゃないか？と思ったのがきっかけ。 ちなみに 検索して分かったことですが、絵文字だと天下のプリンストン、ロンドン大学の研究者の人たちが既に論文を出しています。 今回のテーマですが、ネタと思うことなかれ、真面目な話なのです。 emoji2vec: Learning Emoji Representations from their Description https://arxiv.org/pdf/1609.08359.pdf 実装も公開されています。 h

爆勝ちFXシストレ論文「Learning to Trade via Direct Reinforcement」を再現させたい機械学習DeepLearning強化学習FXSystemTrade FXシストレ論文 「Learning to Trade via Direct Reinforcement」 http://dustwell.com/PastWork/MoodyRLTradingPresentation.pdf http://people.idsia.ch/~juergen/rnnaissance2003talks/MoodySaffellTNN01.pdf が、シミュレーション結果を見る限り爆勝ちしているので、この実装を再現させようとしているが、うまくいかない（同じような性能が得られない）。 要は価格の予測に応じてトレードするんじゃなくて、トレードしたら勝てるかどうか自体を直接予測す

Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up

wrote an FX system trading program with deep learning method. I used Keras library for this deep learning implementation. trends of portfolio USDJPY, on Year 2000-2008, spread=0.03Yen(3pips), interval of exchange data=5min source code strategy input some technical index, past several prices, chart type (I defined) as features. predict UP or Down with input features through deep learning. with pred

FXシステムトレードのプログラムをいくつか作ってみて分かった課題とその解決法について のつづき。 上記記事で挙げた 「複数のアルゴを市場の状況に応じて切り替える」 という解決策について、具体的な実現方法を思いついたのでメモがてら書いておく。 考察 これまでいろいろ試してみた経験からすると、機械学習なシストレプログラムは学習させた期間のチャートの動きによって、適応できる市場の動きに差異があるようであった。 どうするか 前回の記事の繰り返しになるが、特定の一期間を学習させたものだと、これまでに作成してきたもののように、短中期では市場に対応できない場合が出てくる。 ＃このトレード結果で言うと最初の谷のところなど そこで、上記考察で得られた知見から、過去のチャートにおいて、複数の別々の期間を学習させた複数のモデルを作って、少なくとも過去のチャートであれば、アンドをとる（複数のモデルをつぎはぎする）

どうも、オリィ研究所 (http://orylab.com) の ryo_grid こと神林です。 さて、皆さん! JavaScript書いてますか! 私も書いてます。 しかしながら、C, Java, Ruby, Python なんかでコードを書いてきた時間の方が長いために、どうも JavaScript の言語仕様に馴染めないでいる私がいます。 そこで、Webフロントエンドで、JS以外の言語を使う選択肢がないか探してみたところ、BrythonというブラウザJSで実装された (= ブラウザ内で動作する) Python処理系を見つけたので、試してみました。 Brython - A Python 3 implementation for client-side web programming とにかく試してみる ネットの海をさまよいつつ、書いてみました。 お題はプログラミング初学者向けの課題でよ

どうも、オリィ研究所（http://orylab.com/） の ryo_grid こと神林です。 今回は前回、Open AI Gymの二足歩行ロボを歩かせたNEATという手法で、他の課題も解けるか試してみようということで、パワー不足の車が振り子の要領で勢いをつけて山を登る、という課題を解かせてみます。 #前回のお話 前回は遺伝的アルゴリズムとニューラルネットワークを組み合わせた手法であるNEAT(NeuroEvolution of Augmenting Topologies)を用いて二足歩行ロボを歩かせました。 遺伝的アルゴリズムxニューラルネットワーク（NeuroEvolution）でOpen AI Gymの二足歩行ロボを歩かせた話 ただ、パラメータが多数あり、課題ごとにチューニングしないと性能が出ないのではないかという点に疑問が残りました。 そこで、今回は上述の課題を同じプログラムを

どうも、オリィ研究所（http://orylab.com/） の ryo_grid こと神林です。 今回は以前試してなかなかうまくいかなかったOpen AI Gymの二足歩行ロボの強化学習へ再チャレンジした話と、その中で知ったNEAT(NeuroEvolution of Augmenting Topologies)という手法について書きたいと思います。 前回のお話 DQN(Deep Q-learning Network)という、強化学習の手法を使って二足歩行ロボを歩かせようとしました。 結果として、学習自体は成されましたが、まともに歩くというところまではいくことができませんでした。 PythonでAIシミュレーションプラットフォームOpen AI Gym を利用して遊ぶ (DQN編) 再チャレンジ どうにか歩かせることができないかとネットの海をさまよっていたところ、stefanopalmi

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ※コードには誤りがありましたので、コメント欄で指摘いただいたパッチも併せてご覧ください（チューニングによって大きく性能が変わるという論旨には影響ないと思います）。 はじめに どうも、オリィ研究所（http://orylab.com/） の ryo_grid こと神林です。 今回は、自宅で大学院生時代に授業で書いたレポート(2008年だったはず)が出てきて、割と面白いかなと思ったので記事にしてみます。 手抜きだったので読みにくいですが、チューニングで大きく性能が変わるということだけ伝われば幸いです。 授業は筑波大学計算科学研究センターのH

Qiitaのホッテントリもはてブみたいに分野別で出るようにならないかなー。 （参考:はてブニュース） 例えば、総合、機械学習、フロントエンド、バックエンド、Tips、作業効率化みたいなカテゴリで。 最初に、それぞれのカテゴリで頻出のタグをいくらか手動で選出すれば、あとはそれと共起してるタグを自動で見つけていって、分類とかできると思うんよね。 誰か作って下さい^^ というか、クローラ作ろうと思ったらどこをクロールすればいいんだろ？ クローラ作るのがめんどい。 作るなら、EC2x1 + RDSかなあ。 でもお金ないなあ。。。 Bitcoinで投げ銭してもらうかなあ。。。 クラウドファンディングという手もあるか。。。 投げ銭が集まらなかったら自然消滅するメソッドを使うのもありかなあ。。。

どうも、オリィ研究所(http://orylab.com/) の ryo_grid こと神林です。 今回はOpen AI Gymで遊んでみたので、それについて書いてみます。 Open AI Gym (https://gym.openai.com) とは AI開発者が自分のAIを動かすことのできるシミュレータを提供してくれる環境です。 Python向けにはライブラリを提供しています。 AI GymによりAI開発者やAI研究者はAIの学習ロジックの研究開発に専念でき、その可視化やシミュレーションを行う手間が省けます。また、同じシミュレーションを複数のユーザが競い合って解いているので、参加者全体でのアルゴリズムの性能向上が期待されます。 主なターゲットは強化学習によって構築されるAIです。Deep Q-Learning Network(DQN)を代表とする深層強化学習と呼ばれる手法が少し前から話

どうも、オリィ研究所（http://orylab.com/） の ryo_grid こと神林です。 今回は深層強化学習 (DQN) を試してみたので、それについて書いてみます。 #概要 以下を大いに参考（大半のコードを流用させてもらって）にして、(深層)強化学習でオセロもどきのAIを作ってみました。エージェントには駒を多く取ったら勝ちといった知識も与えずに、対戦した勝敗結果(ここの判定だけは学習の時に行う)から打ち方を学ばせます。 コードは間違っているとこがあるかもしれないので、指摘してもらえると幸い。 なお、エージェント自体の学習ロジックは下記の参考コードからほとんどいじっていません（うまく分離されていて素晴らしい！） ChainerでDQN。強化学習を三目並べでいろいろ試してみた。（Deep Q Network、Q-Learning、モンテカルロ） http://qiita.com/n

以下の通りいくつか、システムトレードのプログラムを作ってきましたが、継続的（長期ではなく短中期でも安定して）に勝つには課題があることが分かったので書いておきます。 ※コメント欄に画像のリンク張ってたりしてるので、そちらもご覧ください ディープラーニングでFXのシステムトレーディングをするコードを書いた - Qiita 機械学習を用いたオレオレFXシステムトレーディングプログラムのロジック解説 - Qiita ディープラーニングでFXのシステムトレーディングをするコードを書いた (2) -RNN/LSTM編- - Qiita xgboostによる決定木アンサンブル学習でFXのシステムトレードするコードを書いた - Qiita #課題 市場は常に変化しており1つのアルゴでは対応しきれない（ように思えた） 当たり前かもしれないが、機械学習でアルゴを作っても勝てる期間と勝てない期間が出てくる（数カ

これでインストール可能なバージョンが見られる sudo apt-cache showpkg パッケージ名 バージョンを指定してインストール sudo apt-get install パッケージ名=バージョン Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up

タイトル通りです。 特徴量を入力して分類・識別（回帰）するだけの単純なコード例が意外と無いので、自分で書いときます。 下の記事でやった単純なディープラーニングの実装のTensorFlow版です。 簡単なディープラーニングのサンプルコード (2入力1出力/2クラス分類) with Keras http://qiita.com/ryo_grid/items/e746238c78b8c6427200 学習用データは作るのが面倒なので、学習処理のループのところで偶数奇数で分岐して食わせるデータを変えるということをしています。 学習時の回答データは、正解のラベルに対応する要素のみ1で他は0の配列を用意します。 import tensorflow as tf # number of inputs input_len = 2 # number of classes classes_num = 2 ses