Stimulator

機械学習とか好きな技術話とかエンジニア的な話とかを書く

mambaやripのinstallが何故早いのか調べたメモ

- はじめに - 最近、PythonのパッケージインストーラーであるpipをRustで書き直したripというツールが公開された。github.comripのREADME.mdには、flaskを題材に依存解決とインストールが1秒で終わるようなgifが貼られている。この速さは一体どこから来てい…

Google Cloud Champion Innovator になりました

お知らせ Google Cloud Champion Innovator になりました。 https://developers.google.com/profile/u/108992975007665801883Cloud AI/ML領域です。昨年度、ありがたい事にGoogle Cloud OnAirやGoogle Cloud Innovators Hive at Next ’22に登壇させて頂き、…

最適輸送本イベントに寄せて学ぶ

はじめに Forkwell Libraryという書籍の著者が登壇するイベントにて、最適輸送の理論とアルゴリズム (機械学習プロフェッショナルシリーズ) の佐藤さん(@joisino_)と話す時間を頂いた。 forkwell.connpass.comスライド 動画その時に事前に学んだメモの公開と…

Rustでグラフをplotするライブラリのまとめ

- はじめに - Rustでグラフを描画したいと思った時に調べたクレートとその実装、機能のまとめた時のメモ。現状はplottersを使っておけば間違いなさそうだが、目的によっては機能で選択する場合もありそう。 - はじめに - - 前提知識 - - グラフ描画クレート…

axumとtch-rsでRustの画像認識APIを作る

- はじめに - PyTorchのRust bindingsであるtch-rsを使って、画像認識APIを実装する時のメモ。今回は非同期ランタイムのtokioと同じプロジェクト配下で開発されているaxumを利用する。 - はじめに - - axumによるHTTPサーバ構築 - hello world base64による…

Rustでlabel propagationを実装した

- はじめに - 半教師あり学習のアルゴリズムの1種であるlabel propagationをRustで実装し、クレートとして公開した。github.com本記事は、label propationの実装と検証を行った際のメモである。 - はじめに - - label propagationとは - - Rustによる実装 - …

Pure Rustな近似最近傍探索ライブラリhoraを用いた画像検索を実装する

- はじめに - 本記事は、近似最近傍探索(ANN: Approximate Nearest Neighbor)による画像検索をRustを用いて実装した際のメモである。画像からの特徴量抽出にTensorFlow Rust bindings、ANNのインデックス管理にRustライブラリであるhoraを利用した。Rustと…

Rustによる機械学習概覧を技術書典11に寄稿するまでの軌跡

- はじめに - 今回、技術書典11に「Rustによる機械学習概覧」というタイトルで、所属企業であるエムスリー株式会社の執筆チームより出る「エムスリーテックブック3」に文章を寄稿した。執筆チームからの熱いコメントは以下。販売ページは以下。 techbookfest…

pipとpipenvとpoetryの技術的・歴史的背景とその展望

- はじめに - Pythonのパッケージ管理ツールは、長らく乱世にあると言える。特にpip、pipenv、poetryというツールの登場シーン前後では、多くの変革がもたらされた。本記事は、Pythonパッケージ管理ツールであるpip、pipenv、poetryの3つに着目し、それぞれ…

Rustで扱える機械学習関連のクレート2021

- はじめに - 本記事では、Rustで扱える機械学習関連クレートをまとめる。普段Pythonで機械学習プロジェクトを遂行する人がRustに移行する事を想定して書くメモ書きになるが、もしかすると長らくRustでMLをやっていた人と視点の違いがあるかもしれない。 追…

3ヶ月くらいフロントエンドやったのでやったこと一旦まとめ

- はじめに - 9月くらいから趣味でフロントエンド周りをやっていたので、その勉強過程のまとめ。何が良かった悪かったとか、こうすればよかったとか、所感とか。 - はじめに - - 前提 - - どんな感じで進めたか - 最初の開発 TypeScriptとNext.jsを使った開…

WebAssemblyで機械学習Webアプリ「俺か俺以外か」をつくった

- はじめに - 文章がローランド(@roland_0fficial)様っぽいか判定するサービスをつくった。できてた『ばんくし』は俺以外でした https://t.co/MxSTPmKVWL #oreka_oreigaika via @vaaaaanquish— ばんくし (@vaaaaanquish) 2020年12月26日 学習済みモデルをダ…

Rustによるlindera、neologd、fasttext、XGBoostを用いたテキスト分類

- はじめに - RustでNLP、機械学習どこまでできるのか試した時のメモ。Pythonどこまで脱却できるのか見るのも兼ねて。コードは以下に全部置いてある。 GitHub - vaaaaanquish/rust-text-analysis: rust-text-analysis - はじめに - - 形態素解析 - neologd l…

機械学習パイプライン構築を楽にするgokart-pipelinerを作った

- はじめに - luigi、gokartで作ったtaskのパイプライン構築をちょっと楽にする(かもしれない)管理するためのツールを作った。github.com近年、MLOpsの一部である機械学習のためのパイプラインを構築するためのツールは飽和状態にあるけどそれらと比較して…

ダジャレを判定する

- はじめに - 近年、IT業界のダジャレは熾烈の一途を辿っている(ITだけに) 。類義語を巧みに取り入れたダジャレ、難読化されたダジャレなどが増加し、一体どれで「初笑い」すれば良いのか悩む若者も少なくない。 そのような背景があり、ダジャレを判定するア…

おすすめのエンジニアリング関連YouTubeを紹介しながらエンジニアとYouTubeについて考える

- はじめに - 最近、所属企業でYouTubeの企画やインタビューを進める事になった。 私の所属する企業は、どのような事柄に対しても説明責任を重視する企業であり、ある程度の合理的な理由付けの上でYouTube上での広報活動をしていこうとなったのだが、実際は…

「実用的でないPythonプログラミング」がよかった

はじめに 2020/8/12に発売されたImpractical Python Projects: Playful Programming Activities to Make You Smarterの日本語訳書である、「実用的でないPythonプログラミング」をひょんな事から献本していただく事になった。(訳者が同僚である) 実用的で…

poetryを利用した動的なバージョン管理とGitHub ActionsによるPyPIへのrelease

はじめに この記事を読んで出来る事 poetryによる外部モジュールバージョン管理 poetry-dynamic-versioningによる動的なバージョン付与 GitHub Actionsを利用したPython周りの基本的なCI/CD設定 GitHubのReleaseタグ付与をTriggerとしたPyPIへのアップロード…

Rustでterminalのwindow sizeを取得する

はじめに RustでCLIツールを作る際にターミナル等のwindow size変更に応じて表示を変更したい場合がある。その際に画面サイズの取得について調査したログ。 はじめに 画面サイズの取得 調査ログ 画面サイズの取得 画面サイズの取得には、libcのioctlを利用し…

機械学習モデリングの広辞苑的書籍「Kaggleで勝つデータ分析の技術」が良かったので筆者に媚を売る

- はじめに - 当ブログでは恒例になっている、献本されたので筆者に媚を売るシリーズです。今回は10/9に発売予定の「Kaggleで勝つデータ分析の技術」という書籍なんですが、既に発売前にしてAmazonベストセラー1位。豪華著者陣とKaggleにおいては日本有数の…

xonshのEnvironment Variablesの全て

- はじめに - 以下の記事でxonshのEnvironment Variablesの大体の日本語訳を書いた。xonshrcを書く - Stimulatorしかし、上記の記事は2017年次の物かつ、要約的な記事のため、より詳細に見て開発に以降できるよう本体へのコードや掴みどころをメモした記事を…

「FINAL FANTASY XVの人工知能」がなかなか面白かったので書評

- はじめに - このブログの人気シリーズの一つ、「献本されて読んだら良かったので書評で作者に媚を売ろうシリーズ」です。今回は、あるきっかけで「FINAL FANTASY XV の人工知能 - ゲームAIから見える未来」(以下 FF本)という本を頂く形になりました。FIN…

python prompt toolkitの紹介と動作を理解するメモ

- はじめに - 本記事はpython prompt toolkit(以下 ptk)の動作を理解するメモです。ptkで出来ること、その概要を書いています。 - はじめに - - ptkとは - ptkで作成されたツール - ptkの描画を理解する - print_formatted_text Application Screenオブジ…

xonsh拡張のxontribをつくる

- はじめに - この記事はxonshのextension的立ち位置であるxontribを自作し、公開するまでの流れのメモです。1年程前に現存していたxontribを紹介する記事を書きましたが、次は作成者側に回ってみようという旨です。 - はじめに - - xontribとは - - cookiec…

フォロワーを管理するためだけのWebアプリを作った

- はじめに - フォロワーも増えてきて大体毎月n*100単位でフォロワーが変動するようになってきて、巷のフォロー管理ツールじゃ全然要求を満たせないので、自作する体でGWに友人と1日ハッカソンみたいなのを開いて勢いだけで作った話。「100万人とかフォロワ…

Pytorchでpretrainモデルを用いた画像向けSiameseNetworkのメモ

- はじめに - NIPS 2016のSiamese Neural Networks for One-shot Image Recognitionを参考に、画像の距離学習を行う。Siamese Networkは、各クラスの画像量にバラつきがあり、一部クラスが数枚しかない学習データでも上手く学習させられるネットワークである…

「機械学習のための特徴量エンジニアリング」が良かったので訳者に媚を売る

- はじめに - 本ブログでは恒例になりつつある、献本されたので媚を売るシリーズです。「機械学習のための特徴量エンジニアリング」は2/23に発売される、機械学習エンジニアのための書籍です。本記事は、筆者に媚びを売りつつ、どういった内容の書籍か、どう…

horovodを用いたPytorchの分散学習

- はじめに - 近年、分散深層学習の研究、ライブラリ開発が盛んに行われている。本記事はuber社が公開しているhorovodを利用した分散CNNのメモである。 - 前提 - horovodとは、バックエンドをOpenMPIとしTensorFlow、Keras、PyTorchを最小限のコード変更で分…

2018年のxonshrc

- はじめに - この記事はXonsh Advent Calendar 2018 - Qiita最終日の記事です。私のxonshrc、業務用のコマンドとか含めると大体1500行くらいあるんでgithubで公開するんじゃなくて一部ずつ切り取ってここで紹介しようかなと思いました。なんか作る時の参考…

Python moduleがない場合に自動でpip installする

- はじめに - この記事は、Xonsh Advent Calendar 2018 - Qiita 10日目の記事です。複数のサーバを業務で利用おり、それぞれのサーバ環境設定のためpythonパッケージもインストールする作業が必要だが、別サーバからpip freezeするほどでもない(ちょっとした…