はてなブックマーク

S3をファイルシステムとしてマウントするためのデーモンをつくっています。ホームディレクトリ全体を共有できてしまえば、dotfilesまわりのセットアップを頑張らなくてもよいのでは、というのが開発の動機です。 なので、既存のS3を便利に見れるものと言うよりも、セキュアかつパフォーマンスがなるべく(ファイルによらず)フラットで高速なファイルシステムを目指しています。 juntaki/bucketsync: S3 backed FUSE Filesystem written in Go with dedup and encryption. 使い方 まずは、設定ファイルを作成します。$HOME/.bucketsync/config.ymlにファイルができます。S3のクレデンシャルが平文で入ってしまうので取扱は注意です。出力されたファイルには暗号化や圧縮のオプションがありますが、記事公開の時点では実

TechTalk(社内勉強会)で話したUsing Go to call Java librariesに関連して、JNIを使ってCからJavaを呼び出す方法を解説します。 Java Native Interface(JNI) JNIはCからJavaのライブラリを使ったり、その逆のことができる仕組みです。公式ドキュメントはJava Native Interface仕様の目次からたどれます。 この記事ではCからJavaを使う方向で、メソッドを呼び出すことにポイントを絞ってまとめています。 JVMのロードとアタッチ JNIでは、JVMをネイティブアプリ上でロードして、Javaのコードをその上で動作させます。 JNI_CreateJavaVM()でJVMが生成できます。 #include <jni.h> JNIEnv *env; JavaVM *jvm; // JVMの起動オプションなど JavaV

概要 encoding/gobについて調べてみました。interface{}はencoding/gobでシリアライズしてバイト列にできます。 Gobとは Go言語専用のシリアライズ形式です。シリアライズ形式というと、バイナリフォーマットで多言語からつかえるProtocol buffersや、RubyのMarshal.dumpで出力されるもの、テキストフォーマットだとJSONやXMLなどが思い当たります。 GobはRPCで通信するときに利用することが想定されていますが、計算途中の結果をファイルに出力するような場合も使えます。また、他のシリアライズ形式と違いGo専用なので、Goで使うなら簡単に使えるという利点があります。 Gobにできて、Protocol buffersにできないこと 参考：Gobs of data たとえば、Protocol buffersはself-describingでな

Reduxは簡単に全部読める規模のライブラリです。ソースコードを読んでからリファレンスを見たほうが理解しやすかったので紹介します。また、有名なコードを読むことによるJavaScriptの勉強も兼ねています。 今回はReduxの中心であるStoreの作成・初期化とdispatch()について見ていきます。 対象読者 Reduxを少なくとも1回くらい使ってみた人向けです。 バージョンは、2017-2-22時点でmasterの3f319eb7を見ています。 Store Reduxはreactなどのview libraryと併用し、状態管理をするライブラリです。アプリの状態を1つにまとめた構造(=Store)に対して、操作(=Action)を割り当てる(Dispatch)することで遷移させます。 Store · Redux まずは、Storeを作成するcreateStore()をみていきます。しば

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? JavaScript入門からreactやreduxで最初のウェブアプリを作るまでのおすすめ勉強法です。 対象読者 他の言語はできて、JavaScript、Web系の開発は知らない人向けです。 私もこの状態から独学で勉強中なので、もっといい方法があればぜひ教えてください。 環境構築 エディタ 最低限の道具として、コードの補完とlinter、フォーマッタ、タグジャンプの実行できるエディタが必要です。 spacemacsならば、JavaScriptとreactのスタックを入れるだけで、フォーマッタの自動実行以外はできている状態になります。ただ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

生成されたタグを参照するときは普通の使い方でOKです。globalコマンドの出力を使うエディタの拡張は、GTAGSなどのファイル形式は変わっても影響ありません。（helm-gtagsは大丈夫でした) 他の方法もある 「GNU GLOBALの対応言語を大幅に増やすPygmentsパーサーを導入する」の方法があることは知っていました。が、使うにはいろいろ下準備が必要そうなのと、「抽象構文木（AST）をトラバースする #golang」、「ASTを取得する方法を調べる #golang」をみたら、golangだけで簡単にできそうなことが分かったので作ってみました。 Golang用のctags-compatibleの実装はすでにありました。GLOBALなのに世界的にはマイナーなのでしょうか。 参考：GNU GLOBALのフォーマット フォーマットの説明はソースコードのコメントが一番詳しかったです。これ

AWSのGPUインスタンスでCIFAR-10の分類で作ったGPUインスタンスを、普段はお高いので止めておいて、時々jupyter notebookを起動してブラウザから触りたい。 想定は1リージョンに1インスタンスしかない、AWS超ライトユーザです。（設定が全然汎用的ではないので・・) aws CLIでインスタンスを起動 コンソールをぽちぽちしても同じことができるが、時間がかるのでCLIがよい。 対象のリージョンにインスタンスが2つ以上ある場合、jqに渡すオプションは変更しないと失敗するはず。 describe-instancesでインスタンスIDをもってきて、そのまんまstart-instancesに渡す。この辺のノウハウはもっと良い記事があるに違いない。 aws ec2 start-instances --instance-ids `aws ec2 describe-instances

前述のように、Linuxはセグメンテーションを使いません、x86ではIntelのマニュアルで言うところの「3.2.1 Basic Flat Model」を利用します。また、そもそもx86_64の64bitモードではセグメンテーションが使えません。セグメンテーション機構はLegacy-modeと書かれているので、実行時に指定できるアドレスの範囲より物理メモリのサイズが大きかった8086の名残みたいな機能なのでしょう、きっと。 しかしながら、どのユーザプログラムも他のプロセスがどの部分の物理メモリを使っているか意識したくないので、各プロセスはそれぞれ仮想的なアドレス空間で動作します。ページング機構によって物理アドレスとリニアアドレスのマッピングを管理することで、それを実現しています。 ページングの仕組み メモリをページフレームという一定サイズの領域に分割します。そして、ページフレームとそこに格

概要 Key-Valueの単純なリソースに透過的に様々な機能を付けて使うためのtransparentというライブラリを作りました。 単純というのはGet/Setくらいの操作しかしないことで、リソースのイメージとしてはAmazon S3やファイルシステムあたりを想定してしてもらえれば良いと思います。こういったリソースに対してメモリ上へのキャッシュや、分散システムのような値の複製の機能を簡単に追加できます。 使い方 インストール

ImageNetから取得した画像でデータセットを作って、分類してみた。 同じコードで、何故かうまく行く時と、そうでない時があって原因はよくわからない。1 notebookはこちら：https://gist.github.com/juntaki/263d9c43c0509c6610bdf95a59867e99 以下はノートの解説です。 データのダウンロード ImageNetで検索したURLリストを適当な場所に保存したら、画像をダウンロードする。 容量が異常に小さいものや、テキストファイルは失敗しているので捨てる。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最近のWebアプリの開発について情報収集してみて、Reactが流行っている、に辿り着くまでの結果をまとめた。 それぞれの技術はまだチュートリアルを触った程度なので、若干誤解があるかもしれない。 モジュール管理、ビルドツール、CommonJS、ES2015 学習コストが高い割に、細かい技術は長続きしなさそう。 npmとwebpackを使えば、一番環境構築にコストをかけずに済みそうだ。 javascriptの書き方はES2015に準拠するようにしておくと、RubyやPythonのようなLLの使用感に近くなっているように思えるので少しハードル

自分の備忘録も兼ねつつ。 MacからWindowsに引っ越しをしたところ、ローカルで使える開発環境を作り直すことになってしまい、めんどくさい。そこで、Docker toolboxを使って手軽に開発環境をデプロイできる仕組みを考えてみました。 仮想マシンを代々引き継いでもいいですが、Dockerで1から作り直せるようにつくっておけば、環境構築に凝る時間が減って生産的です。Dockerhubが構築してくれるのもお得な感じがします。 仕組み Dockerfileでtmux, fish-shell, spacemacsの環境と、golang, ruby, pythonの準備をしています。 最初の環境変数my_xxx, user, emailと、authorized_keysを書き換えてもらえれば流用できます。 https://github.com/juntaki/development-conta

詳解Linuxカーネルの5章カーネルの同期処理に関連する、Linuxのロックについて調べた。 ロックは共通関数が多そうなので、それらの仕組みから調べてみる。 カーネルバージョン v4.4 lock_acquire lockdep.hに実装されているマクロから、lock_acquire()はspinlock, rwlock(読み書き用spinlock), シークエンスロック, mutex, 読み書き用semaphoreで利用されているらしい。 これはlockdep-designのカーネルドキュメントにもあるように、ロックが正しいことを検証するためのデバッグのための関数である。 #define lock_acquire_exclusive(l, s, t, n, i) lock_acquire(l, s, t, 0, 1, n, i) #define lock_acquire_shared(l