はじめに ドワンゴではniconicoの配信系サービスのバックエンドで利用するために、Frugalosという名前の分散オブジェクトストレージを開発しているのですが、この度OSSとして公開することとなりましたので、この場を借りて軽く紹介させて貰います。 FrugalosはRustで実装されており、現時点では以下のリポジトリが公開されています: raftlog_protobuf: raftlogへのProtocol Buffersサポートの追加 “Frugalos"って何？ “Frugal object storage"の略です。 “frugal"は日本語では「倹約な」や「節約する」といった意味となり、「読み書き性能を犠牲にせずに、膨大な数のBLOB（Binary Large OBject）を、容量効率良く保持する」ことを目指して開発されているオブジェクトストレージです。 提供されている機能は

Table of Contents はじめに 経緯 二週間前にRustでツールを作り始めた記事を書きました。 本文にもある通り、シングルバイナリを作成できどこでも実行できると思ったのが理由の1つです。 しかし世の中はそう甘くありませんでした。 何が起きたかは次章で説明します。 筆者の環境 WindowsをホストOSとして、VMで16.04.5 LTS (Xenial Xerus)を使っています。 Rustのコンパイルも上記VMのUbuntu上で行っています。 筆者のスペック 先の記事にある通り、C系やローレイヤーの知識に疎いです。 そのおかげで随分と苦戦しました。 対象ツール 今回対象としたのは以下のツールです。 Miroirをお使いでなければ利用価値は全く無いと思いますので参考程度に.. 普通にビルドしてはどこでも実行できない 有識者の方なら当たり前の話なのですが、私の中ではシングルバイ

p398、17.3.6の下のコードブロック 【誤】 fn get_name() -> String { std::env::var("USER") std::env::var("USER") // Windows uses "USERNAME" Windowsでは"USERNAME" .unwrap_or("whoever you are".to_string()) } 【正】 fn get_name() -> String { std::env::var("USER") // Windows uses "USERNAME" Windowsでは"USERNAME" .unwrap_or("whoever you are".to_string()) } 訳者まえがき まえがき 1章　なぜRustなのか? 1.1　型安全性 2章　Rustツアー 2.1　Rustのダウンロードとインストール 2

Each year the Rust community comes together to set out a roadmap. This year, in addition to the survey, we put out a call for blog posts in December, which resulted in 100 blog posts written over the span of a few weeks. The end result is the recently-merged 2018 roadmap RFC. Rust: 2018 edition This year, we will deliver Rust 2018, marking the first major new edition of Rust since 1.0 (aka Rust 20

Very nice! Is there any plan to enable #[target_feature] attributes for things other than functions? For example, I’d expect that applying #[target_feature] to a module or an impl would be the same as applying it to every function or method in that module or impl. Instead, it seems to currently result in an ICE. Yes, I know about this RFC, but I don’t think it’s the best approach either. I had in

概要 Rust コードを Lambda 上で動かせたーと喜んだんですが、活用どころあるんだろうかと考えてみて検証してみました。 結果として Python 比較で1秒当たりで 15 倍ほど多く処理できました。 以下でつらつらと書いていってます。 前提: Lambda の環境について Python比で起動時間に差がない Rust はそこそこバイナリサイズが大きくなります。 前回書いた Kinesis から S3 へ保存するコードも、Lambda のコンソール上で 1MB という数字になってました。 ライブラリ結構使っているとはいえ、やっぱりでかいです。 当然デバッグ情報の削除やならんやらで小さくはなるのですが、 Python なら500 B 程度。 結果として初期の起動速度の差がでてるのかなーと考えてます。 ので、Rust を使うなら起動してすぐ結果をかえす場面でなく、そこそこじっくりと処理す

2. DPDK  Data Plane Development Kit  http://dpdk.org/  ユーザ空間で高速パケット処理を実現するライブラリ。BSD License.  C言語のAPIとして提供される。  基本的にLinux向け。(一部機能が未提供だが)FreeBSDでも動作する。  バージョン番号は年.月。(1.8.0や2.2.0は旧命名規則。かなり古い)  16.11.3がLTS(Long Term Support)  17.05 → 17.08 → 17.11 → と続いていく。 2 Kernel moduleはGPL 3. DPDKが使われているところ  高速なパケット転送を必要としている部分に採用されている。  基本的に、どれもC言語で実装されている。  Pktgen-dpdk パケットジェネレータ。  Soft patch panel

Replacing Elasticsearch with Rust and SQLite Published on: November 21, 2017 Caveat: Elasticsearch is a multi-purpose, distributed, battle-tested, schema-free, log and document storage engine. We’ll be replacing it with a single-purpose, relational schema, me-tested, and custom nginx access log storage engine. Knowing that, let’s begin. Find this project on Github After building my home server, I

A method for separating policy definition and behavior control by an intermediate language to achieve optimal server configuration management according to the situation

Mackerelは「エンジニアをワクワクさせる」ツールであることをサービスの大事な考え方の一つとして捉えています。 一体どういう場面でエンジニアはワクワクするのでしょうか。 簡単にインストールできるmackerel-agentや、直感的で触りやすい画面、チャットツールとの連携は大事な機能です。 しかし、監視ツールとしてもっと重要なのは、ミドルウェアのメトリックをどのように可視化し、何を監視するかということです。 Mackerelは公式のプラグインリポジトリに各種プラグインを揃えています (contributorの皆様ありがとうございます)。 これらはすべてGo言語で書かれています。 しかし、MackerelのプラグインはGo言語で書かなければいけない、ということはありません。 例えばカスタムメトリックのヘルプページのサンプルプラグインはRubyで書かれていますし、メタデータのヘルプのサンプ

最速で知る！ プログラミング言語Rustの基本機能とメモリ管理【第二言語としてのRust】 Rustは、新しいシステムプログラミング言語です。本稿では、基本的な構文に加えて、所有権、参照と借用、ライフタイムといった特徴的な機能によるメモリ管理を解説します。 κeen（@blackenedgold）です。Rustの入門を担当することになりました。基本的な文法と使い方を説明しつつ、Rustの特徴的な機能と、なぜその機能が必要かというモチベーションを紹介していけたらと思います。 Rustは非常に高機能であり、この記事ですべてを紹介できません。興味を持った方は、ぜひ公式ドキュメントを読んでみてください。私が管理している和訳もあります。 The Rust Programming Language プログラミング言語Rust Rustはシステムプログラミング言語 Rustのインストール Hello W

Rust言語による新しいDockerコンテナランタイム実装「Railcar」、オラクルがオープンソースで公開。なぜRustでコンテナランタイムを実装したのか？ Rust言語で実装したコンテナランタイムの「Railcar」を、オラクルがオープンソースとしてGitHubで公開しました。 Railcarはコンテナランタイム標準であるOCI（Open Container Initiative）に準拠してているため、Dockerのバックエンドとしても利用可能と説明されています。 なぜDockerをRust言語で実装するのか Railcarの公開を明らかにしたOracle Developers Blogに投稿された記事「Building a Container Runtime in Rust」によると、Rust言語でコンテナランタイムを実装した理由が次のように説明されています。少し長いのですが、引用し

κeenです。最近KeenS/transaction-rs: The transaction abstraction library and its executors for rustというライブラリをリリースしたのでそれについて。 モチベーション Rustでドメインロジックを書いていると以下のようなコードが出てきました。 (実際はもうちょっと複雑ですが本質ではないので簡略化します) struct GroupPgDao(r2d2::Pool<ConnectionManager<PgConnection>>); impl GroupPgDao { fn get_conn(&self) -> &PgConnection { /*... */ } fn delete_user(&self, user: &User, group: &Group) -> Result<()> { let cn =

Rust is a language for confident, productive systems programming. It aims to make systems programming accessible to a wider audience, and to raise the ambitions of dyed-in-the-wool systems hackers. It's been two years since Rust 1.0 was released. Happy second birthday, Rust! Rustaceans at RustFest Berlin, September 2016. Picture by Fiona Castiñeira Over these two years, we have demonstrated stabil

κeenです。 GoFのデザインパターンは有名ですが、言語機能によっては単純化できたりあるいは不要だったりするのでRust風に書き換えたらどうなるか試してみます。 発端はこのツイート。 デザインパターン、古いJavaの機能の足りなさのワークアラウンド的なテクニックも含まれてるからあまり宜しくないんだよね。enumやクロージャで十分なのもいくつかある。 Rustで写経、デザインパターン23種 - Qiitahttps://t.co/MhpS3Z2OlF — κeen (@blackenedgold) 2017年5月5日 一応誤解のないように説明しておくと、該当のQiitaの記事に不満がある訳ではなくてGoFのデザインパターンついての言及です。 リンク先のコードで十分な時にはここでは流すのでリンク先も同時に参照下さい。 また、比較しやすいようにサンプルコードはリンク先のものに則って書きます。

というタイトルですが、具体的には "Rustで拡張ライブラリ全体を書いた" のではなく "Cで拡張ライブラリの本体を書いてその中からRustのライブラリを呼んで、非同期でRust側からの結果を取得" してます。 ちなみに、Foreign Data Wrapper (FDW) とは、PostgreSQL管理外のデータソースにIOできるPostgreSQLのテーブルの一種です。今回の場合 "Treasure DataというSaaSに裏でクエリーを投げて結果を取得するFDW" となります。 github.com なぜこんなことをやろうかと思ったか？ もともとはMulticornという "Pythonで外部データソースにアクセスできる処理を書けるFDWフレームワーク" を用いて GitHub - komamitsu/td-fdw: Multicorn based PostgreSQL Foreig

May 5, 2017 · Brian Anderson, David Tolnay, and Aaron Turon To help bring our 2017 vision for Rust to fruition, the Rust subteams are launching initiatives targeted at specific roadmap goals. This post covers the library team's major initiative: raising a solid core of the Rust crate ecosystem to a consistent level of completeness and quality. This work is guided in part by what we learned in prod