TL:DR レポジトリ https://github.com/tanakh/easy-scraper ドキュメント 背景 このところ訳あってRustでHTMLからデータを抽出するコードを書いていたのですが、 既存のスクレイピングライブラリが（個人的には）どれもいまいち使いやすくないなあと思っていました。 HTMLから望みのデータを取り出すのはいろいろやり方があるかと思いますが、 ツリーを自力でトラバースするのはさすがにあまりにも面倒です。 近頃人気のライブラリを見てみますと、CSSセレクターで目的のノードを選択して、 その周辺のノードをたどるコードを書いて、 欲しい情報を取り出すという感じのものが多いようです。 RustにもHTMLのDOMツリーをCSSセレクターで検索して見つかったノードをイテレーターで返してくれたりする、 scraperというライブラリがあります。 例えば、<li>要素

ローカル環境に Rust をインストールすることなく、Rust の開発環境を構築していきましょう！ まずは Docker と VSCode の拡張機能 Dev Containers をインストールしておきましょう！ Microsoft 製のイメージを使う Dev Container で Rust を 簡単に使える ようにするには Microsoft 製のイメージがおすすめです。 devconainer.json を作成する ルートディレクトリに .devcontainer/devconainer.json を作成します。 なお、Rust で実装する際に便利な VSCode 拡張機能も定義してありますが、詳細については後述します。 { "name": "Rust Sandbox on Dev Container", "image": "mcr.microsoft.com/devcontain

Tauri2.0でデスクトップアプリを作成する前に、よく使うであろう基本的なカスタマイズをどのように実装すればよいか下調べした結果メモです。最初はTauri独自の書き方に慣れませんでしたが、慣れてくれば特に問題なく使用できそうでした。ただ、まだ2.0がリリースされて日が浅いからか英語でも情報が断片的にしか見つからなかったりで、結局doc.rsやGitHubのソースを確認する場面がそこそこありなかなか苦労しました。フロントエンドはSvelte5を使用しています。下調べの内容は色々実装した後に追記するかもしれません。 前提 環境 $ cargo tauri info [✔] Environment - OS: Debian 12.0.0 x86_64 (X64) ✔ webkit2gtk-4.1: 2.44.3 ✔ rsvg2: 2.54.7 ✔ rustc: 1.81.0 (eeb90cda

はじめに この記事では、個人プロジェクトとしてRust言語でリレーショナルデータベースを開発した経験（もう五ヶ月も前...）について、その成果と反省、得た学びを共有します。 DBMSを自作した理由 自分がDBMSの自作に着手したのは、『Designing Data-Intensive Applications』という本の内容を深く理解するためでした。 この本は、データシステムの設計と運用において最も大切な「信頼性」、「拡張性」、「保守性」を保証する方法論を、豊富な文献を引用しつつ、理論と実践の橋渡しを巧みに行いながら、丁寧に説明している名著です。読んだことがない人は速攻購入してくだい。本当にいい本です。 この本は、データベースの内部構造に関する話も豊富に含まれていたので、「データベース自作してみようか...」という気持ちになりました。 Rustを採用した理由 データベースの実装のついでに、

はじめに こんにちは、VRoid部所属のエンジニアのyueです。 この度VRoid Hubで3Dモデルの配信サーバーの見直しを行い、技術選定から始めRustとZstandard (zstd)を採用した実装に切り替えました。 結論から見るに従来のNode.js製サーバーと比べて以下のことを実現しました。 最大のレスポンス時間が 1.5　~　2.5s から 300　~　400msまで低下 平均のレスポンス時間が 700　~　800ms から 150　~　200msまで低下 サーバーのCPU使用率が ~　50% から ~　10%まで低下 docker image のサイズが ~　346mb から ~　21mb程度まで削減 配信されるファイルサイズが平均 10 ~ 20% 軽量化されました レスポンス時間 CPU使用量 (上からAVG(MAX), AVG, AVG(MIN)) メモリー使用量に関し

最近 ratatui という crate に Small String Optimization を利用した最適化を入れたので，その話を書きます． 目次 Small String Optimization (SSO) とは（SSO を既に知っている人は読み飛ばして大丈夫です） Rust で SSO を適用した文字列型を提供する crate 比較 SSO を利用して ratatui のメモリ効率と実行効率を最適化した話 compact_str crate の実装の最適化の話 インラインストレージに24バイト全てを使える理由 隙間最適化のための工夫 説明を簡潔にするため，特に断りが無い場合 64bit アーキテクチャを前提とします． Small String Optimization (SSO) とは Rust の可変長文字列型 String は文字列バッファへのポインタ，文字列の長さ，バッフ

はじめに 面白いゲームを作りたい！と思ったら、試行錯誤をどうしても必要。 作ってみたけど、イマイチだったから、こう変えたい、なんて事は日常茶飯事です。 プログラマーは、降りてきた仕様をそのまま実装するのでなく、将来の仕様変更を見越しつつ、現実的な工数で、柔軟でメンテナンス性の高い、ソフトウェア設計をしなければなりません。 今まで私が経験してきた多くのプロジェクトは、オブジェクト指向による設計をしていました。 しかし、開発が進み、仕様変更を繰り返すうちに、いつしかスパゲッティコードになり、どのデータがどのデータに依存して変更されるのか、分からなくなっていく… そのパターンがいつも繰り返されています。（読者の中にも、そんな方、いらっしゃるのではないでしょうか？） Rust 今までC++やC#でのゲーム開発をしてきましたが、そもそもの言語設計が、オブジェクト指向をベースとしています。よってどうし

Rust製ブラウザエンジンの「Servo」、アプリに組み込み可能なクロスプラットフォーム対応WebView化を目指す。Electron代替を目指す「Tauri」への組み込み実現へ Rust製のWebブラウザエンジンとして開発が進められている「Servo」は、Servoをアプリケーションに組み込み可能なクロスプラットフォーム対応WebVeiwとする方向で開発を進め、それをアプリケーションフレームワークのTauriと協力してTauriがサポートする予定であることを発表しました。 TauriはElectronの代替を目指す、Web技術を用いてアプリケーションを開発するためのフレームワークです。 参考：Electron代替を目指すRust製フレームワーク「Tauri」がバージョン1.0に到達、Windows/Mac/Linuxに対応 現在のTauriは、UIのレンダリングエンジンとして、Windo

3.8 seconds for a tree-walking implementation or under 1 second when compiled to bytecode and executed inside a virtual machine. Also included is CPython 3.10, which also uses bytecode but is not known to be particularly fast. Now, let's see if we can beat these times using Rust. First benchmarks using a tree-walking interpreter Fast forward some time, we now have a first draft of a working interp

Over the years, our usage of NGINX has run up against limitations. For some limitations, we optimized or worked around them. But others were much harder to overcome. The NGINX worker (process) architecture has operational drawbacks for our use cases that hurt our performance and efficiency. First, in NGINX each request can only be served by a single worker. This results in unbalanced load across a

Simple rust interview questionsBy flakm May 8, 2022 - 8 minutes read - 1511 words What is a good interview question?For some time now I’ve been using interview questions on Reddit and SO to check my progress in learning Rust. Sadly apart from a huge will to share and teach in the community ❤️ I’ve also seen some ego-boosting toxicity. Maybe suggesting my perspective will interest you. I strongly b

Bring real-time materialized views to your existing databases