@znz blog

macOSがsudo_localに対応してpam_tid.so設定が永続化できるようになっていた

Mon, 16 Dec 2024 02:30:00 +0000

macOS のどのバージョンからなのか確認していませんが、 sudo_local に対応して pam_tid.so (Touch ID 対応) 設定が永続化できるようになっていたのに最近気付きました。

確認バージョン

macOS Sequoia 15.2
macOS Sonoma 14.7.1

設定方法

.template がついているファイルをコピーして、 sudo -e (他環境の sudoedit と同じ意味だが macOS には sudoedit がない) などでコメントアウトされている pam_tid.so の行の行頭の # を削除して有効にします。

sudo cp /etc/pam.d/sudo_local{.template,} sudo -e /etc/pam.d/sudo_local 

気付いたきっかけ

Sequoia 15.2 に上がったタイミングでいつものように内容が元に戻っている /etc/pam.d/sudo を編集しようと思ったときに、いつもより内容をちゃんとみてみると、 auth include sudo_local の行に気付きました。

そして sudo_local.template というファイルの存在にも気付いて、内容を確認すると pam_tid.so の設定の永続化を想定しているようでした。

% cat /etc/pam.d/sudo # sudo: auth account password session auth include sudo_local auth sufficient pam_smartcard.so auth required pam_opendirectory.so account required pam_permit.so password required pam_deny.so session required pam_permit.so % cat /etc/pam.d/sudo_local.template # sudo_local: local config file which survives system update and is included for sudo # uncomment following line to enable Touch ID for sudo #auth sufficient pam_tid.so 

その他の macOS での対応状況

ひとつ前の Sonoma でも対応しているのは確認できて、ちょっと検索した感じだともっと前のバージョンから対応していそうな可能性がありました。

まとめ

sudo_local で pam_tid.so の設定が macOS の更新をしても残せそうということがわかりました。 (この設定後の更新がまだないので確認はできていない。)

sudo の設定変更はミスすると sudo が使えなくなって非常に困るので、その設定を毎回しなくてよくなるというのは非常に良さそうでした。

ruby-jp Slack の #apple_followers でちょっと発言してみたところ、 sudo_local のことだけじゃなくて、そもそも pam_tid.so を知らなかったという話もあったので、 sudo のときのパスワード入力が面倒だと思っていた人は設定してみてください。

rubocopコマンドで使うstandard gemベースの設定を更新した

Thu, 12 Dec 2024 10:00:00 +0000

rubocopコマンドでstandard gemベースの設定を使うで設定した内容から、いつの間にか変更が必要になっていたので、設定を更新しました。

動作確認バージョン

ruby 3.2.6
rubocop 1.68.0
standard 1.42.1
standard-custom 1.0.2
standard-performance 1.5.0

差分

最初に差分をのせておきます。

require: の standard/cop/block_single_line_braces を standard-custom に変更しています。

inherit_gem: に standard-custom: config/base.yml と standard-performance: config/base.yml を足しています。

diff --git a/.rubocop.yml b/.rubocop.yml index 59563e0..da89d44 100644 --- a/.rubocop.yml +++ b/.rubocop.yml @@ -6,10 +6,12 @@ require: - rubocop-performance - rubocop-rails - rubocop-capybara -- standard/cop/block_single_line_braces +- standard-custom   inherit_gem: standard: config/base.yml + standard-custom: config/base.yml + standard-performance: config/base.yml   AllCops: Exclude: 

きっかけ

仕事で関わっている rails アプリで .github/dependabot.yml に

 allow: - dependency-type: all 

を追加したところ、 standard-performance gem の更新の pull request も作成されていて、気になって調べたところ、 Performance の cop が rubocop-performance gem に分離された影響で Performance department の設定が standard-performance gem に分離されているようでした。

standard/cop/block_single_line_braces として standard gem に同梱されていた独自 cop がいつの間にか standard-custom gem に分離されていました。

最小設定

現状で新規設定するなら必要なものは以下のようになりそうです。

require: - rubocop-performance - standard-custom inherit_gem: standard: config/base.yml standard-custom: config/base.yml standard-performance: config/base.yml 

他の設定については、以前の記事を参考にしてください。

最後に

standard gem を直接使わずに rubocop 経由で設定だけ使うということをしているので、 standard gem の変更もある程度追いかけておく必要がありそうでした。

RBS入りのWEBrick gemをリリースした

Tue, 05 Nov 2024 03:00:00 +0000

WEBrick 1.9.0 として RBS による型情報つきの gem をリリースできたので、そのメモです。

バージョン

動作確認に使ったバージョンはこのあたりでした。

ruby 3.3.5
rbs 3.6.1
steep 1.8.3
webrick 1.8.2 → 1.9.0

使い方

rbs_collection.yaml がなければ rbs collection init で作成するなどして用意しておいて、以下のように gems に - name: webrick を追加して、 rbs collection install や rbs collection update を実行すると、 rbs_collection.lock.yaml が更新されて steep などで型情報が使えるようになりました。

gems: - name: webrick 

rbs_collection.lock.yaml には以下のように source.type: rubygems で追加されていました。

- name: webrick version: 1.9.0 source: type: rubygems 

ffi 1.17.0 は https://github.com/ffi/ffi/issues/1107 の問題があるので、以下のように name: ffi に ignore: true を設定したものを gems: に追加しています。

gems: - name: webrick - name: ffi ignore: true # https://github.com/ffi/ffi/issues/1107 

現状の型情報

typeprof で生成された https://github.com/ruby/webrick/pull/115 やソースコードを参考にしつつ、 rbs prototype rb で生成した *.rbs を更新する方法で、 https://github.com/ruby/webrick/pull/151 として追加しました。

2週間ぐらいかけて一通りざっと対応しただけなので、まだ https://github.com/ruby/webrick/pull/155 のように間違っている部分や考慮不足で使いにくい部分もあると思うので、改善案などあれば pull request や issue を作成してもらえると良さそうです。

型付け中にひっかかった部分

singleton(ClassName)

例外クラスの指定のようにクラスオブジェクト自体が引数になるときは、 singleton(ClassName) のように singleton を使う、というのが知らないと難しそうだった。

def self.register: (Numeric seconds, singleton(Exception) exception) -> Integer

const_set で定義されている定数

webrick/httpstatus const_set されている定数は以下で補ったので、 VSCode に Steep 拡張機能を入れているときに WEBrick::HTTPStatus::RC_OK: 200 などがホバーで確認できたり、補完がきいたりして便利です。

require 'webrick' puts WEBrick::HTTPStatus::constants.grep(/\ARC_/).map{"#{_1}: #{WEBrick::HTTPStatus.const_get(_1)}"} puts WEBrick::HTTPStatus::CodeToError.each_value.map{"class #{_1.name.split(/::/).last} < #{_1.superclass.name.split(/::/).last}\nend"} 

method alias chain されているメソッド

Non-overloading method definition of `parse` in `::WEBrick::HTTPRequest` cannot be duplicated(RBS::DuplicatedMethodDefinition) 

は https.rbs に重複定義があったので、 | ... を追加して、

 alias orig_parse parse def parse: (?(TCPSocket | OpenSSL::SSL::SSLSocket)? socket) -> void | ...

のように定義して回避しました。

orig_parse に再定義前の型が保存されているわけではなく、再定義した parse と同じ型になってしまうようなので、厳密には alias ではなく def orig_parse: 元の型 にした方が良さそうでしたが、直接使うメソッドではないと思って、そこはがんばらずに自動生成されたままにしました。

いろいろな body

webrick/httpresponse は body に悩んで、コメントの

 # Body may be: # * a String; # * an IO-like object that responds to +#read+ and +#readpartial+; # * a Proc-like object that responds to +#call+. 

を参考にして、

 interface _CallableBody def call: (_Writer) -> void end attr_accessor body: String | _ReaderPartial | _CallableBody

にしました。

#read は呼ばれていなかったので、 _Reader & _ReaderPartial ではなく _ReaderPartial だけにしました。

書き込みは write のみだったので、 socket の型は _Writer にしました。

`=` つきメソッド

= つきのメソッドの返り値でちょっと悩んでしまいましたが、他の RBS ファイルを確認すると右辺の値の型をそのまま書くようだったので、そうしておきました。

singleton

set_redirect は singleton を使って Redirect 系の例外クラスならどれでも受け付けるように

 def set_redirect: (singleton(WEBrick::HTTPStatus::Redirect) status, URI::Generic | String url) -> bot

にしました。

read_body

IO? 型が渡せなくなるらしいという話があったので、 IO socket を IO? socket に変更した方がいいかもしれないと思ったのですが、返り値も String? になってしまうので、とりあえずそのままにしました。実用上問題があれば、ユースケースと一緒に pull request を作ってほしいです。

最初は void block にしていたのですが void は返り値以外で書ける位置が制限されているらしいので top に変更しました。

 def read_body: (IO socket, body_chunk_block block) -> String | (nil socket, top block) -> nil

Servlet の config や options の問題

AbstractServlet は @config が HTTPServer で FileHandler は Hash[Symbol, untyped] で困ったので、

 class AbstractServlet @server: HTTPServer interface _Config def []: (Symbol) -> untyped end @config: _Config

にしました。

@options も AbstractServlet は Array[untyped] で FileHandler は Hash[Symbol, untyped] なので、 AbstractServlet の方は untyped にしました。

返り値の型

do_GET などが AbstractServlet は -> bot で FileHandler で -> void にしたのは型エラーにはならなかったので、継承で返り値がこのように変わるのは大丈夫のようです。

Enumerable の型

rbs prototype rb で自動生成されただけの cgi.rbs に型エラーがあると思って確認すると、こんな感じで include Enumerable[untyped] になっていないからでした。

% cat a.rb class C include Enumerable def each yield nil end end % rbs prototype rb a.rb class C include Enumerable  def each: () { (untyped) -> untyped } -> untyped end 

rbs prototype rb は対応していなくて、 typeprof なら対応してそうでした。 rbs prototype には rbs prototype runtime もあるらしく、そちらなら対応しているらしいです。

位置引数でも &block でも受けとる場合の型

webrick/httpserver.rbs で

 def mount_proc(dir, proc=nil, &block) proc ||= block raise HTTPServerError, "must pass a proc or block" unless proc mount(dir, HTTPServlet::ProcHandler.new(proc)) end 

に対応する型として、

 def mount_proc: (String dir, ?HTTPServlet::ProcHandler::_Callable proc) -> void | (String dir, ?nil proc) { (HTTPRequest, HTTPResponse) -> void } -> void

としてみました。

型付け後からリリースまでにひっかかった部分

確認のしやすさの都合で、 bitclust の型付け作業をしている作業ディレクトリで webrick の rbs も作成していました。

そこから ruby/webrick にコピーして pull request を作成しました。

その前に手元で rake build して rake install:local して動作確認していました。

その結果、 manifest.yaml は gemspec と同じトップではなく sig/manifest.yaml に置く必要があるとわかりました。

リリースされる gem に rbs ファイルを含めるには webrick.gemspec で sig/**/*.rbs などを s.files に追加する必要がありました。

stringio を manifest.yaml に入れるとエラーになって困ったので調べてみると、 https://github.com/ruby/rbs/tree/master/core にあったので、 core のライブラリは不要なのかも、と思って書かなかったらエラーが消えました。 require が必要なのに stringio が core に入っているのは分類ミスのようなので、そのうち移動するかもしれないようです。

直接のリリース権限はないので、他の標準添付から分離されたり、されつつある gem と同じように https://github.com/ruby/webrick/blob/master/.github/workflows/push_gem.yml が追加されて、タグの push でリリースができました。

最後の Create GitHub release の GITHUB_TOKEN の secrets の設定ミスがあったらしく、タグを消して push しなおしたら、gem のリリースの方でリリース済みバージョンということでそこまで進まなかったので、今回だけ gh release create v1.9.0 --verify-tag --generate-notes は手元で実行しました。

そもそもの経緯

RBS による型付け作業を開始した bitclust が webrick にも依存していて、 webrick の使っている部分だけ型付けをしてエラーがでないようにしていました。

しばらくして bitclust の型付けである程度ノウハウがたまったので、 webrick の型がちゃんとついている方が良さそうと思ったので、 bitclust 自体の作業を中断して、 webrick の方を一気に対応しました。

最後に

webrick は production 環境では使うべきでない、というものなので、一般公開用のサーバーとして使うことはないと思いますが、限定された環境でのサーバーやソースコードを読む対象としてはまだまだ使われることがあると思うので、機会があれば webrick の rbs を有効利用してみてください。

Kaigi on Rails 2024に現地参加した

Sat, 26 Oct 2024 14:59:00 +0000

年末に思い出しながら、 Kaigi on Rails 2024 の参加記録を書いておきます。

特に何もなければ今まで通りオンラインで視聴すればいいかと思っていたのですが、出張として行けることになったので、初めて現地参加しました。

会場

有明ということで、最近のLLイベントの会場の近くだったので、あまり迷わずに行けました。

宿は、近くのカプセルホテルが一番安かったのですが、以前にとまったときにシャワーのみで辛かったので、他のところにしました。

発表

2トラックで聞きたい話が重なっていることも多くて迷ったのですが、事前の勉強会で発表一覧を予習していたのも参考にしつつ決めてみていました。

きいた中ではデプロイを任されたので、教わった通りにデプロイしたら障害になった件〜俺のやらかしを越えてゆけ〜が特に良かったです。怒られの話だとつらそうだからきかなかったという人もいたようですが、そういうことはなく、そういう点では安心してきける話でした。

ActiveRecord SQLインジェクションクイズ (Rails 7.1.3.4) はバージョンによるのでは? と思う問題もありましたが、たぶん新しい方の話だろうと思って答えていたら全問正解できました。後で気付きましたが、タイトルに対象バージョンが書いてありました。

他にもいい話や参考になりそうな話が多かったです。

ブース

休憩時間や発表をみるのを諦めていた時間にまわりました。

大阪万博のチケット1枚が当たったのが一番の収穫でした。

他にもいろいろ楽しめました。

感想

セッションの内容だけなら、オンライン視聴や後日公開された録画を見るだけでも良いのですが、現地参加ならではの集中してきける環境や、セッション以外の交流も楽しめました。

会場は東京まで行くことを考えるとどこでも大差ないかと思っていましたが、近くの宿のとりやすさを考えると、ある程度差があったと思いました。

松江Ruby会議11に参加して発表してきた

Sat, 05 Oct 2024 14:59:00 +0000

年末に思い出しながら、松江Ruby会議11 の参加記録を書いておきます。

きっかけ

同僚の人が CFP に応募してみたらどうかという感じの一覧にあったので応募してみたところ、通ったので発表しに行くことになりました。

会場

松江駅前だったので、迷わずに行けました。

松江は久しぶりで、前回行ったのがいつだったのかはっきりしないのですが、手元の記録に残っているのが 2007-10-27 で、その日の松江のイベントを調べてみると、 Ruby技術者認定試験(第1回)の記念受験のときだったようです。

感想

人手が足りないので手伝ってほしいという話が他にもあって、どこも人は足りていないんだなあという感じでした。

自分の発表

rurema の Markdown 対応の進捗報告や手伝ってほしいところなどの話をしました。

スライドはいつも通り Rabbit Slide Show (RubyGems), SlideShare, Speaker Deck にあげています。(ソースは github にあげています。)

Rubyの日本語リファレンスマニュアルの現在と未来

会議後

何人かで松江城まで歩いていって、イベントをやっているのをみに行きました。

翌日もまた松江城に行って、お城の中まで入るなどの観光をしてから帰りました。

docker-webtop を使って VPS 上でブラウザーを動かす

Wed, 18 Sep 2024 09:00:00 +0000

linuxserver/docker-webtop を使って VPS 上でブラウザーを開きっぱなしにする環境ができたので、そのメモです。

やりたかったこと

VPS 上でブラウザーを動かして、Cookie Clicker のように開きっぱなしにして放置しておくと良いものに使いたい、と思っていました。

失敗案

libvirt で VNC を有効にして WireGuard 経由で接続するという案もあって、環境構築はうまくいったのですが、 ConoHa VPS の環境で KVM が有効にできなくて遅すぎて実用になりませんでした。

方法としては virsh edit で <video> の上に以下のように追記するか、 virt-xml $name --add-device --graphics "vnc,port=5900,listen=$(ip -br addr show dev wg0 | awk '{sub("/.*","");print $3}'),keymap=ja,passwd=1234" のように virt-xml で追加すればうまくいきました。

 <graphics type='vnc' port='5900' autoport='no' listen='2001:db8:a987:6543::c0' keymap='ja' passwd='1234'> <listen type='address' address='2001:db8:a987:6543::c0'/> </graphics> 

変更しなくても動くかもしれませんが、なんとなく遅そうな気がしたので、 <model type='cirrus' vram='16384' heads='1' primary='yes'/> は適当に <model type='virtio' vram='65536' heads='1' primary='yes'/> に変更しました。 qxl は指定する属性が違っているようで単純な置き換えは難しそうだったので、 virtio を試しました。

前述のように KVM が使えなくて遅すぎたので、この変更の影響がどのくらいあったのかはわかりませんでした。

webtop とは?

GUIと日本語環境が使えるお手軽Docker環境の使い方で GUI 環境を Docker で簡単に使う方法として紹介されていました。

linuxserver/docker-webtop: Ubuntu, Alpine, Arch, and Fedora based Webtop images, Linux in a web browser supporting popular desktop environments. を見るとわかるように、いくつかのディストリビューションとデスクトップ環境が用意されています。

その中で KasmVNC のサーバーも一緒に動いていて、それをブラウザーで開いてリモートから使える、という仕組みになっているようです。

検索するときに webtop だけだと他のものもひっかかるので、「docker webtop」や「linuxserver webtop」で検索すると良さそうです。

最終的な compose.yaml の例

最終的にはこのような compose.yaml で動かしています。初回起動の処理は時間がかかるのと、失敗することがあるようなので、接続してみてうまく初期設定されていないようなら、 ./data も含めて消して作りなおすのが良さそうです。

--- services: webtop: image: lscr.io/linuxserver/webtop:ubuntu-kde container_name: webtop security_opt: - seccomp:unconfined #optional environment: - PUID=1000 - PGID=1000 - TZ=Asia/Tokyo - SUBFOLDER=/ #optional - TITLE=Webtop #optional - DOCKER_MODS=linuxserver/mods:universal-package-install - INSTALL_PACKAGES=etckeeper|fonts-takao|bash-completion - LC_ALL=ja_JP.UTF-8 volumes: - ./data:/config - /var/run/docker.sock:/var/run/docker.sock #optional ports: - "[2001:db8:a987:6543::c0]:3000:3000" # - 3001:3001 # devices: # - /dev/dri:/dev/dri #optional shm_size: "1gb" #optional restart: unless-stopped 

日本語化

参考にしたサイトでは Dockerfile で apt-get を使ってインストールしていましたが、 DOCKER_MODS=linuxserver/mods:universal-package-install という公式の方法でインストールできました。 INSTALL_PACKAGES の指定は | 区切りで複数パッケージのインストールができました。

公式サイトの例にある latest は alpine なので font-noto-cjk ですが、 Debian や Ubuntu だと fonts-noto-cjk と fonts の s がつくので、 image: だけ変えても ubuntu だとフォントがインストールされなくて、しばらく悩んでいました。

--- services: webtop: image: lscr.io/linuxserver/webtop:latest container_name: webtop security_opt: - seccomp:unconfined #optional environment: - PUID=1000 - PGID=1000 - TZ=Asia/Tokyo - SUBFOLDER=/ #optional - TITLE=Webtop #optional - DOCKER_MODS=linuxserver/mods:universal-package-install - INSTALL_PACKAGES=font-noto-cjk|font-ipa - LC_ALL=ja_JP.UTF-8 volumes: - ./data:/config - /var/run/docker.sock:/var/run/docker.sock #optional ports: - "[2001:db8:a987:6543::c0]:3000:3000" # - 3001:3001 # devices: # - /dev/dri:/dev/dri #optional shm_size: "1gb" #optional restart: unless-stopped 

volumes

volumes で共有している ./data にホームディレクトリの内容があるので、適当にホスト側との共有に使えそうです。

ports

例のまま 3000:3000 だけで起動してしまうと VPS の外からも丸見えになってしまったので、 WireGuard で使っている IPv6 アドレスに制限しています。

ブラウザーで開くのは open -na "Google Chrome" --args --user-data-dir="$HOME/tmp/chrome-user-data" --window-size=1280,1024 'http://[2001:db8:a987:6543::c0]:3000' のように普段のブラウザーとは分離しています。

再接続でリサイズすると落ちることがあったので、念のためにサイズも固定しています。

3001 の https 接続の方はまだ試していません。

KasmVNC での操作

左にメニューが隠れていて、それを開いてクリップボードの操作などができました。

メニューを開いているときに上にスピーカーの共有などのスイッチもあったので、それをオンにしてリモートで YouTube などで音声を再生すると、ちゃんと聞こえました。

ブラウザーを閉じる前にメニューから切断をしておくと、今のところ再接続で落ちていません。

仕組みをちょっと深堀り

複数ディストリビューション共通で systemd ではなく s6 を使っているようでした。

例にあった DOCKER_MODS の指定は linuxserver/docker-mods が関係しているようで、 linuxserver/mods:universal-package-install は universal-package-install ブランチにありました。

INSTALL_PIP_PACKAGES にも対応しているようなので、それでインストールできる環境の構築は compose.yaml だけで完結できそうです。

他の DOCKER_MODS も linuxserver/docker-mods などから探すと便利そうです。

DOCKER_MODS の複数指定は INSTALL_PACKAGES と同じように | 区切りのようです。

まとめ

docker-webtop でリモートでのブラウザーの開きっぱなしが実現できました。

Webtop 2.0 - The year of the Linux desktop によると docker-vscodium などの他のアプリ用のイメージも用意されているようなので、用途にあうものがあれば簡単に使えそうです。

resticバックアップの設定を調整した

Tue, 27 Aug 2024 10:00:00 +0000

前回の記事では exclude 指定が途中までだったので、その見直しなどをしてバックアップを続けているので、その差分などのメモです。

確認バージョン

rclone v1.67.0
restic 0.17.0

前提条件

バックアップ用の backup-operator というユーザーを既に作成済みです。
InfiniCLOUD で「外部アプリ接続」を許可して WebDAV の接続情報を取得済みで、バックアップ容量を確認しやすくしたり、不要になったときに削除しやすくしたりするために、データセット名 /files/restic/ホスト名 でデータセットを作成しています。 (この記事を参考にして登録するなら紹介コード FRBVA を使うと 5GB 貰えるそうです)

systemd unit の変更

unit はこのように変更しました。

[Unit] Description=Restic Backup [Service] Type=oneshot User=backup-operator Group=backup-operator AmbientCapabilities=CAP_DAC_READ_SEARCH Environment=RESTIC_PASSWORD_FILE=/home/backup-operator/.config/rclone/InfiniCLOUD.restic.password RESTIC_REPOSITORY=rclone:InfiniCLOUD-restic: ExecStart=/usr/local/bin/restic unlock ExecStart=/usr/local/bin/restic backup --exclude-caches --one-file-system --tag scheduled,boot /boot ExecStart=/usr/local/bin/restic backup --exclude-caches --one-file-system --exclude-file=/home/backup-operator/.config/rclone/restic.excludes.txt --tag scheduled,root / ExecStart=/usr/local/bin/restic check --with-cache --read-data-subset=5G ExecStart=/usr/local/bin/restic forget --prune --keep-hourly 24 --keep-daily 30 --keep-monthly 6 --keep-weekly 4 --keep-yearly 3 Nice=5 IOSchedulingClass=best-effort IOSchedulingPriority=5 

変更点としては、以下のような感じです。

mount したときの latest は boot よりも root になっていてほしいので、順番を入れ替えた。
--tag に boot と root のパーティション名も足した。
--exclude-file で除外設定ファイルを指定した。

除外設定ファイル

/home/backup-operator/.config/rclone/restic.excludes.txt には以下の内容を設定しました。サーバーによっては存在しないファイルもありますが、複数サーバーで共通にしています。

/aquota.group /aquota.user /dev/** /lost+found/** /swapfile /tmp/** /var/lib/docker/** /var/tmp/** 

それぞれ以下のような理由で設定しています。

ユーザーごとの使用量をチェックしやすくするために入れている quota のファイルを無視
/dev/ は --one-file-system で除外されるはずですが、 /run などとの動作の比較のため明示的に除外
/lost+found/ はバックアップしても問題はないのですが、不要なことが多いので除外
/swapfile はスワップパーティションではなくスワップファイルで設定しているサーバーがあったため、無駄にバックアップ容量を使ってしまうので除外
/tmp や /var/tmp は不要なファイルのみ存在するべきなので除外
/var/lib/docker は docker の中は別の方法でバックアップすべきなので除外

/var/cache も除外しても良いのですが、まだ除外せずに様子をみています。

restic mount

マウントするディレクトリを用意してマウントします。 restic mount は Ctrl-c で止めるまで他の操作ができなくなるので、別端末で中身を確認します。

% sudo -u backup-operator mkdir /tmp/restic % restic.sh mount /tmp/restic

fusermount: exec: "fusermount": executable file not found in $PATH で mount に失敗するときは fuse パッケージを入れる必要がありました。

別端末で ls や別シェルを開いて確認します。

% sudo -u backup-operator ls -al /tmp/restic/snapshots/latest/ % sudo -u backup-operator /bin/bash 

systemd-run --pipe 経由だと Ctrl-c でちゃんと止まらなかったので、 sudo -u backup-operator fusermount -u /tmp/restic で止めました。

最初は気付かずに二度目以降のマウントがうまくいかないと勘違いして、 sudo RESTIC_PASSWORD_FILE=/home/backup-operator/.config/rclone/InfiniCLOUD.restic.password RESTIC_REPOSITORY=rclone:InfiniCLOUD-restic: XDG_CONFIG_HOME=/home/backup-operator/.config restic mount /tmp/restic のように root 権限でマウントし直してしまっていましたが、ちゃんと止まっていなかっただけでした。

macOS のバックアップ

macOS は以下のような設定をして while sleep 3600; do date; ~/.config/rclone/restic-backup.sh; date; done を開きっぱなしの端末の1タブで回しています。出かけるときなどには簡単に止められるように自動実行にはしていません。

Library の中身がバックアップできていないので、そちらは今のところ Time Machine バックアップ任せになっています。

除外にはバックアップファイルの他に、容量の大きいファイルやディスクイメージファイルを指定していて、こちらも今後さらに検討が必要そうです。

% cat ~/.config/rclone/restic-backup.sh #!/bin/bash # usage: # ~/.config/rclone/restic-backup.sh # env tag=manual ~/.config/rclone/restic-backup.sh #if [[ -n $(pgrep 'restic' | grep 'restic backup') ]]; then if [ -n "$(pgrep 'restic')" ]; then echo 'restic is already running...' 1>&2 exit 0 fi set -ux : "${tag=scheduled}" ~/.config/rclone/restic.sh unlock ~/.config/rclone/restic.sh backup --exclude-caches --one-file-system --skip-if-unchanged --tag "${tag},Movies" "$HOME/Movies" ~/.config/rclone/restic.sh backup --exclude-caches --one-file-system --skip-if-unchanged --tag "${tag},Downloads" "$HOME/Downloads" ~/.config/rclone/restic.sh backup --exclude-caches --one-file-system --exclude-file="$HOME/.config/rclone/restic.excludes.txt" --tag "${tag},home" "$HOME" ~/.config/rclone/restic.sh check --with-cache --read-data-subset=5G ~/.config/rclone/restic.sh forget --prune --keep-hourly 24 --keep-daily 30 --keep-monthly 6 --keep-weekly 4 --keep-yearly 3 % cat ~/.config/rclone/restic.excludes.txt # macOS /Users/*/.Trash /Users/*/Library/** # [...] node_modules *~ *.o *.lo *.pyc # .gnupg .#* # lima,colima cidata.iso basedisk diffdisk # misc /Users/*/.dropbox/** /Users/*/.npm/** /Users/*/.ollama/models/** /Users/*/.rustup/** # my temp data /Users/*/.anyenv/** /Users/*/s/github.com/ruby/ruby/build/** *.sparsebundle *.qcow2 diff.img # 別途バックアップ /Users/*/Downloads/** /Users/*/Movies/** # 別途バックアップ予定 # Library の中で個別にバックアップ可能なもの 

最後に

restic でのバックアップの現状の差分をまとめてみました。

とりあえず継続的にバックアップが取れているので、 VPS の OS のバージョンアップなどの大きな変更もやりやすくなったので、古いままになっているのを更新していきたいと思っています。

大阪Ruby会議04に参加した

Sat, 24 Aug 2024 14:59:00 +0000

年末に思い出しながら、大阪Ruby会議04 の参加記録を書いておきます。今回はスタッフとして受付をしていたり、スポンサーLTで発表したりしました。

会場

中之島フェスティバルタワー・ウエスト4階中之島会館というところで、同じフロアの反対側に美術館の入口がありました。 4階までの行きかたはちょっとわかりにくかったですが、案内を探せばすぐに行けました。

地下鉄に乗り換えれば会場の近くまで行けるようでしたが、乗り換え待ちや移動などを考えると、梅田から直接歩いた方が早そうだったので、梅田まで電車で出た後は歩いていきました。

途中

発表中の受付は他のスタッフの人にまかせて、発表をきいていました。色々な話があって面白かったです。

自分の発表

仕事で関わっていたお客様の Rails アプリで devise-two-factorを 4.x から 5.x に上げた話をしました。 Rails と同時に上げる必要があり、かつデータベースのデータの持ち方の非互換があるので、もし下げる場合にそなえた対応もしていた、という話でした。

スライドはいつも通り Rabbit Slide Show (RubyGems), SlideShare, Speaker Deck にあげています。(ソースは github にあげています。)

devise-two-factorを4.xから5.xに上げた話

昼食

数名でドーチカまで歩いていって、食事をして帰りました。

懇親会

発表についての反応がもらえたり、いろんな人と交流ができたりして良かったです。

感想

あまりメモを取らずにできるだけ話を聞くのに集中していましたが、キーワードだけでもメモをとっておかないと、後から思い出すのに不便だったので、来年はまた工夫したいと思いました。

restic+rcloneでInfiniCLOUDにバックアップするようにした

Thu, 08 Aug 2024 10:00:00 +0000

確認バージョン

Ubuntu 20.04.6 LTS
rclone v1.67.0
restic 0.17.0

前提条件

バックアップ用の backup-operator というユーザーを既に作成済みです。
InfiniCLOUD で「外部アプリ接続」を許可して WebDAV の接続情報を取得済みで、バックアップ容量を確認しやすくしたり、不要になったときに削除しやすくしたりするために、データセット名 /files/restic/ホスト名 でデータセットを作成しています。 (この記事を参考にして登録するなら紹介コード FRBVA を使うと 5GB 貰えるそうです)

インストール

apt や snap でインストールできるバージョンは古いので、最新版をダウンロードしてインストールしました。

rclone は https://rclone.org/downloads/ から「Intel/AMD - 64 Bit」の .deb をダウンロードしてインストールしました。

% wget -N https://downloads.rclone.org/v1.67.0/rclone-v1.67.0-linux-amd64.deb % sudo dpkg -i rclone-v1.67.0-linux-amd64.deb 

restic は Official Binaries にリンクがある GitHub Releases からダウンロードしてインストールしました。

% wget -N https://github.com/restic/restic/releases/download/v0.17.0/restic_0.17.0_linux_amd64.bz2 % bunzip2 restic_0.17.0_linux_amd64.bz2 % sudo install restic_0.17.0_linux_amd64 /usr/local/bin/restic 

Full backup without root に書いてあるようにバックアップを実行するユーザーにだけ実行できるようにして、 setcap するという方法もあるのですが、今回は systemd.exec の AmbientCapabilities= を使いました。

setcap を使うなら以下のような感じになります。 setcap の方が rclone には権限が渡らなくて安全だと思うのですが、今回は利便性をとりました。

% sudo install -o root -g $GID -m 750 restic_0.17.0_linux_amd64 /usr/local/bin/restic % sudo setcap cap_dac_read_search=+ep /usr/local/bin/restic 

補完

restic generate で補完設定や man page などを生成できるので、 bash と zsh の補完設定だけ生成しました。

% sudo restic generate --bash-completion /etc/bash_completion.d/restic --zsh-completion /usr/local/share/zsh/site-functions/_restic writing bash completion file to /etc/bash_completion.d/restic writing zsh completion file to /usr/local/share/zsh/site-functions/_restic 

rclone の設定

rclone config で以下のような感じで設定しました。

n) New remote
name> InfiniCLOUD-restic
Storage> webdav
url> データセットの WebDAV 接続 URL
vendor> other
user> ユーザーID
y) Yes type in my own password でアプリパスワード
bearer_token> は空のまま

今回は他の環境で作成した設定を流用するために touch でファイル作成して直接編集しました。

% sudo -u backup-operator rclone config touch % sudoedit /home/backup-operator/.config/rclone/rclone.conf 

動作確認します。エラーが出なければ URL は認証情報は大丈夫そうです。

% sudo -u backup-operator rclone lsjson InfiniCLOUD-restic: [ ]

(ここで https://rclone.org/webdav/ を参考にして vendor = owncloud などを試してみても mtime は保存されなかったので、 InfiniCLOUD は X-OC-Mtime には対応していないようですが、 restic で保存してくれるので問題なさそうです。)

restic の設定

restic の自動化に必要なので、パスワードジェネレーターで生成したパスワードをファイルに保存しておきます。将来は systemd-creds 管理にしたいですが、現状は普通のファイルに保存しています。

% sudo touch /home/backup-operator/.config/rclone/InfiniCLOUD.restic.password % sudo chmod 400 /home/backup-operator/.config/rclone/InfiniCLOUD.restic.password % sudo chown backup-operator: /home/backup-operator/.config/rclone/InfiniCLOUD.restic.password % sudo tee /home/backup-operator/.config/rclone/InfiniCLOUD.restic.password 

restic init

数秒の待ちの後、初期化が完了します。

% sudo -u backup-operator RESTIC_PASSWORD_FILE=/home/backup-operator/.config/rclone/InfiniCLOUD.restic.password RESTIC_REPOSITORY=rclone:InfiniCLOUD-restic: restic init created restic repository 994a5f36a5 at rclone:InfiniCLOUD-restic: Please note that knowledge of your password is required to access the repository. Losing your password means that your data is irrecoverably lost. 

ラッパースクリプトの用意

systemd の service と同じ権限での動作確認や各種サブコマンドの実行のため、 systemd-run を経由して実行するラッパースクリプトを用意しておきます。

実行結果を直接見えるようにするのに --scope だと Unknown assignment: AmbientCapabilities=CAP_DAC_READ_SEARCH になってうまくいかなかったので、 --pipe を使っています。

% vi restic.sh % sudo install restic.sh /usr/local/bin/ % rm restic.sh % cat /usr/local/bin/restic.sh #!/bin/sh exec sudo systemd-run --pipe -p AmbientCapabilities=CAP_DAC_READ_SEARCH --uid=backup-operator --gid=backup-operator -E RESTIC_PASSWORD_FILE=/home/backup-operator/.config/rclone/InfiniCLOUD.restic.password -E RESTIC_REPOSITORY=rclone:InfiniCLOUD-restic: restic "$@" 

ファイルが少ない /etc を使って動作確認しました。ファイルが読み込めないというエラーが出ていないので、 AmbientCapabilities=CAP_DAC_READ_SEARCH で大丈夫だと確認できました。

% restic.sh backup -n --exclude-caches --one-file-system /etc Running as unit: run-u177.service repository 994a5f36 opened (version 2, compression level auto) created new cache in /home/backup-operator/.cache/restic no parent snapshot found, will read all files [0:00] 0 index files loaded Files: 3509 new, 0 changed, 0 unmodified Dirs: 686 new, 0 changed, 0 unmodified Would add to the repository: 15.144 MiB (10.576 MiB stored) processed 3509 files, 13.836 MiB in 0:00 

systemd の unit ファイル作成

User=, Group=, AmbientCapabilities= は今までの説明の通り、一般ユーザー権限でフルバックアップするための設定です。
Environment= の設定は restic のドキュメントを参考にしてください。
ExecStart= のコマンドは Restic - ArchWiki のバックアップスクリプトを参考にしました。
forget の引数は後日調整したいです。
--exclude-file は外してしまいましたが、後日調整したいです。
--exclude-caches は CACHEDIR.TAG をみてくれるようになるオプションです。
--one-file-system は rsync の同名のオプションと同じで /proc などを無視するためにつけています。
Nice= は nice コマンドを経由したときのデフォルトが 10 なので、その中間の 5 にしました。
IOSchedulingPriority= は IOSchedulingClass=best-effort でのデフォルトが 4 のようなので、それより優先度を 1 だけ低くして 5 にしました。 (https://www.freedesktop.org/software/systemd/man/latest/systemd.exec.html#IOSchedulingPriority=)
timer はシステム起動から 15 分間待って、後は90分から150分間隔で実行するようにしました。(https://speakerdeck.com/moriwaka/systemd-intro?slide=87)

% sudo EDITOR=vi systemctl edit --force --full restic-backup.service % sudo EDITOR=vi systemctl edit --force --full restic-backup.timer % systemctl cat restic-backup.service # /etc/systemd/system/restic-backup.service [Unit] Description=Restic Backup [Service] Type=oneshot User=backup-operator Group=backup-operator AmbientCapabilities=CAP_DAC_READ_SEARCH Environment=RESTIC_PASSWORD_FILE=/home/backup-operator/.config/rclone/InfiniCLOUD.restic.password RESTIC_REPOSITORY=rclone:InfiniCLOUD-restic: ExecStart=/usr/local/bin/restic unlock ExecStart=/usr/local/bin/restic backup --exclude-caches --one-file-system --tag scheduled / ExecStart=/usr/local/bin/restic backup --exclude-caches --one-file-system --tag scheduled /boot ExecStart=/usr/local/bin/restic check --with-cache --read-data-subset=5G ExecStart=/usr/local/bin/restic forget --prune --keep-hourly 24 --keep-daily 30 --keep-monthly 6 --keep-weekly 4 --keep-yearly 3 Nice=5 IOSchedulingClass=best-effort IOSchedulingPriority=5 % systemctl cat restic-backup.timer # /etc/systemd/system/restic-backup.timer [Unit] Description=Restic Backup [Timer] OnBootSec=15min OnUnitActiveSec=90min Persistent=true RandomizedDelaySec=1h [Install] WantedBy=timers.target % sudo systemctl enable --now restic-backup.timer Created symlink /etc/systemd/system/timers.target.wants/restic-backup.timer → /etc/systemd/system/restic-backup.timer. % systemctl list-timers 

全体的な感想や今後の予定など

以前に試したときは rclone の crypt を重ねていましたが、 restic 自体が (今回の設定例では RESTIC_PASSWORD_FILE で指定している) パスワードで暗号化しているので、不要そうでした。

restic は Deduplication に対応していて、 Preparing a new repository の表にあるように restic 0.14.0 以上で対応している Repository version 2 では、圧縮も対応していて、実際のバックアップは元のディスクより小さくなっていて良い感じでした。

リストアも第766回高度なことが簡単にできる多機能バックアップツール、Restic［後編］で紹介されている restic mount で、普通のファイル操作を使えて楽そうでした。

--exclude-file は restic.sh snapshots --no-lock と restic.sh diff --no-lock ID1 ID2 などで変化しているファイルをみて、データベースのバイナリは除外して ExecStartPre= でダンプをした方が良さそう、とか調整したいと思っています。

timer での実行間隔や restic forget の保存期間の指定も検討が必要だと思っています。

3-2-1 バックアップルールのため、 restic copy を使うか、 restic backup を直接別の repository にも実行するか、なども検討していきたいです。

DokkuへのデプロイをHerokuish BuildpacksからDockerfile Deploymentに変更した

Mon, 05 Aug 2024 03:00:00 +0000

自分専用 Rails アプリの Dokku へのデプロイに Herokuish Buildpacks を使っていましたが、 Heroku が Ruby 対応を更新してくれるのに依存していて、 Ruby 自体のリリースから使えるようになるまでの待ちが長くて困ることが続いたので、 Dockerfile Deployment に切り替えました。

動作確認バージョン

dokku 0.34.7
herokuish 0.9.2
ruby 3.2.4 から 3.2.5 (ここが問題)
rails 7.1.3.4

現状確認

Dependabot の pull request で開発環境用の Dockerfile.local の FROM ruby:3.2.4 が FROM ruby:3.2.5 に更新されたので、 .ruby-version なども更新して git push したところ、以下のようにビルドに失敗しました。

-----> Compiling Ruby/Rails Command: 'set -o pipefail; curl -L --fail --retry 5 --retry-delay 1 --connect-timeout 90 --max-time 600 https://heroku-buildpack-ruby.s3.us-east-1.amazonaws.com/heroku-22/ruby-3.2.5.tgz -s -o - | tar zxf - ' failed on attempt 1 of 3. Command: 'set -o pipefail; curl -L --fail --retry 5 --retry-delay 1 --connect-timeout 90 --max-time 600 https://heroku-buildpack-ruby.s3.us-east-1.amazonaws.com/heroku-22/ruby-3.2.5.tgz -s -o - | tar zxf - ' failed on attempt 2 of 3. ! ! The Ruby version you are trying to install does not exist: ruby-3.2.5 ! ! Heroku recommends you use the latest supported Ruby version listed here: ! https://devcenter.heroku.com/articles/ruby-support#supported-runtimes ! ! For more information on syntax for declaring a Ruby version see: ! https://devcenter.heroku.com/articles/ruby-versions ! remote: ! Failure during app build 

対応されたら Heroku Changelog に情報が載るはず、ということで数日待っていたのですが、 7月26日のリリースから 7月29日のNode.js 20.16.0 now available、 7月31日のHeroku-20, Heroku-22 and Heroku-24 stacks updated、 8月2日のEarly August 2024 PHP updates と別の更新だけ続いていて、いつリリースされるかわからないものに依存するのは良くないと思ったので、 Ruby 3.3 系にして一時的な解決をするのではなく、 Dockerfile Deployment に切り替えることにしました。

本番用 Dockerfile

znz/rails7-example に Rails 7.1 で生成した本番用 Dockerfile を用意していたので、それをコピーして使いました。

以下の点を変更しました。

ARG RUBY_VERSION=3.2.5 のバージョンを更新
FromAsCasing: 'as' and 'FROM' keywords' casing do not match という警告が出るので FROM base AS build のように FROM 行の as を AS に変更
gem "bootstrap", "< 5" などで依存している execjs で必要だったので apt-get install に nodejs を追加 (build stage と final stage の両方に必要だった)

nodejs が必要なのは bootstrap 4 から移行したり importmap-rails に移行したりすれば消せそうだと思っているので、一時的なものとして Debian パッケージの nodejs を使いました。依存を外すか、ちゃんと最新の node を使うかどうかは別途対応したいと思っています。

その他のファイル

Dockerfile の ENTRYPOINT ["/rails/bin/docker-entrypoint"] で使っている bin/docker-entrypoint もコピーしました。

chown -R rails:rails db log storage tmp でエラーになったので、今のところ使っていない storage/.keep も追加しました。

config/database.yml で ENV.fetch('DATABASE_URL', '').sub(/^postgres/, "postgis") のように url を設定していたら、 assets:precompile で ActiveRecord::AdapterNotSpecified: database configuration does not specify adapter (ActiveRecord::AdapterNotSpecified) というエラーになってしまったので、コメントにあった適当な URL をデフォルト値として使って adapter がわかるようにしました。

production: url: <%= ENV.fetch('DATABASE_URL', 'postgres://myuser:mypass@localhost/somedatabase').sub(/^postgres/, "postgis") %> 

Gemfile から ruby を削除

Gemfile の ruby は主に Heroku 用の指定だときいているので、 herokuish Buildpacks を使わないなら不要 (.ruby-version や Dockerfile での指定と重複するため) ということで、削除しました。 Gemfile.lock も更新して RUBY VERSION も消えました。

感想

できるだけ差分を小さくして、さっさと Dockerfile Deployment に移行したかったのですが、意外と差分が増えてしまいました。

これで Heroku の対応を待たずに Docker images の更新だけ待てば良くなったので、バージョンを上げやすくなりました。

@znz blog

macOSがsudo_localに対応してpam_tid.so設定が永続化できるようになっていた

確認バージョン

設定方法

気付いたきっかけ

その他の macOS での対応状況

まとめ

rubocopコマンドで使うstandard gemベースの設定を更新した

動作確認バージョン

差分

きっかけ

最小設定

最後に

RBS入りのWEBrick gemをリリースした

バージョン

使い方

現状の型情報

型付け中にひっかかった部分

singleton(ClassName)

const_set で定義されている定数

method alias chain されているメソッド

いろいろな body

= つきメソッド

singleton

read_body

Servlet の config や options の問題

返り値の型

Enumerable の型

位置引数でも &block でも受けとる場合の型

型付け後からリリースまでにひっかかった部分

そもそもの経緯

最後に

Kaigi on Rails 2024に現地参加した

会場

発表

ブース

感想

松江Ruby会議11に参加して発表してきた

きっかけ

会場

感想

自分の発表

会議後

docker-webtop を使って VPS 上でブラウザーを動かす

やりたかったこと

失敗案

webtop とは?

最終的な compose.yaml の例

日本語化

volumes

ports

KasmVNC での操作

仕組みをちょっと深堀り

まとめ

resticバックアップの設定を調整した

確認バージョン

前提条件

systemd unit の変更

除外設定ファイル

restic mount

macOS のバックアップ

最後に

大阪Ruby会議04に参加した

会場

途中

自分の発表

昼食

懇親会

感想

restic+rcloneでInfiniCLOUDにバックアップするようにした

確認バージョン

前提条件

インストール

補完

rclone の設定

restic の設定

restic init

ラッパースクリプトの用意

systemd の unit ファイル作成

全体的な感想や今後の予定など

`=` つきメソッド