新機能 tarfs 単にタイトルが言いたかっただけだろうという話もありますが......。 FreeBSD 14 からの新機能として tarfs(4) が追加されました。 名前から推察できるとおり、tar ファイルをファイルシステムとして mount する機能です。リードオンリーのみ対応で書き込みはできません。 UFSなどでフォーマットしたディスクイメージは FreeBSD 以外のシステムで中身を見たり、ファイルを追加/削除したりするのに、仮想イメージとして認識させてファイルシステムをマウントするといったことが必要になり、面倒になりがちです。 tar 形式ならば、アーカイブファイルの操作として様々な環境で操作できるので、実行環境と異なる環境でファイルシステムを操作したい組み込み系などで便利かもしれません。 tar はバックアップやファイル配布などで、UNIX系OSを使っている人は息を吸うよ

この記事はさくらインターネット Advent Calendar 2024 3日目の記事です。 さくらインターネットでシニアプリンシパル・ネットワークエンジニアをやっている土屋 太二です。 今年の６月からさくらインターネットにJoinさせていただいており、現在はさくらインターネットの全社ネットワークインフラを再設計するプロジェクトに取り組んでいます。 そのプロジェクト内にて、ネットワーク設計する上で大変重宝しているContainerlabというツールについて紹介させていただきたいと思います Containerlabってなに？ Containerlabは、Nokiaのエンジニアが開発した仮想ネットワーク環境を構築するためのツールです。オープンソースで公開されており、現在多くの開発者が参加しているプロジェクトです。 Containerlabでは、Cisco・Juniper・Aristaなどのネッ

はじめに 表題のようなCLIツール aws-iam-policy-sim を書きました。 github.com 使い方 Statement フィールドに、以下のようなオブジェクトの配列が入っている、というJSONファイルを用意しましょう。 Action フィールドにアクション名もしくはその配列 Resource フィールドにリソースもしくはその配列 たとえば以下の通りです。うっすらお気づきの方もいると思いますが、実はポリシードキュメントのJSONがそのまま使えます。 { "Statement": [ { "Action": [ "s3:PutObject", "s3:GetObject", "s3:GetObjectTagging", "s3:DeleteObject" ], "Resource": [ "arn:aws:s3:::example-bucket/*" ] }, { "Act

自宅で動いている ASUS 製のルーター RT-AX86U で OpenTelemetry Collector を動かしてみたので手順を記録しておく。 ※ RT-AX86U には asuswrt-merlin を導入し、USB メモリや Entware のセットアップも済んでいる前提 ルーター上で SCP サーバーを動かしておく 今回は手っ取り早く動かすために、Mac 側でクロスビルドした OpenTelemetry Collector を scp で転送する。 scp を動かすために Entware で openssh-sftp-server をインストールしておく。 $ opkg install openssh-sftp-server Mac で OpenTelemetry Collector をビルドする ルーター上で動かす OpenTelemetry Collector は手元の

AWSにおいてリソースの識別子として使われるAmazonリソースネーム（ARN）というものがあります。私は、ARNには英数字と一部記号しか使えないものとばかり思っていました。 それでは以下の画像をご覧ください： なんと、ARNに日本語どころか絵文字まで入っているではありませんか！ これはAWS Step Functionsのステートマシンです。ステートマシン名に利用できる文字種はドキュメントに以下の通り記載されており、日本語文字などの非ASCII文字を使えるのはバグではなく、意図して許可されているようです： Names of state machines, executions, and activity tasks must not exceed 80 characters in length. These names must be unique for your account an

GitHub Actions で CI している皆様、こんにちは。 GitHub Actions 便利ですよね。使わない日がないというくらい毎日お世話になっています。 さて、CI といえば良く問題になるのが実行時間。 長い待ち時間は開発効率を下げますし、プライベートリポジトリだと Runner の費用も嵩んでしまいます。 時間を短縮する方法は色々ありますが、一手目によく行われるのが依存パッケージのキャッシュじゃないかなと思います。 例えば Go で開発していると、依存パッケージは ~/go/pkg/mod にダウンロードして保存されます。 これを CI 実行のたびにダウンロードしてコンパイルするのは時間とお金の無駄というものです。 幸い、GitHub Actions には CI の実行間でこういった依存パッケージを保存して再利用できるキャッシュ機能があります。 詳しくは以下のドキュメントを

皆さん、AWS Fargate Spot使ってますか？　最近Arm向けもサポートされてより活用範囲が広がっているかと思います。 さて、Fargete SpotはFargateのコンピューティングリソースの状況次第でタスクが中断される代わりに、最大通常の7割引きでタスクを実行できる機能です。 とはいえ、できることなら中断はされたくないですよね。 ここに「ある1ヶ月のFargate Spotの中断回数のグラフ」があります*1。何となく中断具合に周期性がありそうですね。 グッとにらむとこうなりました。 明らかに日曜日近辺の中断回数が少ないです。 つまり？　中断されたくないタスクをFargate Spotで動かすには土日が狙い目です*2。 この記事は id:koudenpa が書きました。 オマケ Fargate Spotの中断回数はメトリクスとしては提供されていないため、Amazon ECS タ

[アップデート] AWS CloudFormation の Git 同期機能がプルリクエストにスタック変更内容をコメントしてくれるようになりました いわさです。 AWS CloudFormation は Git リポジトリとスタックを同期させて、簡易的な CI/CD 環境を用意することが出来ます。 今朝のアップデートでこちらが強化され、CloudFormation がプルリクエストにスタックへの変更内容をコメントしてくれるようになりました。 Git 同期では CloudFormation が特定のブランチを監視し、変更が発生すると自動でスタックがプロビジョニングされるような動きとなっているのですが、このアップデートではユーザーが作成したプリリクエストのマージ先が監視対象のリポジトリだった場合、マージ前でスタック変更セットの内容をプルリクエスト上でコメントしてくれます。 これによってレビュー

登壇中にうっかりSlackの通知が出ちゃうみたいなことを避けたいですよね。うっかりを防ぐ対策が集まるスクラップです。

こんにちは、id:rokuokunです。 Perlとの出会いは突然やってきます。 いつ求められてもサッと対応できるように、いち早くPerlを書けるようになっておきましょう。 perl --version 今回入門するにあたり使用するバージョンは Perl 5.40.0 です。 インストール作業については割愛しますが、困ったらplenvを使っておけばいいと思います。 ❯ perl --version This is perl 5, version 40, subversion 0 (v5.40.0) built for darwin-2level Copyright 1987-2024, Larry Wall Perl may be copied only under the terms of either the Artistic License or the GNU General Pu

自分用のメモです。以下のエントリで便利なスクリプトを作りました。 不可解な現象に遭遇 このスクリプトを使って、いくつかのデータを調べていましたが、ぱっと見不思議な現象に遭遇しました。 比較対象のテーブルAとB(クエリは同一のものを仕様。作成元がprodとdevで異なる)があり、特定のカラムで差分が大量に発生している クエリ内のリネージを調べたところ、元データは完全に一致していることが分かった 罠はウィンドウ関数の利用方法にあった 「じゃあ、どこで差分が発生するんだよ...」となるわけですが、データに原因がないとすると、ありえるのはクエリです。乱数を利用しているわけでもないクエリで何で差分が発生するのか少し調べたところ、ウィンドウ関数を利用している箇所に問題があることが分かりました。 具体例があったほうが分かりやすいので、以下のような注文データを考えてみましょう。ユーザーが購入した金額とその

はじめに こんにちは。WEARバックエンド部SREブロックの春日です。普段はWEARというサービスのSREとして開発・運用に携わっています。本記事では、約60％のコスト削減に成功したNATゲートウェイの通信内容の調査方法と通信量の削減方法についてご紹介します。 目次 はじめに 目次 背景 コストの把握 NATゲートウェイの通信内容の把握 CloudWatchメトリクスでの確認 VPCフローログでの確認 リゾルバーでのクエリログでの確認 調査結果をもとにNATゲートウェイ経由での通信量を削減する AWSサービスとの通信 Datadogとの通信 WEARのAPIとの通信 ECRパブリックリポジトリとの通信 結果 まとめ 背景 ZOZOではより効果的な成長を目指してコストの最適化を進めています。コストの増大はサービスの拡大を鈍化させる原因となるため、常に最適な状態に保つことが必要です。WEARで

ルービックキューブを揃えるまでの時間を測りたい！手元にシェルしかない！そんなときはこう $ time read real 0m2.951s user 0m0.000s sys 0m0.000s read コマンドで入力を待ち受けていた時間が出てくれる。これで計測開始 (コマンド開始) と 計測終了 (read に入力) の両方を Enter キーでできるのでわかりやすくて便利。 ↑は bash で試したけど、 zsh では $ time (read) とするとよいようだった ($ time read だと何も出ない。ビルトインのコマンドは(カレントのシェルで実行されるので)計測されないので、括弧をつけてサブシェルで実行させると計測できる、とのことだった zsh - `time echo` got no output - Unix & Linux Stack Exchange)。

SREチームの藤原です。 今回は CEL(Common Expression Language) を使って、AWSのIAMポリシーを検索するツールを作ったので紹介します。 github.com 3行でまとめ CEL (Common Expression Language)の式を指定してAWS IAMポリシーを検索するツールをOSSとして作りました。GetAccountAuthorizationDetails APIで取得したIAMポリシーをCELで評価して、マッチするものを出力します 例えば「lambda:GetFunctionがあるがlambda:ListTagsがないポリシーを探す」などができます AWSからたびたびやってくる、IAMポリシーに関するお知らせに対応するのに便利です 突然の「Action Required」 ある日、AWSからこんなメールが届きました。 Lambda Ge

はじめに ファイルをアップロードすることができる機能を持ったWebアプリケーションやクラウドサービスは世の中に多数あります。しかし、アップロードしたzipファイルを自動で展開（解凍）してくれて、中身のファイルが閲覧できる機能を持ったサービスは、あまり多くはないかもしれません。 もし、Google Cloud上で、zipファイルをアップロードし自動的に展開してGCSに配置するシステムを作るとしたら、どうやって実現すればよいでしょうか。たとえ100GBのzipファイルでも問題なく展開できるようにするには？ そんな難題に挑み、GCSにアップロードされた100GB級のzip/7zファイルを自動的に展開することができるシステムをGoで実装し、プロダクションレベルで実現しました。その技術について解説します。 背景 PLATEAU VIEWの画面 Eukaryaでは、国土交通省が主導しているProjec

以下の文書はBashを使う前提の話。 Bashにはコマンド置換(Command substitution)というのがある。$(another-command)のように、$()でコマンドを括る記法だ。これを利用すると、括弧で括られたコマンドが実行され、その標準出力が文字列として取り出され、$()全体を置き換える。シェルスクリプトでは非常によく見る技術だ。 この$()でファイルの内容を読み出すというのを最近見た。このような用法は非常によく見る。 foo-command $(cat params.txt) しかし、より良い書き方があるのでこれを提唱したい。$(< params.txt)と書くことで全く同等のことができる。しかも速いのでこちらのほうが完全に上位互換となる。 foo-command $(< params.txt) この方法はBashのドキュメントのコマンド置換のコーナーにちゃんと書か

敷設された電話回線を流用して通信ができるインターネット回線である「Asymmetric Digital Subscriber Line(ADSL)」には、一般的に銅線やアルミニウム線を使ったADSLケーブルが用いられます。しかし、ADSLの信号の伝送は濡(ぬ)れたひもでも可能なことを、エンジニアのRevK氏が実証しました。 RevK®'s ramblings: It's official, ADSL works over wet string https://www.revk.uk/2017/12/its-official-adsl-works-over-wet-string.html RevK®'s ramblings: Please upgrade me to ADSL over wet string https://www.revk.uk/2017/12/please-upgrade

はじめに あなたはブラウザからデータベース(DB)に情報が行き着くまでにどんな技術が使われているか説明できますでしょうか？ どのようなプロトコルが用いられ、どの技術を駆使してサーバと通信しているのか、Webサーバでは何が行われ、どのようにして負荷が分散されているのか、トランザクションはどのように管理されているのか、そしてデータベースではシャーディングや負荷対策のためにどのような対策が取られているのか… なんとなくは理解しているものの、私は自信を持って「こうなっている！！」とは説明ができません。 そこで今回は「大規模サービス」を題材としてブラウザからデータベースに至るまでの、情報の流れとその背後にある技術について、明確かつ分かりやすく解説していきたいと思います。 対象としてはこれからエンジニアとして働き出す、WEB、バックエンド、サーバーサイド、インフラ、SREを対象としております。 1.

物語の始まり 事の発端は納品後。 先方からメッセージが届きました。 クライアント様「このファイルの文字コードがShift_JISになっておりますので、UTF-8で再納品をお願いいたします。」 拙者（あれ…UTF-8にしてたと思うんだけどな） 拙者「確認いたします。」 文字コードを確認する 本案件はいわゆる更新案件で、今回の納品時に言われていたのは、「文字コードがUTF-8ではないものは変換して納品してくれ」ということ。 そして、ご指摘いただいたのは、今回の更新案件で中身はいじらなかったJavaScriptファイル。 本来ならば納品するファイルではないのですが、文字コード変換という要件があったため、納品ファイルとして加えられたものでした。 一括で文字コードを変えたので作業漏れかなぁと思っていました。 ファイルの中身は記事用にかなり適当につくったものですが、まあだいたいこんな感じです。

MackerelでのOpenTelemetry対応パブリックベータの提供が開始したので、Mackerel CREの私も習熟すべくいろいろと実験をしています。 mackerel.io ホストやミドルウェアのメトリックを取得しようというときにはOpenTelemetry CollectorのReceiverでメトリックを収集し、ExporterにMackerelのOTLPエンドポイントを示して投稿、というのが王道なのですが、今回はあえて「Mackerelの既存のメトリックプラグインの出力をOpenTelemetryのメトリックとして送ってみる」ということを試してみました。 結論から言えば、（加工は少し必要ですが）ContribにあるCarbon Receiverで実現できます。 Carbon Receiverとは OpenTelemetry Collector ContribのReceiver