GNU zip、もともと利用されていたcompressに特許問題(LZW法)があり、GNUが独自に開発した圧縮フォーマット、 Webサーバからのデータの圧縮形式として用いられることもある。
Windows11では標準でtarファイルやgzipファイル（gzファイル）を解凍（展開）できるようですが、Windows10ではできません。 PowerShellを使ってgzipファイルを展開できると知ったのでここで紹介しておきます。 この記事で紹介している方法は下のMicrosoftの記事に書かれていたものです。 Unzip GZ files using Powershell | Microsoft Learn この記事での環境情報を先に示しておきます。 Windows10 Version21H2 PowerShell 5.1.19041.2364
今、仕事で作っているGoで作られたAPIサーバは比較的、レスポンスが巨大なものが多く、gzip圧縮した方が良さそうに感じた。 APIサーバはGCP上のAPI gatewayが前段にあり、その後ろでCloud Runで実際の処理が動いている構成。 最初はAPI gatewayとかにgzip圧縮する機能とかありそうとか思ってたが、そういう機能はないみたいなのでAPIサーバ側で実装してみた。 使ったライブラリ 下のリンク先のものを使った。 基本的には1024バイトを超えるレスポンスでないとgzip圧縮しないようになっていたので、小さい大きさのレスポンスの時の圧縮・解凍による性能劣化みたいなことは少な…
忙しい人向け タイトルの通りですが、N GBオーダのスパースなファイルを gzip -d して開発マシンに解凍している人に向けた spdc というツールを作成しました。 このツールを使うと、gzipで圧縮されたファイルをスパースなファイル として解凍できます。 github.com スパースファイルとは？ 初めにスパースなファイルについて説明します。 面倒なので ChatGPT-4.0 に任せます（隙あらば課金自慢） スパースファイルとは、実際には空であるが、システムに対してはデータが存在するかのように振る舞う特殊なファイルのことを指します。この種のファイルは、大量の0の連続部分（つまり、何も…
はじめに 実行環境 まずは、ファイルを圧縮する 解凍せずに、zipファイルに含まれるファイル一覧を表示する 解凍せずに、gzファイルの中身を閲覧する 解凍せずに、gzファイルの中身を部分的に閲覧する まとめ 参考資料 はじめに Linux/Mac環境では圧縮されたファイルの中身を閲覧するときに、 わざわざ、ファイル解凍をしなくても、中身を確認することができます。 ただし、圧縮形式によっては、 複数ファイルを一緒に圧縮できる形式(zipやtar.gzなど)であるのか、 1つずつのファイルごとに圧縮する形式（gzなど）であるのか が変わってきます。よって、ファイルの中身の表示され方も変わってきます…
圧縮と暗号は大事 匿名化に加えてこれら3つは3大PCリテラシーだと思います パスワード付きPDF ちょっとした書類ならコレで良いと思う プレビューで何らかをpdfを保存するときに 「アクセス権」→「書類を開くときにパスワードを要求」にチェック 専用パスワードを確実に打ちこむ 「アクセス権」の設定でさらに改竄防止を見込める 例外的な許可を出さずにパスワード設定すればおk PDFの仕様なんてそうそう変わらんし，深くは追求しません，汎用性も低いでしょうし… パスワード付きで暗号と圧縮 ちょっとしたデータならコレで良いと思う 基本的にFInderからGUI経由で行うことが無理な（オプションが呼び出せな…
こんにちは。 エキサイト株式会社の三浦です。 APIなどからのレスポンスは、サイズが小さいに越したことはありません。 レスポンスサイズを小さくする方法の1つに、レスポンスをgzipで圧縮するという方法があります。 API側でレスポンスをgzip圧縮して送信し、受け取り側で解凍して使用するというやり方です。 ですが、実はJavaのRestTemplateは、デフォルトではgzip圧縮したレスポンスを使うことができません。 ここでは、RestTemplateを使ってgzip圧縮されたレスポンスを使用できるようにする方法を説明します。 レスポンスのサイズ APIなどから受け取るレスポンスのサイズは、…
gzip圧縮について調べたのでまとめる。 概要 gzip - Wikipedia gzip（ジー・ジップ）は、データ圧縮プログラムのひとつ、およびその圧縮データのフォーマットである。 圧縮を有効にする | PageSpeed Insights | Google Developers 最新のブラウザはすべて gzip 圧縮に対応しており、すべての HTTP リクエストで自動的に圧縮のネゴシエーションを実施します。gzip 圧縮を有効にすると、転送されるレスポンスのサイズが最大で 90% 削減されるため、リソースのダウンロード時間の大幅な短縮、クライアントのデータ使用量の削減、最初のページ レンダ…
複数のファイル、ディレクトリをまとめて１つのファイルにする（アーカイブする）、 もしくはまとめられたファイルを展開するためのコマンド。 基本的な使い方 gzip 圧縮されたアーカイブを解凍しつつ展開する tar -xzvf archive.tar.gz
始めに 先日の記事にて、FastAPIのイメージが1GBになってしまった件を書きました。何か対策できないかと調査していく中で、gzipではなく、zstdで圧縮することで高い圧縮率と高い解凍速度を達成できることを知りました。 今回の記事ではzstdでDockerイメージの圧縮をします。 環境 Docker Engine 27.4.1 Docker Buildx v0.19.3 zstd圧縮を使用するためには、次のバージョンが必要です。 Docker Engine v24.0.0以降 Docker Buildx 0.8.0以降 # バージョン確認用コマンド docker version docke…
私はZedというエディターで普段Scalaのコードを書いています。Scalaの言語サーバとして代表的なものにMetalsというものがあります。 ZedにはMetals向けの拡張機能があり、これを導入することでZedでもScalaのコード支援を受けることができます。 appare45.hatenablog.com しかし、私は長らくMetalsが異常に重い問題に苦しめられてきました。そこで2025年のお正月を利用してその原因を調べました。 この記事はMetalsを直接使っている珍しい人向けの記事です、VSCodeではまた違う設定がある気がするので参考程度にしてください ArmアーキテクチャのMe…
はじめに 皆様はduckdbはご存知でしょうか？SQLiteのように単一ファイルで動作する高速な分析用データベースという言葉で説明できますが、以下のブログを見るとその素晴らしさが伝わるのではと思います。 road288.hatenablog.com AWS CLIのクレデンシャル設定を行いduckdbを起動するだけで、非常に簡単なクエリでS3上のファイルを直接ロードでき、様々な分析を実行することができます。 SELECT * FROM read_csv_auto('s3://your-bucket-name/your-file.csv'); ここで、実際のユースケースを考えると、AWSクレデン…
[web] Meta [web] login [web] input [network] http [network] Bob [network] basic [network] layout [network] ppap [crypto] Julius [crypto] xor [crypto] rsa [crypto] Matryoshka [crypto] pqrneca [crypto] fermat [crypto] pow [crypto] yyy [crypto] diff keyを求める nonceを求める solver [web] Meta 「CTFのためだけに作られた適当な…
生成AIの時代に、どれだけ自分の手で文字を綴ることに意味があるのかと思ったりする今日のこの頃だが、年末だし最近のMenthasとか考えていることを書いておこうと思う。 まずMenthas、ゆっくりではあるが着実なアップデートを実はしていたりする。UIだとサムネとタイトル部分だけリンク判定されるのでなく、descriptionがあるエリアまで地味にクリック判定されるようになっていたりする（あとマウスhoverで微妙に色が変わったりとか）。 あとは最近使っているひとは気づいたと思うんだけど、初回のロード時間がかなり減ったはずである。これはgzip圧縮を入れたというのもあるが、assetの類をver…
TODO:unsloved 大前提 Burp Suiteを使う必要がある Burp Suiteを起動し、リクエスト全体を確認 Burp Suiteを起動し、リクエスト全体を確認する。 POST /index.php HTTP/1.1 Host: webhacking.kr:10004 Content-Length: 1594 Cache-Control: max-age=0 Accept-Language: ja Upgrade-Insecure-Requests: 1 Origin: http://webhacking.kr:10004 Content-Type: multipart/for…
なんか、Evernote がエクスポートする HTML で、添付ファイルへのリンクが壊れているという相談をもらった。そして、Evernote のネイティブのエクスポート形式でエクスポートされた enex ファイルをワシのツール(unenex)で HTML化しても同様だという。 Atteched Files problem · Issue #2 · hymkor/go-enex （和訳） このツールは私の課題の解決策として考えられたので、このツールを試してみました。Evernote の HTML へのエクスポートは 2 年以上壊れていて、会社はそれを修正しませんでした（さらに悪いことに、私は何度…
VASP.6.5 2024年12月20日(金)に、VASP Software GmbH ([email protected]) から、"VASP 6.5 released" の案内が来た。 すでにVASPのライセンスをもつ人はupgradeできる。私の場合はVASP 6.4のupgrade後なので無料でアップグレードできる。 特徴は下記のとおり。 電子格子相互作用 (electron-phonon coupling) の計算ができる。 VASP Pluginsの導入 Bethe-Salpeter Equation (ベーテ・サルピータ方程式) の取り扱い その他 交換相互作用関数の追加。MS-…
この記事は Terraform Advent Calendar 2024 の 25日目の記事です。 Terraform Agent とは Terraform Agent は、HCP Terraform で提供されるサービスの一つです。 HCP Terraform や、Terraform Enterprise において、Terraform の実行をオンプレ環境で行うためのツールです。 HCP Terraform の 機能である「リモート」という機能では、個別の使い捨て仮想マシンで Terraform を実行することができます。 ただし、この使い捨て仮想マシンはIPアドレスが公開されていないため、…
これは はてなエンジニア Advent Calendar 2024 24日目の記事です。 こんにちは、 id:masawada です。30代に突入して早一年、だんだんと健康が気になり始めています。エンジニアたるもの無闇にアクションを取る前にまずは計測、ということでiOSにプリインストールされているヘルスケアアプリの情報をMackerelに送信して傾向を眺められるようにしてみます。 (注意: 株式会社はてなはPHRサービス事業協会に加入している法人ではありません。この記事は健康に関するデータをMackerelに記録することを公式に推奨するものではありません。あくまで個人利用・自己責任の範囲で参考…
この記事は Mackerel Advent Calendar 2024 の24日目の記事です。昨日は id:mrasu さんの オブザーバビリティ成熟度の頂点とその先 でした。 Mackerel チームでアルバイトをしている id:tosukee です。近年の Docker Build は BuildKit を使っていることが多いと思います。BuildKit によりステージを並列に実行することが可能になっていますが、実際ステージが意図通りに並列に実行されているのかやどのステージがボトルネックになっているのか*1が気になることもあるでしょう。 *1:つまり並列化に意味があるのか
こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。もうすぐクリスマスですね。最近、何度か娘に「サンタさんへお願いしたもの」をヒアリングしているのですが、私には秘密みたいで、サンタさんから委託された業務を全うできないかもしれず、ヒヤヒヤする日々を過ごしています。 さて、本記事では、Amazon AuroraのCluster Export機能を用いてAmazon S3へ出力したデータを、dbtを使用してSnowflakeへimportする方法を書きます。以前、『BigQueryからSnowflakeへ移管して作る最強のデータ基盤 〜Data Ingestio…
「Linuxカーネル2.6解読室」（以降、旧版）出版後、Linuxには多くの機能が追加され、エンタープライズ領域をはじめとする様々な場所で使われるようになりました。 それに伴いコードが肥大かつ複雑化し、多くのエンジニアにとって解読不能なブラックボックスとなっています。 世界中のトップエンジニア達の傑作であるLinuxカーネルにメスを入れ、ブラックボックスをこじ開けて、時に好奇心の赴くままにカーネルの世界を解読する「新Linuxカーネル解読室」プロジェクト。 本稿では、カーネルモジュール機能実装の概要について説明します。 はじめに 1. 動かしてみよう 1.1 ビルドする 1.2 組込む 1.3…
■ はじめに Amazon Macie ってのが話題になったので 軽く調べてみた 目次 【１】Amazon Macie 【２】料金 【３】サポート状況 １）S3 ストレージクラス ２）ファイルフォーマット 【１】Amazon Macie * S3バケットから機密データを検出できるAWSサービス cf. Macie(メイシ―) https://docs.aws.amazon.com/ja_jp/macie/latest/user/what-is-macie.html * 実際の使用している様子は以下のサイトを参照 https://dev.classmethod.jp/articles/updat…
hyper-text.org
qiita.com
qiita.com
okumuralab.org
blog.shibayu36.org
sfujiwara.hatenablog.com
codezine.jp
www.koikikukan.com
www.linux.or.jp
