GNU zip、もともと利用されていたcompressに特許問題(LZW法)があり、GNUが独自に開発した圧縮フォーマット、 Webサーバからのデータの圧縮形式として用いられることもある。
Windows11では標準でtarファイルやgzipファイル（gzファイル）を解凍（展開）できるようですが、Windows10ではできません。 PowerShellを使ってgzipファイルを展開できると知ったのでここで紹介しておきます。 この記事で紹介している方法は下のMicrosoftの記事に書かれていたものです。 Unzip GZ files using Powershell | Microsoft Learn この記事での環境情報を先に示しておきます。 Windows10 Version21H2 PowerShell 5.1.19041.2364
今、仕事で作っているGoで作られたAPIサーバは比較的、レスポンスが巨大なものが多く、gzip圧縮した方が良さそうに感じた。 APIサーバはGCP上のAPI gatewayが前段にあり、その後ろでCloud Runで実際の処理が動いている構成。 最初はAPI gatewayとかにgzip圧縮する機能とかありそうとか思ってたが、そういう機能はないみたいなのでAPIサーバ側で実装してみた。 使ったライブラリ 下のリンク先のものを使った。 基本的には1024バイトを超えるレスポンスでないとgzip圧縮しないようになっていたので、小さい大きさのレスポンスの時の圧縮・解凍による性能劣化みたいなことは少な…
忙しい人向け タイトルの通りですが、N GBオーダのスパースなファイルを gzip -d して開発マシンに解凍している人に向けた spdc というツールを作成しました。 このツールを使うと、gzipで圧縮されたファイルをスパースなファイル として解凍できます。 github.com スパースファイルとは？ 初めにスパースなファイルについて説明します。 面倒なので ChatGPT-4.0 に任せます（隙あらば課金自慢） スパースファイルとは、実際には空であるが、システムに対してはデータが存在するかのように振る舞う特殊なファイルのことを指します。この種のファイルは、大量の0の連続部分（つまり、何も…
はじめに 実行環境 まずは、ファイルを圧縮する 解凍せずに、zipファイルに含まれるファイル一覧を表示する 解凍せずに、gzファイルの中身を閲覧する 解凍せずに、gzファイルの中身を部分的に閲覧する まとめ 参考資料 はじめに Linux/Mac環境では圧縮されたファイルの中身を閲覧するときに、 わざわざ、ファイル解凍をしなくても、中身を確認することができます。 ただし、圧縮形式によっては、 複数ファイルを一緒に圧縮できる形式(zipやtar.gzなど)であるのか、 1つずつのファイルごとに圧縮する形式（gzなど）であるのか が変わってきます。よって、ファイルの中身の表示され方も変わってきます…
圧縮と暗号は大事 匿名化に加えてこれら3つは3大PCリテラシーだと思います パスワード付きPDF ちょっとした書類ならコレで良いと思う プレビューで何らかをpdfを保存するときに 「アクセス権」→「書類を開くときにパスワードを要求」にチェック 専用パスワードを確実に打ちこむ 「アクセス権」の設定でさらに改竄防止を見込める 例外的な許可を出さずにパスワード設定すればおk PDFの仕様なんてそうそう変わらんし，深くは追求しません，汎用性も低いでしょうし… パスワード付きで暗号と圧縮 ちょっとしたデータならコレで良いと思う 基本的にFInderからGUI経由で行うことが無理な（オプションが呼び出せな…
こんにちは。 エキサイト株式会社の三浦です。 APIなどからのレスポンスは、サイズが小さいに越したことはありません。 レスポンスサイズを小さくする方法の1つに、レスポンスをgzipで圧縮するという方法があります。 API側でレスポンスをgzip圧縮して送信し、受け取り側で解凍して使用するというやり方です。 ですが、実はJavaのRestTemplateは、デフォルトではgzip圧縮したレスポンスを使うことができません。 ここでは、RestTemplateを使ってgzip圧縮されたレスポンスを使用できるようにする方法を説明します。 レスポンスのサイズ APIなどから受け取るレスポンスのサイズは、…
gzip圧縮について調べたのでまとめる。 概要 gzip - Wikipedia gzip（ジー・ジップ）は、データ圧縮プログラムのひとつ、およびその圧縮データのフォーマットである。 圧縮を有効にする | PageSpeed Insights | Google Developers 最新のブラウザはすべて gzip 圧縮に対応しており、すべての HTTP リクエストで自動的に圧縮のネゴシエーションを実施します。gzip 圧縮を有効にすると、転送されるレスポンスのサイズが最大で 90% 削減されるため、リソースのダウンロード時間の大幅な短縮、クライアントのデータ使用量の削減、最初のページ レンダ…
この記事は Mackerel Advent Calendar 2024 の 13日目の記事です。 Web アプリケーションのパフォーマンスの指標として SQL のクエリの処理時間があげられます。Web アプリケーションでは SQL の処理時間がボトルネックになることも多いです。 Web アプリケーションの SQL の処理時間を計測する手法は多くあります。 このブログでは OpenTelemetry Collector の Connector として 提供されている Span Metrics Connector を活用し Mackerel で SQL のクエリごとの処理時間を計測し、さらに監視設…
はじめまして、X（クロス）イノベーション本部プロダクトイノベーションセンターの瀧川亮弘です。 本記事は、電通総研 Advent Calendar 2024 10日目の投稿です。 もともとネイティブアプリを主戦場とするFlutterですが、Web開発にどれほど活用できるのか調査したため共有します。 Flutter とは Flutter for Web とは Flutter for Web の注意点 注意点1. ネイティブアプリがメインターゲット 注意点2. 実装言語がDartに限定される 注意点3. SEOに弱い 注意点4. 初期ロードが重い 対策方法 Flutter for Web の使いどこ…
「市区町村ペイントマップ」では、国土数値情報の行政区域データを使用して地図を描画しています。定期的に市町村合併・政令区の再編等で同様の作業が必要になるので、GISファイルの容量削減手順を備忘録として残しておきます。 ※以下、「全国：2024年（令和6年）」の「N03-20240101.geojson」を使用した場合のファイル容量を記載しています。
kubell Advent Calendar 2024 の投稿です。 [^1] qiita.com この投稿では、スキーマ駆動開発と Mocking について書きます。 tl;dr 前提 BPaaS サービス REST を選択した背景 スキーマ駆動開発 課題と解決策 課題 1. 外部 API 依存テストにおける信頼性向上 課題 解決策 課題 2. スキーマ駆動開発におけるモック必要性 課題 解決策 開発フロー Summary
先日はISUCON14に参加しましたが*1、その直前まで素振りがてら catatsuy/private-isu をPHPで解いていました。普段ISUCONはGo言語で参加していますが、他言語での挑戦にも興味がでてきたため、PHPでやってみることにしました。実際のコードと作業ログは以下のリポジトリにまとめてありますので、これから試してみたいという方の参考になればとても嬉しいです。 前提 デプロイ プロファイリング private-isu で Reli を使う 設定ファイルの確認・アプリケーションエラーログの出力 PDO::ATTR_PERSISTENT や composer autoloader…
基本的な使い方 ファイルをgz形式で圧縮する $ gzip ファイル名 gz形式のファイルを解凍する $ gunzip ファイル名 ディレクトリ内のファイルを個別に圧縮する $ gzip -r ディレクトリ名 ディレクトリを丸ごと圧縮する （gzipはディレクトリには使えないためtarでアーカイブしてから圧縮する必要がある） $ tar czf 圧縮ファイル名 ディレクトリ名
※この記事は OpenShift Advent Calendar 2024 の 10日目の記事です。 qiita.com こんにちは、ストレージと OpenShift を生業にしているうつぼ（宇都宮）です。ご無沙汰しております。 ここ最近というかこの一年はすっかり OpenShift Virtualization（OCP-V）の小僧として活動させていただいております。 お陰様で OCP-V は非常に多方面から注目を浴びております。ありがとうございます。 OCP-V 小僧の活動は多忙ではありますが、良いところが多くあります。 それは OCP-V のお話をしていると、ほぼ確実にストレージの話題が出…
本記事は、Mackerel Advent Calendar 2024 10日目の記事です。 Mackerel開発チーム SREの id:taxintt と申します。 もうすぐ2024年が終わりますね。Mackerel 的にも様々なことがあった一年ですが、その中でも大きな話題としては OpenTelemetry 対応でしょうか。 OpenTelemetry 対応のメトリックについては、2023年9月からベータ版としての提供を始めたラベル付きメトリック機能が2024年11月から正式版としてリリースされました。 mackerel.io mackerel.io 2024年8月末からは OpenTele…
CEOの@uen0yamaです。 ISUCON14に初出場／初優勝を狙いに行ったら0点でした！ 忘れぬうちに備忘録書いときます！ メンバー構成 メンバー 担当 @tzm bashスクリプト作成、アルゴリズム改善 @qwav DBチューニング関連、N+1対策 @uen0yama インフラ／デプロイ、SSE実装 当日のタイムライン 🕒9:30～10:00 早起きはつらかった オフィスに集合（写真撮っておけばよかった） ライブ配信で出題動画見る。おもしろ。 🕒10:00～11:00 マニュアル把握／初期デプロイ 【全員】マニュアル読む。 【@uenoyama】AWSに環境デプロイ。 【全員】SSH接…
1位の人の全てのコミットを追うまとめ - https://github.com/takonomura/isucon14 具体的な作業 10:08 各サーバの情報などをスクリプトで自動取得し保存 10:08 nginx / mysql / systemd 系のものも取得 10:13 プロセス名を修正 10:13 netdata install 10:13 nginx.conf と site-enabled をひとまとめにして nginx.confへ 10:17 nginx 秘伝のタレ nginx.conf worker_rlimit_nofile 100000 events { worker_c…
今年も参加しました。いつもありがとうございます！ isucon.net これまでの ISUCON13 に参加した (最終スコア 17996点) #isucon - stefafafan の fa は3つです ISUCON 12予選参加したけど最終スコア12171点で惨敗 #isucon - stefafafan の fa は3つです ISUCON11 予選参加して落ちました (33586点) #isucon - stefafafan の fa は3つです 分担 うちのチームはこれといった決まった分担はなく、初動だけ誰が環境をセットアップして誰が計測ツール入れてという割り振りは決めていますが、そ…
はじめに こちらの記事は Advent Calendar 2024 の 6日目の記事になります。 カケハシでソフトウェアエンジニアをしている加藤です。 この記事では、S3からS3へのファイルのアップロードをNode.js, TypeScript, Stream APIを利用して行う方法について説明します。 背景 S3にあるファイルを取得して後続処理で利用しやすい形にフォーマットを変換して別のS3へ保存したいということはよくあることかと思います。 例えば、CSVファイルを取得してJSONに変換してS3に保存するといった処理です。 まず思いつくのは S3からファイルをダウンロード ローカルに保存し…
CloudWatch Logsにログを溜め込むのはコスト的に避けたいですよね。CloudWatch LogsにはS3にログをエクスポートする機能がるのですが、なぜか手動実行にしか対応していません。自動的にエクスポートするにはLambdaを定期実行するか、EventBridge Schedulerで定期的にエクスポートすることになります。 EventBridge SchedulerでS3にエクスポートするのがもっとも簡単な方法だと思うのですが、これには考慮する点があります。それはCloudWatch Logsの削除のタイミングとEventBridgeの実行のタイミングが同期していない点です。削除…
こんにちは。クラウドネイティブ技術部の野中です。 今年の12月2日から12月6日にかけて開催される re:Invent 2024 に現地参加しています！ このイベントには以前から参加したいと思っていたので、ついに念願が叶い、ワクワクが止まりません。 今回は、DynamoDBデータモデリングに関するセッションを受講しました。このテーマを選んだのは、実際の案件でもDynamoDBを採用している中で、自身の知識不足を感じる場面があったためです。セッションを通して得た内容を振り返りながら、皆さんと共有していきたいと思います。 1. DynamoDBとは？ DynamoDBは、AWSが提供するNoSQL…
id:nekop です。この記事はOpenShift Advent Calendar 2024のエントリです。 最初に結論を書いておきます。OpenShift Logging ClusterLogForwarderでのVector AtLeastOnce設定はちょっとログ生成が多いタイミングがあってもログロストしない、ログ転送スループットは10MB/sくらい、対応できるログ生成レートは5k lines/sくらい、です。 vector.dev OpenShift Logging 5.9から ClusterLogForwarder のVectorにTuning項目が指定できるようになっています。6…
hyper-text.org
qiita.com
qiita.com
okumuralab.org
blog.shibayu36.org
sfujiwara.hatenablog.com
codezine.jp
www.koikikukan.com
www.linux.or.jp
