はじめに 概要 Apache Iceberg(アイスバーグ)とは [重要] Icebergの本質はテーブル仕様である Table Spec バージョン Icebergハンズオン Icebergの特徴 同時書き込み時の整合性担保 読み取り一貫性、Time Travelクエリ、Rollback Schema Evolution Hidden Partitioning Hidden Partitioningの種類 時間 truncate[W] bucket[N] Partition Evolution Sort Order Evolution クエリ性能の最適化 ユースケース Icebergのアーキテクチャ Iceberg Catalog Iceberg Catalogの選択肢 metadata layer metadata files manifest lists manifest files

こんにちは、去年の8月に入社しましたMSP事業部エンジニアリンググループの鈴木です。 本記事は、Apache HTTP Server（以降「Apache」と略す）のgraceful stop/restart（以降、2つを指す場合「graceful」と略す）について調査・理解したことをまとめたものになります。具体的には以下について調査しました[※1]。 gracefulの概要、通常のstop/restartとの違いおよびユースケース systemd（systemctl）でgracefulを実行する方法 gracefulを実行する3つのコマンドの動作や関係性 gracefulを実行するコマンドの動作確認（ドキュメントの裏取り） 付録：graceful関連のソースコード解析（理解できている範囲のみ） なお、今回は私個人の学びの一環としてgracefulの基本的なことから調査しましたので、内容とし

背景 httpd.serviceの中を覗いたとき、execstopがkill -WINCHを呼んでいるのを見つけた。 一体なぜ SIGSTOPではなくSIGWINCHなのか気になった。 結論 仕様 だけど、なぜそういう仕様なのかは分からない。 環境 CentOS7.1.503 3.10.0-229.el7.x86_64 vmware player signalの調査 まずは、man 7 signalでSIGSTOPとSIGWINCHを見てみる。 SIGWINCHはウィンドウリサイズを通知するシグナル SIGWINCHはデフォルト動作が無視される。 SIGSTOPはデフォルト動作が停止。 他のプロセスウィンドウリサイズを通知すると止まるのか。(止まらないはずだけど念のため) apache側の説明 The WINCH or graceful-stop signal causes the par

こんにちは、インフラチームテックリードの櫻井です。 今回は1台のサーバーで複数のステージング環境を同時に使用できるように設定を変更したので、その方法について紹介したいと思います。 背景 PR TIMESでは現在開発チームとは別にQAチームが存在し、開発チームの実装したコードが正しいことをステージング環境で検証しています。 しかし今まではステージング環境のサーバーが1台しかなく、誰かがステージング環境を使用している間、他の人は別のブランチをデプロイすることができないという問題がありました。 この状況ではQAチームの人員を増やしたところで検証作業のスピードを上げることができず、QAが開発フローの中でボトルネックになることは避けられない状況でした。 この状況を打破するため、複数のステージング環境を同時に使うことができるようにする必要がありました。 Apache設定の変更 今回サーバー1台で複数の

2021年10月6日に、CVE-2021-41773の修正を含むApache HTTP Server 2.4.50がリリースされました。 当該CVEはパストラバーサルの脆弱性であり、この脆弱性が悪用されるとDocumentRoot外にあるファイルが、インターネットから閲覧される可能性があります。なおこの脆弱性はApache HTTP Server 2.4.49のみに存在するものであり、それより古いバージョンには影響しません SOCでは、10月6日より当該CVEを狙った通信をお客様環境にて観測しています。 当該CVEを狙ったスキャン通信の例を図-1に示します。 図-1 CVE-2021-41773の有無を確認するスキャン通信例 Apache HTTP Serverのシェア率の高さや攻撃の容易さなどを鑑み、筆者の所属する解析チームにて本脆弱性を検証し、詳細を確認しました。 確認時点では既に攻撃

エグゼクティブサマリ PHPの脆弱性CVE-2018-17082はXSSとして報告されているが、現実にはXSSとしての攻撃経路はない。一方、Apacheのmod_cacheによるキャッシュ機能を有効にしているサイトでは、キャッシュ汚染という攻撃を受ける可能性がある。 概要 PHPの現在サポート中のすべてのバージョンについて、XSS脆弱性CVE-2018-17082が修正されました。以下は対応バージョンであり、これより前のすべてのバージョンが影響を受けます。ただし、Apacheとの接続にApache2handlerを用いている場合に限ります。 PHP 5.6.38 PHP 7.0.32 PHP 7.1.22 PHP 7.2.10 PHP 5.5以前も対象であり、これらは脆弱性は修正されていません。 脆弱性を再現させてみる この脆弱性のPoCは、当問題のバグレポートにあります。 PHP ::

かなり今更感の漂う内容ではありますが、意外と情報が分散していたり、Apache2.4系を考慮した場合に足りていない内容があったのでこのエントリで一度まとめてみようと思います。 CGIを使うようなシステムでそれなりにアクセスが集中するサーバ、例えば日々のピーク時のApacheのbusyワーカー数が1000になるようなサーバで、かつ、それを処理可能なマシンスペックのサーバであることを前提にしています。 ApacheのMPMとCGI実行アーキテクチャの復習 ApacheでCGIを使う場合には、MPMとCGI実行アーキテクチャの組み合わせは大きく分けて以下の2つに分ける事ができます。 worker(event) + mod_cgid prefork + mod_cgi Apacheの2.4系から特にworker(event) + mod_cgidのモデルが推奨されているようです。また、2.4系では

ここで、ApacheはReverse Proxyとして動作することになります。 このApacheの設定をどのようにするべきか、が本稿のポイントとなります。 なお、本稿で用いるドメイン名は「example.com」若しくは「www.example.com」とします。 Apache設定 種々の都合から、Webサービス提供に用いるドメインをname-basedなvirtual hostとして定義する必要があります。 この場合、ServerNameディレクティブで下記のように設定する必要があります。 Apacheの公式ドキュメントには下記のような記載があります。パラグラフごとに見ていきましょう。 core - Apache HTTP Server Version 2.4 -> ServerName Directive http://httpd.apache.org/docs/current/en/

さくらインターネットのアドベントカレンダー25日目が空いてしまったので、ウェブサーバのチューンナップについて書くことにしました。 私は今日からお休みですが、さくらインターネットは年末年始も休まずに働いていますので、ご安心ください。 年末年始のシフトに入ってくれた社員の皆さんに感謝です。 ということで、責任を持って空いたカレンダーの埋め合わせをさせて頂きますｗ サーバのレスポンスが遅いとは？ なんだかサーバのレスポンスが悪いなぁってことは皆さんも体験されたことあると思います。 原因としては大きく分けて2種類あり、ひとつはApacheやnginxなどのウェブサーバソフトウェアの設定において同時に処理できる上限に達しているケースと、サーバ自体の負荷が高まっているケースです。 前者はApacheでいうとMaxClientsを調整することで対応できますが、そもそもサーバの性能以上にMaxClient

この記事は Mackerel プラグインアドベントカレンダー(全部CRE） の2日目です。 qiita.com soudai.hatenablog.com それでは2日目は mackerel-plugin-apache2 です。 ここではApacheの細かい説明は割愛します。 mackerel-plugin-apache2はWebServerとして広く使われているApache2専用のpluginです。 こちらは README.md にも書いてある通り、 server-status を可視化してくれるプラグインで簡単に導入することができます。 github.com インストールと設定手順 本プラグインはプラグイン集として提供しているパッケージの mackerel-agent-plugins に含まれています。 インストール先は /usr/bin/mackerel-plugin-apache2

いまさらですが、Docker使っていますか？ アーティスでも少し前からDockerを利用して開発するようになりました。Dockerをご存じではない方に簡単に説明しておきますと、Dockerはすごく軽量な仮想化環境です。 仮想化技術といえばVMwareやVirtualBoxなどが有名でアーティスでも利用していますが、これらの仮想化技術はマシンレベルでの仮想化を行いますが、DockerはOSレベルでの仮想化を行います。 Dockerでの仮想化環境は、ホストのLinuxカーネルを共有しているのでオーバヘッドが小さく、既存の仮想化技術と比較した場合、軽くて速いことが特徴です。 そんな開発が捗るDockerなのですが、少しとっつきにくい部分もあるので、PHP7+Apacheで必要最低限の開発環境を作る方法を紹介してみたいと思います。 ここから先の内容は、ホストOS側にDockerがインストール済みで

Superset is a modern data exploration and data visualization platform. Superset can replace or augment proprietary business intelligence tools for many teams. Superset integrates well with a variety of data sources. Superset provides: A no-code interface for building charts quickly A powerful, web-based SQL Editor for advanced querying A lightweight semantic layer for quickly defining custom dimen

3月27日に開催された第66回PHP勉強会でLT発表してきました。以下が発表資料です。 発表内容は、 PHP-FPMとuWSGI+PHP pluginを試してみた話と、PHP-FPMの面白機能紹介といった内容です。 個人的にPHP-FPMの記事は絶賛記事が多すぎて気持ち悪いと感じていたので、そこまで絶賛するほどかなあ？という主張をしてみました。 というのも、よくApache+mod_phpという1サーバ構成とnginx+PHP-FPMという2サーバ構成を比較していたりするんですが、静的コンテンツと動的コンテンツが入り乱れる状況なら後者の方が有利なのは当然で、公平に比較するならApacheの前段にnginxを入れるべきだと思います。 もちろん、ノウハウゼロの状態からならnginx+PHP-FPMの方が最適な設定に早くたどり着けそうですし、今後ますます期待できるソリューションだと思うので、普通

hb.matsumoto-r.jp 前回の記事では、PHPが動くApacheのコンテナをhaconiwaを使って沢山起動しました。しかし、前回のコンテナは、 同じコンテナイメージがあるディレクトリを複数コンテナで共有している ホストから見てもuid/gidがapacheで全て起動している pidもホストとコンテナで共有している というように、コンテナとホストの空間が混在した状況になっていました。そこで、今回はさらに踏み込んで、よりコンテナを独立した環境にするべく、 動的にコンテナイメージのtar.gzからそれぞれの独立したコンテナ用のディレクトリを用意する 動的に各コンテナにホストのuid/gidレンジを切り出し、コンテナ内ではuid=0からレンジの数だけマッピングする 例えば100個のuidレンジ（80000 ~ 80099）をコンテナ内では（0 ~ 99）とみなせるようにする 動的にマ

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

ロリポップは 2001 年以来、約 15 年間ホスティング (レンタルサーバ) サービスを提供してきた。その間、ハードウェアやソフトウェアの進化に伴って要求されるサービス品質も高くなってきており、いかにサービス事業者の運用コストを減らしながらも、高品質なサービスを提供するかが重要である。そこで、私が京都…

利用環境 Apache ライセンスで提供 (フリーソフトなので、無料で利用可能) Java環境またはDocker環境で利用（OS非依存) OpenSearchまたはElasticsearchを検索エンジンとして利用 用途に応じて柔軟に対応可能な設計 クロール Web、ファイルシステム、Windows共有フォルダ、データベースをクロール MS Office(Word/Excel/PowerPoint) や PDF など多くのファイル形式に対応 リクエストヘッダーに情報付加、重複ドメインの設定、検索結果のパス変換 OCRなどの外部テキスト抽出対応

先日、ApacheやnginxといったWebサーバにおいてDoS的アクセスを検知して任意の制御を行うhttp-dos-detectorを公開しました。 hb.matsumoto-r.jp 上記の拡張も非常に便利なのですが、もう少しシンプルに、現在のサーバに対するリクエスト状況においてとある属性、例えば、どのファイルにどれだけアクセスが発生しているかを計測したい場合があります。これまでは、そういった情報をApacheのスコアボードの範囲内で情報を得たりしてきました。 しかし、Webサービスの高度化に伴い、もう少し柔軟にアクセス状況を計測し、その計測を元に任意の制御をプログラマブルに行いたい場合があると思います。 そこで、それを実現するための拡張を、mod_mrubyとngx_mrubyを利用して実装しました。つまり、Apacheとnginx両方で動きますし、mrubyの実装コードも同じになっ