「この先のサイトには有害なプログラムがあります」の件

数日前からGoogle Chromeでftp.jaist.ac.jpにアクセスすると、「この先のサイトには有害なプログラムがあります」と警告される状態になっています。本当に有害なプログラムがあるわけではありませんが、そう言われても仕方のない事情があります。

過負荷で接続が困難です

今朝リリースされたCentOS 7へのアクセスが殺到しているため、昼過ぎからftp.jaist.ac.jpへの接続が困難になっています。14時過ぎにはロードアベレージが900を超えました。過去の例では、この辺で処理が詰まって応答しなくなるのでユーザーから見放してもらえるのですが、今回はロードアベレージが1000を超えても処理が継続しているため、負荷が下がらない状況となっています。

どうにもならないので、18時の段階でCentOS 7のディレクトリのパーミッションを落としました。アクセスすると403 Forbiddenになります。CentOS 7をダウンロードする際には以下のいずれかのミラーを使ってください。

• http://ftp.iij.ad.jp/pub/linux/centos/7/
• http://ftp.riken.jp/Linux/centos/7/
• http://ftp.tsukuba.wide.ad.jp/Linux/centos/7/

[2014/7/9 13:25 追記]
CentOS 7のパーミッションはすでに上げてありますが、引き続きほかのミラーへの負荷分散をお願いします。

PC-BSDのミラーをやめました

PC-BSDのミラーをやめました。ずいぶん前にCDNに移行してミラーを使わなくなるとアナウンスが出ていましたが、ミラーの管理人のメーリングリストには、CDNからミラーできるようにするとの案内が来ていたので様子を見ていました。しかし最近、案内がないままミラーのマスターサーバーであるisc.pcbsd.orgが応答しなくなったので、本当にミラーは不要になったのだと判断し、PC-BSDのミラーをftp.jaist.ac.jpから削除しました。

ZFSの空き容量には気を付けよう

空き容量の少ない状態で運用してはいけないことは、ZFSを運用する際の常識です。ファイルシステムに書き込むときにコピーオンライトするため、必ずコピーが行われます。空き容量に余裕がないと連続する空き領域を確保できず、書き込みが致命的に遅くなります。そして削除のときもメタデータのコピーが必要なので、空き容量が少ないと削除も致命的に遅くなります。空き領域が足りないのに削除が遅いので詰みます。

ZFSで使用量が90%を超えるのはかなり危険です。しかし、ftp.jaist.ac.jpのZFSの使用量は90%を超えても何の問題もなく、95%に達してもなお問題ありませんでした。書き換えが少ないなら、ぎりぎりまで使っても平気なのかと思っていたのですが、そんなに甘くはありませんでした。Fedora 20をミラーした直後に書き込み性能が大きく低下し、ほかのミラーがとどこおるようになりました。

そこで空き領域を確保するために、まずobsoleteなFreeBSDのpkgngの非公式なミラーと、Scientific Linuxのバージョン4以前のファイルを削除しました。DebianのISOイメージは、古いものから最新のビルドまであらゆるものをミラーしていたのですが、最新のリリース版を残して削除しました。これで使用量は85%まで減りました。

ストレージの容量を増やす方法については現在検討中です。増えたらDebianのすべてのISOイメージのミラーは復活させるつもりです。

Linux Mintのミラーを再開しました

Linx Mintのミラーを再開しました。実は一か月くらい前に再開したのですが、なかなか気付いてもらえないものですね。ISOイメージはnocodecsだけです。リポジトリはLinux MintとLinux Mint Debianの両方をミラーしています。 完全なISOイメージの配布は違法なのでミラーしていません。必要なら海外からダウンロードしてください。

完全なISOイメージを配布できないのはlibdvdcssとw32/w64codecsが含まれているからです。libdvdcssの配布は不正競争防止法に触れるのでできません。w32/w64codecsに含まれているWindowsのDLLは、再配布が禁止されているプロプライエタリなものなので配布できません。

nocodecsに含まれているMPEG LAの特許を含むコーデックについては、ほかのディストリビューションでも普通に配布しているので、そのまま配布します。経済活動の一環としての配布ではないので、特許の「業としての実施」に当たらないと考えています。

Raspberry PiのSDカードイメージのミラーを始めました

Raspberry PiのSDカードイメージのミラーを始めました。downloads.raspberrypi.org/images/以下をftp.jaist.ac.jp/pub/raspberrypi/にミラーしています。ミラー元のイメージファイルのURLは、CDNからダウンロードするページにリダイレクトされますが、ミラーからは直接ダウンロードできます。このミラーを実現するために書いたPerlスクリプトを公開しています。これを用いると同様のミラーを簡単に提供できます。

cdimage.debian.org/cdimageのミラーを始めました

cdimage.debian.org/cdimageのミラーを始めました。ミラー先はftp.jaist.ac.jp/pub/Linux/debian-cdimageです。このディレクトリには開発中のバージョンのISOイメージがあります。ミラー元には古いリリース版のISOイメージもありますが、容量の都合でミラーしていません。

yumで速いミラーサーバーを指定する方法

FedoraやCentOSなどのRed Hat系のディストリビューションで、yumに速いミラーサーバーを自動的に選択させる方法として、fastestmirrorプラグインのインストールを勧めている記事がたくさんあります。しかし、これらのディストリビューションの最近のバージョンでは、最初からfastestmirrorプラグインがインストールされているのでその必要はありません。では何もしなくても速いミラーサーバーが使われるかというと、そんなことはありません。

ミラーの運用について

ftp.jaist.ac.jpが提供しているのは、オープンソースソフトウェアのプロジェクトが提供しているコンテンツの複製、いわゆるミラーです。現在35のプロジェクトのコンテンツをミラーしています。一つのプロジェクトが複数のコンテンツを提供している場合があるので、ミラーの設定は52あります。ミラーの状態をあらわす表を見ると、どんな設定があるかわかります。

pkgbetaのミラーを始めました

Twitterでミラーの要望を見掛けたので、pkgbeta.freebsd.orgのミラーを始めました。URLはhttp://ftp.jaist.ac.jp/pub/FreeBSD-pkgbeta/です。pkgbetaはFreeBSDの次世代のパッケージ管理システムpkgngの試験運用を行っているサイト…で合ってるんでしょうか。最近FreeBSDの情報を追っていないので、よくわからないままミラーしています。

Apache OpenOffice 3.4のダウンロード件数

5月8日にApache OpenOffice 3.4がリリースされました。OracleからOpenOffice.orgのソースコードがASFに寄贈されてから、Apache Licenseによる最初のリリースになります。これがどれくらいダウンロードされたか調べてみました。

ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/...

以下のURLにアクセスできるのを見て、「おかしいんじゃないか」とか、「どんだけUbuntu好きなんだよw」とか言っているのを、ときどきtwitterで見掛けます。

http://ftp.jaist.ac.jp/pub/Linux/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/

これは/pub/Linux/ubuntu/にubuntu -> .というシンボリックリンクがあるだけです。そのため、パスに含むことができるシンボリックリンクの数の最大まで、ubuntuを繰り返せます。ftp.jaist.ac.jpはSolaris 10なので20個です。

ミラー元のマスターサーバーに同じシンボリックリンクがあるので、ほかのミラーサーバーでも同様にたくさん繰り返せます。いくつ繰り返せるかはサーバーのOSやファイルシステムによって異なるので、比べてみるとおもしろいかもしれません。

Ubuntuをアップグレードする前に

もうすぐUbuntu 12.04がリリースされます。ダウンロード元を日本のサーバにしたまま11.10からアップグレードすると、ubuntutym.u-toyama.ac.jpに負荷が集中します。ダウンロード元のサーバを変更しておきましょう。まずランチャーからシステム設定を開きます。

Linux Mintのミラーをやめました

Linux Mintのミラーをやめました。Linux MintのDVDイメージには、特許で保護されているコーデックを実装したライブラリや、CSSを回避するためのライブラリが含まれています。これらの配布を日本で行うことは特許法や不正競争防止法で禁止されています。これまでは見て見ぬふりをしていました。しかし、ついうっかり違法性を認識していることをtwitterで白状してしまったのでミラーをやめることにしました。違法性のない形でミラーすることも可能ですが、皆さんが中途半端な国内のミラーではなく海外のミラーを選択することが明白なので、きっぱりやめてしまうことにしました。

コンテンツの転送量の順位

コンテンツの転送量の日毎の順位を見られるようにしてみました。一日の転送量の合計も表示してあります。Firefoxのバージョンアップがあると、一日に20TBくらい吐いているのがわかります。ほとんどトップ10に入ることがなかったLinuxMintが、去年の11月中旬からトップ10の常連になっているのが興味深いですね。

sourceforge.netのミラーサーバに復帰しました

昨晩からsourceforge.netのミラーサーバのリストにftp.jaist.ac.jpが復帰しました。Geeknetから求められた書類にサインするための学内の事務手続きがかなり難航して時間が掛かってしまいました。日本の皆様にはご不便をお掛けして申し訳ありませんでした。私自身も一ユーザとして不便に思っていたので復帰できてうれしいです。

sourceforge.netのミラーについて

7月22日からsourceforge.netのミラーサーバのリストからftp.jaist.ac.jpが外されています。sourceforge.netを運営するGeeknetから、ミラーサーバにおける個人情報の取り扱いを、アメリカとEUとスイスの法律に基づいて行う旨の書面にサインして返送することを求められたのですが、学内の手続きに時間が掛かってしまったため外されてしまいました。手続きは進んでいますので、近日中に復帰すると思います。ftp.jaist.ac.jpが使えない間は、National Center for High-Performance Computingが提供している台湾のミラーサーバを使うのがよいと思います。

[7月26日]正確な状況を記載しました。

Ubuntuのアップデートを高速化する方法

Ubuntuのアップデートでパッケージのダウンロードが遅いのは、デフォルトで設定される「日本のサーバ(jp.archive.ubuntu.com)」が遅いからです。サーバの変更方法を覚えてもらうために、意図的に性能を落としているそうです。そこで、アップデートに用いられるサーバを「日本のサーバ」から変更する方法を紹介しておきます。対象のバージョンは10.10です。

Fedoraは週末に強い

最近、http://ftp.jaist.ac.jp/で直近2時間くらいのダウンロード傾向がわかるようにしてみました。サーバで30分に1度データを生成して、ブラウザがAjaxで取ってきてCSSで描画します。データの生成は、SSDにキャッシュするファイルを決定するプログラムにやらせています。