USENは2005年11月，無料インターネット放送「GyaO」の配信システムを刷新した。数百万人の視聴登録者を持つ同社のバックボーン・ネットワークには，IX（internet exchange）並みのトラフィックが流れる。最低でも数百Gビット/秒のトラフィックを処理できるネットワークの設計が不可欠となった。
USENの無料インターネット放送「GyaO」が好調だ。GyaOはインターネットを介して映画やドラマ，スポーツなどのコンテンツをストリーミング＊配信するサービス（写真1[拡大表示]）。民放のテレビ番組と同様に番組途中に挿入する広告などで収入を得ているため，ユーザーは利用するインターネット接続事業者（プロバイダ）や接続回線を問わず無料で視聴できる。
この点が多くのユーザーに評価され，視聴登録者＊が爆発的に増えている（図1[拡大表示]）。2005年4月に本サービスを開始してから，わずか7カ月弱で400万人を突破。2005年中にも500万人を超えそうな勢いだ。
しかし，それを支える配信システムは急増するアクセスに悲鳴を上げていた。このため，サーバーの増強などで既存システムを拡張しながら，システム構成などを抜本的に見直した新しい配信システムを追加（図2[拡大表示]）。2005年11月にカットオーバーした。新システムの構築を指揮した二木均・最高技術責任者（CTO）は，「1000万人の視聴登録者にも十分対応できる」と胸を張る。サーバーやネットワーク機器の増強などにかけたコストは約25億円。
大手インテグレータでも腰が引ける
システム刷新の検討を開始したのは，2005年5月。従来はオープン・ソースのソフトを中心としたシステムを利用していた。USENは約4年前から，楽天と共同で映像配信サービス「ShowTime」を手がけており，そこで得たノウハウを生かして構築したものだ。
しかしオープン・ソースのデータベース・サーバーでは，「当面の登録者目標である1000万人に対応するのは困難」（二木CTO）。そのため，データベース・サーバーを中心に抜本的にシステムを見直すことにした。加茂正治・副社長の指令を受けた二木CTOは，A4用紙10枚程度の設計書を作成。その数日後にはGOサインが出た。
ところが，カットオーバーまでは苦労の連続だった。1000万人の視聴登録者にも十分対応できるシステムという難しさもあり，提案を依頼した大手インテグレータは皆腰が引けていた。特に「配信システム周りはまともに設計できるインテグレータがいなかった」（二木CTO）。最終的にインテグレータは，NTTドコモのインターネット接続サービス「mopera」のプラットフォーム構築などで実績のあるザイオンを選んだ。
インテグレータの選定は7月までに終えたものの，カットオーバーまでに残された期間は約3カ月しかなかった。加茂副社長からは，10月1日までに新システムを稼働させるよう命令が下っていたためだ。しかも旧システムは，視聴登録者が100万人を超えた7月ごろから限界に近付いてきており，サーバーの増強などによる延命作業を並行させながら新システムを開発しなければならなかった。さすがに両方の作業を並行して進めるのは無理があり，稼働時期を1カ月ずらす結果となった。11月7日から稼働した新システムは既存システムとは別のデータ・センターに設置してあり，現在3カ所のデータ・センターで運用している。
数百Gビット/秒の処理能力が必要
ネットワーク設計では，各プロバイダとの接続を集約するバックボーン・ルーターの選定に注力した。ユーザーへのコンテンツ配信トラフィックを一手に処理する根幹部分だからだ。コンテンツのフォーマットは米マイクロソフトの「Windows Media」を採用しており，映像の伝送ビットレートは768kビット/秒または384kビット/秒。登録者全員が一斉にアクセスすることはないものの，その数％がアクセスしただけでもバックボーンに大量のトラフィックが流れ込む。
仮に4％とすると，登録者が1000万人の場合は40万人がアクセスすることになる。1人当たりのトラフィックを768kビット/秒で計算すると，バックボーンに流れる総トラフィックは300Gビット/秒を超える。
結局，この部分は伝送処理能力を重視してシスコシステムズのハイエンド・ルーター「Cisco CRS-1」を導入した（写真2[拡大表示]）。最低でも数百Gビット/秒クラスのトラフィックを処理できるルーターとなると「他の選択肢はほとんどなかった」（二木CTO）。
Windows Mediaサーバーを利用した配信システムも，大幅に強化した。以前はコンテンツを各サーバーのローカル・ディスクに置いていたが，サーバー台数が数十台以上になるとコンテンツの更新だけでも大変な作業になる。そこでコンテンツはNAS＊装置に集約させ，各サーバーからWindowsのファイル共有プロトコル「CIFS＊」でアクセスする形に変更した。
さらに，大量のキャッシュをNAS装置に搭載することで，レスポンスを高速化。コンテンツは1000本以上あるが，単位時間当たりの統計を取って調べてみると，特定のコンテンツにアクセスが集中していることが分かった。つまり，アクセスが集中するコンテンツの分だけキャッシュを用意すれば，多くの場合はディスクへアクセスせずに高速処理できるわけだ。搭載するキャッシュの大きさはコンテンツの平均サイズを基に見積もった。
1000万人以上に対応する策も
今回の刷新で1000万人の視聴登録者に対応できるようにしたとはいえ，視聴登録者は急激に増えている。このペースで伸び続ければ2006年半ばには1000万人を超える可能性もある。その場合は「IX＊以上のトラフィックが流れる」（二木CTO）ことが予想され，配信システムよりも先にバックボーン・ネットワークがパンクする。
あくまでも現時点での想定だが，1000万人を超えた場合は他のプロバイダにも配信システムを運営してもらい，広域負荷分散させることを考えている（図3[拡大表示]）。トラフィックを減らすには，マルチキャスト＊を使う方法もある。しかしマルチキャストはGyaOのビジネスモデルと合わないため，利用する予定はない（囲み記事を参照）。
その最大の理由は，「どのユーザーがいつ何を視聴したか」のログを取得するのが難しくなるからだ。GyaOは広告を主体としたサービスなので，ユーザーの視聴ログが重要になる。番組ごとに視聴者の傾向が分かれば，広告クライアントは宣伝効果を把握でき，広告を打ちやすくなる。
現在同社は，自社で配信システムを運用する形でしかコンテンツを提供していない。2005年10月にはソニースタイル・ジャパンやNTT東日本，マイクロソフトとの協業を発表。各社のユーザー向けにGyaOのコンテンツを提供しているが，配信システムは同社が運営している。しかし視聴ログを回収できるという前提であれば，「GyaOブランドで他のプロバイダなどが配信システムを運営する提供形態もあり得る」（二木CTO）と言う。
他のプロバイダが配信システムを運営した場合は，広域負荷分散装置を使ってユーザーのアクセスを振り分ける。ラウンドロビン＊による単純な負荷分散ではなく，ユーザーが利用しているプロバイダの最寄りのサイトにアクセスさせる。この仕組みには，BGP-4＊の経路情報（AS-PATH）を活用する。
具体的には，ユーザーがDNS＊リクエストで最初にアクセスしてきた際に，広域負荷分散装置がユーザーの利用プロバイダを判別。経路情報から最寄りのサイトを割り出し，そのサイトのIPアドレスを回答する。広域負荷分散装置は導入済みで，現在テストを実施している段階である。
マルチキャストはGyaOのビジネスモデルに合わない映像配信サービスではマルチキャストを利用することが多い。しかし，GyaOでマルチキャストを利用するつもりは全くない。マルチキャストをインターネットで広く一般に使う環境が整っていないことに加え，GyaOのビジネスモデルとは合わないからだ。 まず，GyaOでは配信期限を設けてコンテンツを常に入れ替えている。これはユーザーのリピート率を高めるため。配信期限内なら好きな番組を何度でも視聴できる。テレビのようなリアルタイム配信と異なり，このような配信にマルチキャストは向かない。 また民放のテレビ番組と同様，コンテンツにスポットCMを挿入して配信しており，2006年1月からは視聴者の属性別CMを本格的に展開する。性別，年齢層，郵便番号といった登録者の属性情報を活用し，ユーザーの好みに合ったセグメント広告を挿入する予定だ。ユーザーごとに映像をカスタマイズして配信する必要があるため，マルチキャストは利用できない。 さらにユーザーの視聴ログを取得するという点からも，マルチキャストは適さない。広告を中心としたビジネスモデルを展開する上で，我々が重視しているのは視聴ログ。しかしマルチキャストを利用してしまうと，誰がどの番組を視聴したかの視聴ログを取ることが難しくなってしまう。（談） 【IT Pro編集から】後ろから2つ目の段落中の誤字を修正(民法→民放)しました。(2006年1月17日) |
