100 G超通信時代の安定した高品質な伝送インフラ構築づくり

100G超通信時代の安定した高品質な
伝送インフラ構築づくり
2016年3月4日
アルテリア・ネットワークス株式会社
小野寺智広
t.onodera@arteria-net.com
【QUNOG4 in Beppu】【公開用】

1Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved.
本日の内容
現在、キャリアの基幹網や一部ユーザーで100GbE回線の
運用が始まってきた。実際、弊社の一部基幹網も100G対応
となっている
しかし、高速化通信を行ううえで、いろいろな課題が見え
どう対策を行うかが重要となってきた
今回は、弊社での実際の構築内容をもとに、事例や課題など
を皆さんと共有します

発表者紹介
 小野寺智広（おのでらともひろ）
– アルテリア・ネットワークス株式会社
• 旧グローバルアクセスに入社
– 専用線の開通に関わる設計、開通調整
工事調整、回線構築全般を担当
• 最近は、対外発表も
– 前職はTTNet（P-COM）/Tepco/KDDI
関連の通信建設工事全般に従事
• FTTH、専用線、広域イーサ、SDH/PDH網、電話交換
マイクロ無線、CATV網、映像伝送、携帯電話関連
電力、局舎整備
 活動中
– BICSI日本支部幹事委員（教育担当/IT担当）
– wakamonog Committee Member
– Interop Tokyo ShowNet NOC Member （Facility/伝送担当）
– JANOG、QUNOG、QGPOP、はこだてIKA他各種Communityに参加中

自己紹介
 セミナー、勉強会
– BICSI日本支部主催技術セミナー
• 「基礎から学ぼう～物理レイヤの初級編～」
– 九州地区CATV事業者向けインフラ勉強会
– wakamonog meeting#8
• 物理レイヤーの話（仮）
– JPIX ケーブリングハンズオン
– Internet Week 2015
• できる網設計
– 電力系NCC勉強会
• 安定したネットワークを提供するためのラック内環境を考えてみる
– 他、JANOGや各種プライベートセミナーにて発表

本日のおしながき
• 弊社ネットワークの紹介
• 100G回線構築話
• ネットワークに求められること
• 構築事例

弊社ネットワークの紹介

ARTERIAとは？
1997
2000
2000
2000
グローバルアクセス設立
グローバルソリューション設立
ユーズコミュニケーション設立
メディア設立
2005
ＵＣＯＭに商号変更
2007
㈱ヴェクタントに商号変更
2007
2014
ＵＣＯＭがメディアを吸収合併
2010
グローバルアクセスがヴェクタントを吸収し
丸紅アクセスソリューションズに商号変更
丸紅アクセスソリューションズとＵＣＯＭが
合併しアルテリア・ネットワークスに商号変更
認定電気通信事業者（旧第1種電気通信事業者）

サービス提供エリア（ダイナイーサ）
志摩LS
Com SpaceⅠ
東京
アクセスセンター名古屋
アクセスセンター大阪アクセスセンター
ComSpace West
Com SpaceⅡ
福岡
アクセスセンター
北茨城GW
阿字ヶ浦LS
千倉GW
EAC JUSCN
PC-1
APCN-2
JUSCN
EAC
PC-1
APCN-2
JUSCN
Korea-Japan
丸山GW
大垣
アクセスセンター
TGN
金沢
福井
富山
上越
長野
前橋
神戸
岡山広島
福岡
大阪
京都
大津
名古屋
四日市
静岡
横浜
水戸
草加
高知
松山
高松
さいたま
郡山
仙台
いわき
長崎
大分
宇都宮
自前ケーブルが無いエリアも、他電気通信事業者等と
相互接続することにより全国にてサービス提供可能
（相互接続により全国エリアで提供可能）
現在、エリア拡大中！！

弊社ネットワークの特徴
• 各通信事業者、ISP事業者の多くの企業に利用されている
– GAL設立当初より、キャリアズキャリア
• 他事業者のコア回線部分が弊社回線っていうのは結構存在する
• 裏方的な通信事業者（最近は表に出てくることが多いけど）
– 比較的遅延が短いこと
• 専用線より広域イーサの方が遅延が短いなんて箇所も…
• 基幹網部分は自前DFメイン、アクセスは他社DFメイン
– NTT東西-DFは圧倒的
– KDDI、電力系NCC、NTT-Com、CATV、鉄道事業者、
SoftBank、国交省等から調達

• 他通信事業者との組み合わせ容量回線、
ファイバーネットワークの構築が得意
– 通信事業者なのに、他社のサービスを販売することがある
• 相互接続回線
– 他社の回線をUNI/NNIで接続し、その回線含めて提供
• 再販回線
– 開通や保守はサービス提供会社にて実施
– 申込みと支払いは弊社宛に
– 直接申込するよりも経由することで安い金額になる場合も

• シンプルなネットワーク
– ダイナイーサ・ワイドは他社に負けないシンプルな構成
• L2 only Network（L3 routing なんてしていません。VLAN大好き）
• 多くてEdge-Core-Core-Edgeの4段のL2-SWしか経由しない
アクセス部分は全てMCにお任せ
• （今のところ）広域イーサのわりに専用線とほぼ同じ帯域管理
– ある種贅沢な使い方
• 残念ながら、エリアが限定的
– 他社のように広範囲でのサービス展開は競合することが多いので
あえて、設備拡充は行わない

コストのはなし
• 2016年現在、提供中の帯域（Ethernet）
Fast Ethernet Gigabit Ethernet
10Gigabit
Ethernet
100Gigabit
Ethernet

どちらがコストが高い？
Fast Ethernet
2回線以上
Gigabit Ethernet
1回線

Fast Ethernet
2回線以上
Gigabit Ethernet
1回線
旧来のシステムでは、上位がGbEをベースに作っていたため、
実は、FEを作る場合はその配下に更に速度変換装置をいれないといけない為
相対的にコストが高くなる
なので、FEを2回線以上入れるなら、GbEを1回線で「値段をもうちょっと
頑張って！」って営業に言う方がFE回線に近い金額でなることがある

10Gigabit
Ethernet
2回線以上
100Gigabit
Ethernet
1回線

10Gigabit
Ethernet
2回線以上
100Gigabit
Ethernet
1回線
これは、単純にインターフェースの値段がまだ100GbE回線の方が
圧倒的に高いため
ただし、今後1～2年程でインターフェースの金額が下がることが予想されるので
そうなった場合は、10GbE回線2本以上なら、100GbE回線1本が安いって
ことに十分なり得る

現在の主流は
• やはり、10GbEがここ2～3年の間で受注が逆転した
– 以前は、10G回線なんて、1ヶ月に5件程しか開通していなかった
• 現在は、まだ圧倒的に10GbE回線が多いが
100GbE回線についても、構築が増えてきた
– 100GbE回線については、今年から装置が変更となり
従来の10Uから2Uへ一気にサイズダウン（メーカー、機能は一緒）
10GbE GbE FE
100GbE
▲現在、各回線の構築回線数割合＜イメージ＞

1 0 0 G 回線構築話

100G対応エリア（提供中）
（2016年2月現在）
東京都・名古屋・大阪・北陸の一部エリア
※実際は、対応局から伝送装置で延長することが
できるので、提供エリア外でも構築は可能

100G回線構築の歴史
2008年
東京～大阪間で
商用網での
100GbE伝送実験
2013年11月
国内初100GbE
デュアルクラス
対応発表
2014年2月
100GbE専用線
サービスリリース
2014年11月
100GbE専用線
1st User回線構築
引き渡し
2015年6月
ShowNetへ
100G回線提供

100G構築
• 2012年に基幹網100G化構築開始
– 東名阪と北陸エリアが対象
– ひたすら線路接続調査と局舎選定
• 2013年後半に基幹網100G化（東名阪・北陸）構築完了
– 1st ユーザーが某学術系ネットワークコア回線
– その後順調に、他社通信キャリアやISPにご利用頂いている

ネットワークに求められること

求められること
多くのユーザーの皆様にご利用頂いている回線なので、
ネットワークが求められる

安定した通信
高速通信を提供するうえで、一番の敵は、
瞬断

瞬断とは
• 瞬間的（1秒未満）に回線が断になること
– 一時的に、光信号が伝搬されなくなる（LOS状態）
– でも、またすぐに復旧する
– 物理的な瞬断でも、論理では回線断となることがある
• 通信キャリアによって扱いがことなる
– 故障扱いである
– 故障扱いではない

瞬断の原因
• 主な原因は
– 光ファイバーコードへの曲げによる損失増加
• NTT-DFを利用している場合は、他通信事業者よりも
クロージャーやPD盤での発生している件数が多い
– コネクタ部へのストレス増加

瞬断のむずかしいところ
• 瞬間的な断の“ 発生 ” と“ 復旧 ” となるので、
発生箇所の把握が困難
– でも、大抵はどこかで何かしら作業している…はず
– 装置のインターフェースの発光素子の問題の時もある
– 気温の変化で発生することもある
瞬断検知システムを利用して芯線を常時監視と記録で対応
（でも、さすがに全部の芯線は無理…）

瞬断のむずかしいところ
• ある作業に対して事象の発生が、必ず起こるとはいえない
– 再現性がとれないことが、結構むずかしい
原因になりそうなところからコツコツと対応
 高強度光ファイバーケーブルの採用
 R15タイプを利用
 他社とのケーブル色をあえて異なる色を採用
 挿抜工具の利用
 光コネクタは、コネクタ部分（特にブーツ部分）への
瞬間的なテンションに弱い
 作業時に隣接コネクタへの接触を防ぐために使用する

• 各通信事業者、ISP事業者の多くの企業に利用されている
– GAL設立当初より、キャリアズキャリア
• 他事業者のコア回線部分が弊社回線っていうのは結構存在する
• 裏方的な通信事業者（最近は表に出てくることが多いけど）
– 比較的遅延が短いこと
• 東京～大阪は6.19ms、東京～福岡は14.24ms程度
• 専用線より広域イーサの方が遅延が短いなんて箇所も…
• 基幹網部分は自前DFメイン、アクセスは他社DFメイン
– NTT東西-DFは圧倒的
– KDDI、電力系NCC、NTT-Com、CATV、鉄道事業者、
SoftBank、国交省等から調達
言い換えると、自社だけの
品質管理が行えない部分が
数多く存在するということ

重要なこと
が、重要となってくる

自社設備ではない為にむずかしいこと
• ケーブルの状況がわからない
– 架空なのか、埋設なのか
– どのケーブルメーカーか
– いつ製造されたのか、いつ敷設したのか
– etc…

DFに求められる品質とは？
• そもそも、DFに求められる品質とは何か？
– 大抵のDFは、挿入損失値の規定のみ（提供側）
• 使用波長は、1310nm帯が標準
1310nm帯以外は、透過出来なくてもいい
• 弊社のサービス規格としては、SMF（1310nm）での提供を前提
挿入損失値のみ規定
– 挿入損失値以外の線路品質も知りたい（使用者側）
• 距離、反射減衰量 …
発表者から会場の皆様へ：
明確に挿入損失値以外で規定している
DF提供事業者さんいらっしゃいますか？

回線構築時の品質項目
• 挿入損失値
• 反射減衰量
• 分散
– 波長分散（CD）
– 偏波モード分散（PMD）

挿入損失値
• 区間ごとの光減衰量
– 100GbE伝送路構築前からあった項目
• 伝送路を構築する上では、最低限必要な項目

反射減衰量
• 送信側の光信号が、自分のところにどのくらい
戻ってこないか
– dBの値が高いほど、戻ってこないことになるので良い
• 中・低速通信（10GbE未満）では、
あまり気にしていなかった、気にならなかった
• 反射減衰量の不良は大抵は接続不良
– MTコネクタ等は、整合剤の劣化による
– 半刺し状態（損失値も大きくなる）

波長分散
• Chromatic Dispersion（CD）
– 光信号中に含まれる波長成分において、光ファイバー内を伝搬する
速度が波長によって若干差がある
到達時間に差が出るため波形を劣化させる現象
– 使用するケーブルの種類によっても異なる
• G.652 SMF
• G.653 DSF
• G.655 NZ-DSF
光ファイバー

偏波モード分散
• Polarization Mode Dispersion（PMD）
– 教科書的には、
「光ファイバの直交した二つの偏光軸に沿って光が伝搬する際の
群遅延時間差によって光パルス幅が広がること」
– 1980～90年代前半に敷設されたケーブルは、
0.2～1ps/k（√km）とやや分散量が多い
垂直偏波
水平偏波
光ファイバー

PMD測定
• 測定結果がいろいろな環境下で変動
– 設置環境
• 架空なのか
• 埋設なのか
– 光ケーブルメーカー、製造ライン、製造年月日等の製造環境
• 同一ケーブルの別芯線、別テープでも違う
• 経過年数などの時間でも違う
– 設置環境の気温、温度、天候、振動
• 測定日時によって測定結果が変動する

PMD測定
とりあえず、
測定回数を増やす
しかないっ！

PMD測定
• 2010年頃からひたすら隙があれば測定
– あえて台風時など天候が悪い時に測定
– 当社エリア内で1,000件程収集済み
• 自社DF以外の他社DFも対象
– 当初品質面で課題になると考えられていたNTT-DFの部分も
エリアによってばらつきがあるが概ねクリア
最近は、伝送装置側のPMD耐力も向上しており
装置側である程度許容できるレベルになった

今わかってること
• 伝送装置ベンダーによってPMD耐力に結構差がある
– あんまりカタログにそもそも書いていない
– 教えてくれない…ところもある
– 実は、あまりベンダーさんもわかっていないんじゃないか説
• あくまでも個人的な感想です

構築事例

Interop Tokyo 2015 ShowNet構築問題
• 2015年 ShowNet向け100GbE回線構築
– 弊社千葉県白井にある局舎～幕張メッセまで
自社DFとNTT-DFの組み合わせで構築
※線路部分の大抵は、NTT-DFを利用
– 実は、ものすごく構築時に線路部分で問題があった

• 構築時遭遇事例１
– 白井収容局から数kmのNTT局舎内での損失が異様に高く
全体の挿入損失が40dB近くなり構築不可に
• NTTへコネクタクリーニングを依頼
• 結果、25dB程度に改善された
• 構築時遭遇事例2
– 上記事例1実施後、全体の挿入損失値が改善されたが
今度は、違う局で反射減衰量の数値が悪化
– 13dBであったため、損失値では問題ないが、反射減衰量が
低すぎるので構築不可に
• NTTへ芯線振替してもらい改善
• そもそも、NTT-DFの提供規定に反射減衰量の数値の規定がないため
通常だと、振替作業自体却下される

• 構築時遭遇事例3
– 幕張メッセの収容局であるNTT幕張にて2回目の
挿入損失値が高い状態となった
• NTTへコネクタクリーニングを依頼
• NTTの線路構築規格的には問題ないレベルだった
これらの問題を解決して
ようやく回線提供可能に！

10G回線の反射減衰量問題
• とあるお客様向け回線構築の際、NTT局舎内で
構内配線による接続
• 開通作業当時は、挿入損失値は問題なく、尚且つ
回線試験が実施出来ており、問題なかった
• 数日後、突然Linkdownが発生
• 切り分けの結果、光レベルは問題が無かったので
PKG交換したが、復旧できず
• さらに詳細に調査した結果、反射減衰量が悪く
結果として、その接続点が影響していた

10G回線の反射減衰量問題
• 芯線振替と、NTT東、NTT工事方との
共同調査チームを作り原因の追求と調査
– 結果、棟間FTMの既設TIE部分において、整合剤不良
– 施工後、1年未満で事象が発生
– 未収容の箇所については、全箇所施工手直しの実施
この時はじめて、光レベルが問題ない値でも
反射が原因で通信できないものだと認識

まとめ
• 100GbE以上の回線を提供する場合、
新たに考慮が必要となる品質項目がある
• 今後、100GbE以上の速度の回線が、品質問題の影響で
構築できない可能性もある
• 瞬断とどう向き合うか。しかもすぐに出来るものは少ない
がコツコツやるのが弊社では良いと考えている
• 問題発生時に協力してもらえるようなお互いの信頼関係が
今までよりもより一層重要となる

100 G超通信時代の安定した高品質な伝送インフラ構築づくり

More Related Content

100 G超通信時代の安定した高品質な伝送インフラ構築づくり

Editor's Notes