Ia20120118 sayama

SINET4における
マルチレイヤネットワークの運用

大学共同利用機関法人
情報・システム研究機構
国立情報学研究所
佐山純一、青木道宏、鷹野真司

© 2012 National nIstitute of Informatics 1

説明内容

SINET4の概要
• SINETの歩み

• 高信頼化機能の紹介

アーキテクチャの概要と運用
• アーキテクチャの概要

• マルチレイヤネットワークの運用

• L1オンデマンドサービス
L1オンデマンドサビス

• L2オンデマンドサービス


SINETの歩み

87 －－－－ 92 －－－－－ 02 －－－－ 07 08 09 10 11 12 13 14 15 16 17 －

パケット交換網（X.25）クローズドネットワーク

▲1987.1
研究・教育活動を支援する“情報ライフライン”（800以上の利用）

SINET（インターネット）
S （タネ）
▲1992.4 先端研究のための“超高速ネットワーク環境”

スーパーSINET
▲2002.1
ネットワーク統合とサービスの多様化

SINET3
▲2007.4
最先端学術情報バックボーン
☆ネットワークの経済的高速化
☆サビスの多様化（継続）と利便性向上
☆サービスの多様化（継続）と利便性向上 SINET4
☆エッジノードの高安定化（5年間)
☆加入機関間の通信環境格差の解消 ▲2011.4 次期学術情報ネットワーク
☆上位レイヤサービスの支援・��開


ネットワークへの要求条件
 ユーザ要望等をベースに、要求条件の徹底的な洗い出しから検討を開始

【最先端リソース】【通信の特徴】【SINET4への要求条件】
最先端大型実験装置
大容量データ転送高速接続
先端的研究分野の創出・進展をドライブ
高度測定装置・センサー
大容量DBアクセスマルチレイヤ
スーパーコンピューター任意のレイヤ（IP, Ethernet, L1）をサポート

超臨場感メディア装置高精細映像伝送マルチVPN
各種
各種VPNにより共同研究を協力サポート
より共同研究を協力サポ
大容量学術データベース
大容量学術デタベ
共同研究環境形成
リソースオンデマンド
最先端学術サービス装置
オンデマンドで帯域やVPN設定を可能に
国際通信
人的リソス
人的リソース
柔軟なサービスの高度化
柔軟なサビスの高度化
ユーザ要望により特有のサービスを提供

【ユーザからの要望等】
加入機関都合によるノード
加入機関都合によるノド非ノード校も経済的高速化
非ノド校も経済的高速化エッジノードの高安定化
停止の回避が図れるアーキテクチャ

エッジノードの保守性向上ノード未整備県の解消学術基盤格差の解消

上位レイヤサービスの展開上位レイヤサービスの展開


海外研究ネットワークとの相互接続
 北米、欧州およびアジア向けに回線を用意して、相互接続環境を担保
 ISP向けは、国内でトランジット。商用IXとも接続


ネットワークの高速化・高信頼化
 北海道－九州を縦断する40Gbpsベースの超高速・高信頼バックボーン
 ノード配備の抜本的な見直しによる高速化と全ノードのデータセンタへの配備
 コア・エッジ回線は全て二重化回線コア回線間はマルチループの冗長化構成
コア・エッジ回線は全て二重化回線、コア回線間はマルチルプの冗長化構成
図は平成23年度末の構成

コア回線
コアノード(8)
エッジ回線
ッジ回線
エッジノード(42)
アクセス回線
加入機関(≧700)

：コア回線（40Gbps）
：コア回線
ア回線（10Gbps）
：エッジ回線（40Gbps）
：エッジ回線（10Gbps）
米国・欧州：エッジ回線（2.4Gbps）
：コアノード
：エッジノード
アジア


SINET4の高信頼化設計
 SINET4では、以下のネットワーク設計を実施。
(1) データセンターへの機器配備
(2) 二重化回線（エッジ回線、コア回線）
重化回線（ッジ回線、コア回線）
(3) 迂回路設定（コアノード間）
(4) 論理サービスネットワーク毎の高信頼化機能
（ルーティング、シグナリング、高信頼プロトコル等）
（ルティングシグナリング高信頼プロトコル等）
(3) 迂回路
データセンター選定基準
(4) 論理サービスネットワーク毎
の高信頼化機能 ①任意のキャリアの回線サービスの利用が可能
①任意のキャリアの回線サビスの利用が可能

②任意の事業者の各種機器類の設置が可能
(2)二重化回線
コア ③計画停電による電源供給休止なし
ノード
ノド
④停電時でも、非常用電源供給装置から10時間
以上継続して給電可能

コア ⑤阪神・淡路大震災クラスに耐える耐震性
ノード
⑥24時間365日セキュアに入退館管理を実施

⑦申請後2時間以内に担当者の緊急入館が可能
エッジ
ジ
ノード ⑧各大学等を適切に収容可能な位置

(1) データセンタ－ 8
© 2012 National nIstitute of Informatics

（参考）SINET4の高信頼性
 エッジ回線、コア回線は全て二重化し、かつ、ネットワークとして冗長経路を確保
 エッジノード、コアノードは全てDCに設置し、地震や停電への耐性を確保
 東日本大震災時にも、上記の設計が功を奏し、バックボーンとしてサービス断は発生しなかった。
東日本大震災時にも、上記の設計が功を奏し、バックボンとしてサビス断は発生しなかった。

：被災回線
弘前大学回線は全て異経路二重化
東日本大震災時の影響：両系切断
両系切断
北見工業大学
：停電山形弘前：現用系
弘前
(1) 回線東北大学
北海道大学北見：予備系

一部切断したが迂回路で持ち堪えた郡山
金沢仙台
両系切断（両系の回復は1カ月以上）札幌
仙台札幌
・仙台－東京回線
仙台東京回線
・仙台－金沢回線
片系切断（数日間片系運用）
東京
・仙台－札幌回線
・札幌－東京回線茨城
・仙台－弘前回線静岡
・仙台－山形回線栃木ノードは全てDC設置
新潟
・仙台－郡山回線
長野弘前：DC
ノード
(2) ノド
群馬
停電したが非常用電源で持ち堪えた神奈川

・仙台DC （約96時間）山梨仙台札幌

・山形DC （約28時間）埼玉
・弘前DC （約17時間）
調布千葉
地震、停電への耐性を確保


アーキテクチャの概要と運用
アキテクチャの概要と運用


SINET4の提供サービス一覧
 世最先端
世界最先端のサービス群の提供を継続するとともに、オンデマンドサービスなどを拡張予定。
ビ群提供を継続するもオデドビなどを拡定
サービスメニュー SINET4 備考
E/FE/GE (T) ◎
提供インタフェース GE (LX) ◎
10GE (LR) ◎
インターネット接続 ◎
IPv6 ◎ native/dual stack/tunnel
マルチホーミング ◎
フルルート提供 ◎
IPマルチキャスト ◎
L3サービス
L3サビス
L3VPN ◎
アプリケーション毎QoS ◎
IPマルチキャスト (QoS) ◎
L3VPN (Q S)
(QoS) ◎
L3VPN (マルチキャスト) 予定
L2VPN/VPLS ◎
L2サビス
L2サービス L2VPN/VPLS (QoS) ◎
L2オンデマンド予定
L1サービス L1オンデマンド ◎
パフォーマンス計測/改善 ◎ スループット/RTT情報提供、性能改善ソフト提供（予定）
ユーザ支援サービストラフィック利用状況 ◎ 個別にSINET利用推進室にお問合せください
商用クラウド接続 ◎
※ その他のサービスも検討中 © 2012 National nIstitute of Informatics 11

SINET4のアーキテクチャ
 NWの高速化：ネットワーク構成の見直しやダークファイバ＋WDM技術などにより経済的に高速化
 サービスの多様化： SINET3のアーキテクチャを継承し、リソースオンデマンド機能等を強化・拡張
 エッジ高安定化：エッジノード・コアノードともにデータセンターへ設置
 格差の解消：アクセス系の高速化を非ノード校へも展開、ノード未設置県の解消
アクセス系の高速化を非ノド校も展開ノド未設置県の解消
 上位レイヤ展開：上位レイヤサービスを支援するインタフェースやサービス共通プラットフォームを整備

上位レイヤサービス

L1ｵﾝﾃﾞﾏﾝﾄﾞ機能ﾘｿｰｽｵﾝﾃﾞﾏﾝﾄﾞ機能、ｻｰﾋﾞｽ共通ﾌﾟﾗｯﾄﾌｫｰﾑ、等
SINET3
コアノードコア回線
（エッジ機能含む）
コアノード 10G～40G
コアノド 10G 40G （40Gをベース）
（40Gをベス）
12 拠点 8拠点
（ﾃﾞｰﾀｾﾝﾀｰ）構造 (ﾃﾞｰﾀｾﾝﾀｰ)

広域LAN/ 変更エッジ回線光ｱｸｾｽ網等
Bフレッツ
ッツ
（2.4G～40G）
（2 4G～40G）
1G～20G
42拠点
エッジノード
(ﾃﾞｰﾀｾﾝﾀｰ)

エッジノード 62 拠点 H23年度末
（ノード校）
ノードノードノードダークファイバアクセス回線
校校校＋WDM技術（1G～40G）
10M～1G

非非非非非 630強拠点加入加入加入加入加入加入加入加入約700拠点
ノードノードノードノードノード機関機関機関機関機関機関機関機関（ﾕｰｻﾞ拠点）
校校校校校（非ノード校）

バックボーン構成～ネットワーキング方式～
 多様なサービス（VPN、リソースオンデマンド、マルチレイヤ、マルチキャスト等）を単一バックボーン
上で実現するために、SINET3のアーキテクチャを踏襲。
 論理ルータ機能やL1スイッチ機能を用いてサービス毎の論理ネットワークを構築。
 リソース（帯域、VPN）オンデマンド制御機能などの先端機能に関してはＮＩＩ独自で開発。

加入機関装置リソス
リソース
data IP Ether
L2SW オンデマンド IPルータ : 論理ルータ

IPv4/IPv6 制御サーバ
data IP VLAN Ether data IP VLAN Ether
L3 data IP Ether IPv4/IPv6
L3VPN data
d t IP VLAN Eth
Ether data IP MPLS VLAN Ether

data Ether
L3VPN

L2VPN/VPLS data VLAN Ether data VLAN Ether MPLS VLAN Ether
L2 L2VPN/VPLS
data Ether 帯域は無瞬断
L2ｵﾝﾃﾞﾏﾝﾄﾞ data VLAN Ether data VLAN Ether MPLS VLAN Ether
で変更可能
変更可能
L2OD

L2/L3用パス
/ パ L2/L3用パス
L2/L3用パ
L1VPN
L1
L1ｵﾝﾃﾞﾏﾝﾄﾞ
L1SW 40G/10G/2.4Gbps
40G/10G/2 4Gbps L1SW 40G/10Gbps

エッジノードコアノード


マルチレイヤネットワークの運用
マルチレイヤネットワクの運用


マルチレイヤネットワークの運用2
 シンプルなネットワーク設計
• 1パターンノードの構成を覚えると、他のノード構成をだいたいイメージできる
• ノード単位でネットワーク構成図をvisioにより管理
 物理接続単位でのユーザ管理
• ノード毎に内部DB及びExcelを利用して管理
 VLAN単位でのサービス管理
• Excelを利用して管理
 SINET4の構想、設計から調達まで運用メンバーが関わっている
 単一バックボーンで実現しているため、基本IPv4/IPv6でバックボーン管理


監視運用方法
 監視対象となる機器は次通り
監視対象となる機器は次の通り
IPルータ（GWルータ)、L1SW、L2SW(小型L2SW)、WDM、監視ルータ、サーバ

アクセス系
L1OD L2OD NII WDM NE-OpS NE-OpS IPﾙｰﾀ・全体監視
ｻｰﾊﾞサーバ監視監視センタ (サーバ) (ｸﾗｲｱﾝﾄ) L2監視
センタ
監視用ルータ監視用ルータ監視用ルータ

監視制御網
監視・制御網ＩＳＤＮ網

コアDC コアDC
エッジDC ISDN回線

STM256/64/16 STM256/64

L2/L3用パス L2/L3用パス L2/L3用パス
加入機関
L2 L1SW
L1SW
SW
小型 L1SW IP
WDM

WDM

L2 ルータ
SW

IP
ルータ GW
ルータ

L2
SW
WDM


IPルータ、L2SWの監視運用
 IP
IPルータ、L2SWの監視は、通常時はバックボーン経由でpingやsnmpを利用して実施する
タ L2SW 監視は通常時はバクボ経由 i やを利用実施する

L1OD L2OD NII NE-OpS NE-OpS IPﾙｰﾀ・全体監視
ｻｰﾊﾞサーバ (サーバ) (ｸﾗｲｱﾝﾄ) L2監視
センタ
監視用ルータ監視用ルータ

監視制御網

コアDC コアDC

STM256/64/16 STM256/64

加入機関
L2 L1SW
L1SW
SW
小型 L1SW IP
WDM

WDM

L2 ルータ
SW

IP
ルータ GW
ルータ

IPﾙｰﾀ・
L2監視
L2
SW
WDM


IPルータ、L2SWの監視運用（障害時）
 バクボ
バックボーン経由での監視がNGになった場合は、監視・制御網経由でCLIレベルで監視を行い、障
経由監視がNG なた場合は監視制御網経由 CLI ベ監視を行障
害対応を実施する。

L1OD L2OD NII NE-OpS NE-OpS IPﾙｰﾀ・全体監視
ｻｰﾊﾞサーバ (サーバ) (ｸﾗｲｱﾝﾄ) L2監視
センタ

監視制御網

コアDC コアDC

STM256/64/16 STM256/64

加入機関
L2 L1SW
L1SW
SW
小型 L1SW IP
WDM

WDM

L2 ルータ
SW

IP
ルータ GW
ルータ

IPﾙｰﾀ・
L2監視
L2
SW
WDM


L1SWの監視運用
 L1 イ
L1スイッチの監視は、監視・制御網を介してNE-OpSサーバが行う。
監視は監視制御網を介 NE O Sサバが行う
 L1オンデマンド制御も、監視・制御網を利用して行う。
 L1オンデマンドによる障害発生時は、基本、翌営業日の日中帯に対応する。
L1OD NE-OpS NII NE-OpS NE-OpS IPﾙｰﾀ・全体監視
ｻｰﾊﾞ (ｸﾗｲｱﾝﾄ) (サーバ) (ｸﾗｲｱﾝﾄ) L2監視
センタ

L1オンデマンド制御
監視制御網
監視・制御網

エッジDC コアDC コアDC

STM256/64/16 STM256/64

加入機関
L2 L1SW
L1SW
SW
小型 L1SW IP
WDM

WDM

L2 ルータ
SW

IP
ルータ GW
ルータ

L2
SW
WDM


WDM装置の監視運用
 WDM装置の監視は、監視・制御網を介してWDM監視クライアントで行う。
装監視監視制御網を介監視う
 拠点機関のWDM装置は、対向のDC設置WDM装置を介して監視・制御を行う。
WDM アクセス系
系
監視
監視センタ
監視用ルータ

監視・制御監視・制御網
ＩＳＤＮ網

エッジDC コアDC コアDC

STM256/64/16 STM256/64

加入機関
L2 L1SW
L1SW
SW
小型 L1SW IP
WDM
W

WDM
M

L2 ルータタ
SW

IP
ルータ GW
ルータ

加入機関中継局
L2
SW

小型
WDM

WDM
WDM

WDM

L2
SW


監視制御網のバックアップ体制
 監視用ルータ間は、OSPFによる動的ルーティングを実施
 広域LANの計画作業・障害時は、自動的にISDN網を利用した監視・制御を用いる

アクセス系
L1OD L2OD NII WDM NE-OpS NE-OpS IPﾙｰﾀ・全体監視
ｻｰﾊﾞサーバ監視監視センタ (サーバ) (ｸﾗｲｱﾝﾄ) L2監視
センタ

ISDN網監視・制御網（広域Ether網）
御広

コアDC エッジDC

監視用router 監視用router

L1SW-1 L2SW MX960 L1SW-1 L2SW

WDM
WDM
WDM 中継局
拠点機関
WDM
拠点機関
WDM 小型L2
WDM 小型L2


オンデマンドサービス等
オンデマンドサビス等


L1オンデマンドサービス
 オンデマンドでレイヤ1のエンドツーエンドパス（臨時専用線）を提供するサービス
 ユーザは、シンプルなWeb画面で、接続対地、開始・終了時間、帯域、経路オプション等を指定して、
L1パスの予約を要求
要
 L1オンデマンドサーバは、ユーザからの予約受付、パスの経路計算、等を行い、指定時間にNE-OpS
に対してパス設定・開放を要求（必要に応じて、L2/L3サービス用パスの帯域を変更）
 NE-OpSはL1SWにパス設定を要求し、L1SW間の通信（GMPLS利用）によりL1パスが確立
NE OpSはL1SWにパス設定を要求し、L1SW間の通信（GMPLS利用）によりL1パスが確立

接続対地、開始・終了時間、
帯域等を指定
L1ｵﾝﾃﾞﾏﾝﾄﾞ
ｻｰﾊﾞ
ﾞ
ユーザ
NE-OpS
L1パス設定・開放要求
CORBA
L2/L3サービス用パスの帯域変更要求 L1SWに対して指示
TL1

監視・制御網

GMPLSで LCASで
L2SW L1パス設定帯域変更 L2SW
IPルータ IPルータ

On-demand L2/L3サービス用パス
(10GE) L1SW L1SW L1SW L1SW
L1パス


L1OD用バックボーン帯域設定
 L1ODサービスでは、リンク毎に下記の2つのパラメータを設定し、帯域を調整している。
• デフォルト帯域：常に利用可能な帯域、即日利用は事前予約分を引いた範囲で利用可能
• 利用可能最大帯域：事前予約すれば利用可能な最大の帯域（定めた時間帯注)で異なる）
 実際の割り当て帯域は、ユーザからの事前予約要求（要求総帯域）に基づき、以下の通りとなる。
• 要求総帯域がデフォルト帯域を超えない場合：デフォルト帯域を割り当て
• 要求総帯域がデフォルト帯域を超える場合：定めた時間帯における最大の要求帯域を割り当て
 LCASは、定められた時間帯の始点と終点でのみ動作させる。
注）定めた時間帯
：L1OD用のデフォルト帯域
用デォ帯域 • 平日08:00～22:00
• 平日22 00 08 00
平日22:00～08:00
：L1OD用に利用可能な最大帯域 • 土日・祝日
：実際のL1OD用割り当て帯域 • イベント日

: LCAS起動 L1ODユーザからの事前予約要求（要求総帯域）

L1ODサービス用帯域

L2/L3サビス用帯域
L2/L3サービス用帯域
L2/L3 サービストラフィック

月火水木金土日


L1ODユーザ予約画面例
(a) 対象VPN選択

(b) 対象ノード選択プルダウンで選択

(c) 時間指定 5分単位で指定

帯域： 150Mbps単位
(d) 物理ポート帯域
物理ポト、帯域、
経路ｵﾌﾟｼｮﾝ選択経路：
•最小遅延経路
•最大帯域経路
•同時経路制約
（複数パスの場合）

(e) 確認画面


L2オンデマンドサービス(トライアル実施予定)
 オンデマンドでレイヤ２のVPN（多対地のメリットを有するVPLS）を提供するサービス。
 ユーザは、Web画面で、接続対地、開始・終了時間、帯域等を指定して、VPNを予約。
 ネットワーク側ではパスの経路計算等を行い、指定時間にVPN設定を実施。
 ユーザポートとユーザVLAN-IDはユーザが選択し、ネットワーク内で付与するVLAN-IDはネットワー
ク側で自動的に選択。
接続対地、（ユーザVLAN-ID)、開始・終了時間、
帯域等を指定
• 機器設定情報取得
VLAN ：ユーザVLANタグ
ユーザ端末 L2VPNｵﾝﾃﾞﾏﾝﾄﾞ • L2パス設定
VLAN-W ：NW内VLANタグ • QoS指定
ｻｰﾊﾞ
• NW内VLANタグを付与 NETCONF
インバンド制御インバンド制御
• ユーザVLANタグは置換

VLAN多重
L2OD-LS L2OD-LS間MPLSパス L2OD-LS

data VLAN Ether data VLAN-W Ether VPN-W RSVP C VLAN13 Ether data VLAN-W Ether data VLAN Ether

サービス多重
data VLAN Ether data VLAN-X Ether data VLAN-X Ether VPN-X RSVP C VLAN13 Ether data VLAN-X Ether data VLAN Ether

サービス非多重
data Ether data VLAN-Y Ether data VLAN-Y Ether data VLAN-Y Ether VPN-Y RSVP C VLAN13 Ether data VLAN-Y Ether data VLAN-Y Ether data Ether

サービス多重
data VLAN Ether data VLAN-Z Ether data VLAN-Z Ether data VLAN-Z Ether VPN-Z RSVP C VLAN13 Ether data VLAN-Z Ether data VLAN-Z Ether data Ether

小型L2SW L2SW IPルータ IPルータ L2SW 小型L2SW


商用クラウドサービスを活用した大学等の
プライベートクラウド構築へのサポート
 SINET VPN(L2)サービスを活用し、商用クラウドサービスを用いたセキュアなプライベートクラウドの
構築をより便利に��現。
• クラウドサービス（メールサービス、ストレージサービス等）提供業者がSINETへ直接接続できる
枠組みを新たに構築（ただし、業者のSINETへの接続申請手続きが必要）。
枠組を新た構築（ただ業者 SINET 接続申請手続きが必要）
• 加入機関の契約したクラウドサービスと加入機関をVPN(L２)接続し、セキュアサービスを実現。
参考URL:http://www.sinet.ad.jp/service/other/cloud_services

クラウドサビス提供業者の
クラウドサービス提供業者の
A大学
商用データセンター
SINETのVPN（L2)で接続
（学内LANと同等の扱い A大学が契約して
が可能）いる業者のクラウド
業ラ
サービス

B大学が契約して
いる業者のクラウ
B大学ドサービス

SINETのVPN(L２）で接続


ご清聴ありがとうございました


Ia20120118 sayama

More Related Content

Ia20120118 sayama