МЕРЕЖІ Fibre Channel

Fibre Channel або FC - високошвидкісний інтерфейс передачі даних, використовуваний для взаємодії робочих станцій, мейнфреймів, суперкомп'ютерів і систем зберігання даних.

Порти пристроїв можуть бути підключені безпосередньо один до одного (point-to-point), бути включені в керовану петлю (arbitrated loop) або в комутовану мережу, звану «тканиною» (англ. fabric).

Fibre Channel Protocol (FCP) - транспортний протокол (як TCP в IP-сетях), який, як правило, доставляє команди SCSI по мережах Fibre Channel. Може використовуватися як несучим і для інших протоколів - наприклад, АТМ, IP, HIPPI і інших.

Підтримується як оптичне, так і електричне середовище (вита пара, коаксіальний або твинаксиальний кабелі, а також багатомодове або одномодове волокно), із швидкістю передачі даних від 133 мегабіт/с до 10 гігабіт/с на відстані до 50 кілометрів.

Дану інформацію було взято з FibreChannel.ru и Wikipedia.org.

Вступ

Переваги мереж зберігання даних Fibre Channel

Переваги мереж зберігання даних прямо відносяться до збільшення доступності і керованості даних, що реалізовуються за рахунок використання архітектури Fibre Channel. Дані стають доступнішими, коли мережа Fibre Channel fabric масштабується таким чином, що включає сотні пристроїв зберігання даних і серверів. Готовність даних також стає вищою, коли безліч паралельних транзакцій можуть здійснюватися з використанням комутованої архітектури Fibre Channel. Технологія Fibre Channel також перевершує всі дистанційні обмеження, оскільки її з'єднання покривають сотні кілометрів або дані передаються через глобальну мережу (wide area network - WAN). Технологія Fibre Channel дозволяє поліпшити управління терабайтами даних. Технологія Fibre Channel успішно відповідає запитам центрів обробки даних, зростаючих по експоненті.

На мал. 1 продемонстровано, як мережі зберігання даних дозволяють безлічі серверів діставати доступ до безлічі пристроїв зберігання даних, в той час, як доступ до SCSI (Small Computer Systems Interface) – пам’яті мають лише сервери, прямо сполучені з SCSI-шиною..

Мал. 1

У традиційних відкритих мережах зберігання даних, побудованих на базі архітектури SCSI, обмежені масштабованість, міра готовності і дальність дії. У мережах зберігання даних на базі комутованої послідовної архітектури Fibre Channel здолане кожне з цих обмежень і запропоновані удосконалення в управлінні і забезпеченні безпеки.

Топології Fibre Channe

Крапка-крапка (FC-P2P)

Використовується для зв'язку між двома пристроями - передавач першого сполучений з ресівером другого і навпаки. Всі відправлені кадри призначені для другого пристрою - тобто відсутня адресація.

Керована петля (FC-AL)

Пристрої об'єднані в петлю - передавач кожного пристрою сполучений з ресівером наступного. Кожен пристрій має унікальну для петлі Фізичну Адресу Керованої Петлі (Arbitrated Loop Physical Address, AL PA). Природне таке підключення не є надійним - при збої будь-якого члена петлі порушується її робота, тому часто використовуються повторювачі (Hub), що є багатопортовими пристроями і замикаючі FC-AL ланцюг при збої компонента.

Комутована зв'язна архітектура (FC-SW)

Заснована на вживанні комутаторів (fabric switches). Дозволяє підключати величезну кількість пристроїв, легко розширюється (принципами роботи схожа на таких в Ethernet).

Мал. 2

Мережа збереження даних

Технологія Fibre Channel порівняно з технологією SCSI (Мал.3)

Мал.3

У традиційних мережах застосовувалася SCSI-память для кожного сервера. Оскільки кількість додатків і серверів зростає, то малі проблеми даної архітектури перетворюються на великі проблеми. Мережі зберігання даних Fibre Channel пропонують масштабоване рішення, в якому будь-який сервер може дістати доступ до будь-якого пристрою зберігання даних. Незалежність один від одного серверів і пам'яті робить можливим оптимальне використання пристроїв зберігання даних і підвищує продуктивність на великих відстанях.

У архітектурі зберігання даних з прямим підключенням існують два основні обмеження. По-перше, унаслідок того, що лише один зі всіх серверів має доступ до пам'яті з прямим підключенням, то до невикористаної сервером пам'яті не можуть дістати доступ інші сервери. По-друге, якщо додаток перенавантажує один сервер, то інший сервер не зможе надати цьому застосуванню допомогу, оскільки у нього не буде доступу до даних цього застосування. Для вирішення проблеми переобтяжених або таких, що знаходяться в оффлайне серверів має бути доданий інший сервер з додатковою залежною (dependent) пам'яттю. Залежна пам'ять сервера, відома також під назвою SCSI-памяти з прямим підключенням, є причиною цих проблем.

Комутована послідовна архітектура технології Fibre Channel

У шинній архітектурі існує явище, зване skew (буквально переводиться, як "скошування"), в результаті дії якого так звана дистанція функціонування шини (working distance) зменшується при збільшенні швидкості передачі даних. Коли швидкість передачі даних в шині подвоюється, то її дистанція функціонування зазвичай зменшується в 2 рази. Максимальна довжина кабелю будь-якої шини SCSI складає лише 25 м, а дуже часто - і 12 м. Ця дистанційна межа обмежує вживаність шини SCSI усередині будівлі, а дуже часто - і усередині однієї кімнати.

Технологія Fibre Channel заснована на послідовній архітектурі, в якій виключені skew-проблемы і використовується фибероптика. Фібероптіка розширює діапазон додатків Fibre Channel, а новий стандарт Fibre Channel збільшує дальність з'єднань Fibre Channel до більш, ніж 50 км. Для збільшення дистанції функціонування з'єднань Fibre Channel до більш, ніж 100 км. також використовується WDM-оборудование (мультиплексування з розділенням по довжині хвилі - Wavelength Division Multiplexing). Фібероптіка дозволяє з успіхом застосовувати Gigabit Ethernet Fiber Channel в міських мережах (Metropolitan Area Networks).

У шинній архітектурі існує ще одне обмеження при додаванні великого числа пристроїв до шини. Оскільки всі пристрої спільно використовують одну і ту ж шину, то відповідна ширина смуги пропускання (виділена для пристрою на шині) зменшується кожного разу при додаванні нового пристрою. SCSI обмежує масштабованість шини, і в ній можуть бути адресовані лише 4, 8 або 16 пристроїв. З іншого боку, в Fibre Channel можуть бути адресовані мільйони пристроїв. При використанні комутованої архітектури Fibre Channel кожен пристрій може функціонувати на своїй повній смузі пропускання.

Міра готовності SCSI-устройств обмежена, тому що лише в одного контроллера є послідовний доступ до пристроїв. В разі виникнення черги до третього SCSI-устройству під час запису даних на сьомий пристрій, третій пристрій відхилює використання шини. Лише одне SCSI-устройство на шині SCSI готовий до роботи у будь-який момент часу. У комутованій мережі Fibre Channel, що не блокується, fabric використання якого-небудь пристрою не вплине на готовність інших пристроїв.

Профілі Fibre Channel

Мал.4

Профілі - це технічні звіти, интероперабельность, що підвищують, між пристроями. Профілі застосовні для специфічних аспектів мереж зберігання даних Fibre Channel, що дозволяє швидко розгортати рішення. FC-MI - це перший профіль, що охоплює все топології Fibre Channel.

Апаратні засоби технології Fibre Channel

Апаратні засоби Fibre Channel сполучають пристрої зберігання даних з серверами і формують Fibre Channel fabric. До складу fabric входять фізичний шар, пристрої з'єднання і пристрою трансляції. Фізичний шар складається з мідного і оптоволоконного кабелів, по яких передаються Fibre Channel сигнали між парами трансиверів. Пристрої з'єднання, такі, як концентратори, комутатори і директоры (directors) маршрутизують на гигабитных швидкостях кадри Fibre Channel. Пристрої трансляції (такі, як HBA-адаптеры, маршрутизатори, адаптери, шлюзи і мости) є проміжним середовищем між протоколами Fibre Channel і протоколами Fibre Channel (такими, як SCSI, FCP, FICON, Ethernet, АТМ і SONET). Пристрої зберігання даних на одному кінці fabric зберігають трильйони біт даних, в той час, як сервери на іншому кінці розподіляють дані "голодним по ним" користувачам. Апаратні засоби Fibre Channel зберігають і розподіляють дані по робочій групі і підприємству.

Фізичний шар

Fibre Channel Fabric з'єднується на фізичному рівні за допомогою фібра (fibre), терміну, введеного галуззю Fibre Channel для позначення оптоволоконного кабелю і мідних дротів. Фізичний шар і трансивери використовують ту ж саму кабельну інфраструктуру, вживану в інших мережах (таких, як локальні мережі і телекомунікаційні мережі). Таким чином, кабелі можуть бути інстальовані один раз і використовуватися для будь-якої з цих мереж.

Дистанція, на якій діє з'єднання Fibre Channel, залежить від типа використовуваного середовища і типа трансиверів, підключених до середовища. На мал.5 порівнюються різні типи фізичного середовища Fibre Channel. У кожному фізичному середовищі застосовується трансивер, оптимізований для даного середовища. Дальність з'єднання по мідному кабелю досягає лише 30 м, в той час, як дальність передачі по 1550 нм одномодовому оптоволоконному кабелю перевищує 50 км. (без репітерів). Мережа Fibre Channel може бути також приєднана до WDM-оборудованию, що дозволяє передавати сигнали по всіх оптичних мережах. Різноманітність типів фізичного середовища і трансиверів дозволяє використовувати оптимальні рішення для конкретного застосування.

Середовище Fibre Channel

Мал.5

Середовище Fibre Channel (відоме під назвою фібр), складається з чотирьох типів кабелів в об'єднанні з чотирма типами трансиверів. Мідний кабель використовується в додатках з дуже невеликою дальністю дії, тоді як дальність дії мультимодового оптоволоконного кабелю обмежена декількома сотнями метрів. Одномодовий оптоволоконний кабель зазвичай використовується в кампусных середовищах, проте 1550 нм трансивери можуть збільшити дистанцію функціонування більш, ніж 50 км. для додатків в міських мережах. Всі відстані помічені, як "більше, ніж", тому що з'єднання визначається для функціонування, принаймні, на специфікованій дистанції.

Швидкості функціонування Fibre Channel приведені в таблицю. 1. Більш всього в 2001 р. застосовувалася швидкість 1 Gigabit Fibre Channel (GFC). У додатках з високою пропускною спроможністю між комутаторами використовуватиметься швидкість 2 GFC. У високопродуктивні підсистеми зберігання даних буде вбудована швидкість 4 GFC. Швидкість 10 GFC гратиме в найближчому майбутньому велику роль в базових комутаторах для міських і глобальних мереж. Зростаючі швидкості Fibre Channel призначені для того, щоб відповідати неймовірному збільшенню ширини смуги пропускання і ємкості пристроїв зберігання даних.

Таблиця 1: Швидкості з'єднань Fibre Channel

• * Пропускна спроможність для дуплексних з'єднань
• ** Вбудовувані застосування

Таблиця 1: Хоча з'єднання Fibre Channel вже функціонують на швидкості більше 1 Гб/c, багатьом додаткам для кращої продуктивності потрібна вища швидкість. Швидкість 2 GFC з'явилася в дискових пристроях і HBA- адаптерах в кінці 1999 р., а в пристроях з'єднання - в 2001 р. Швидкість 10 GFC йтиме нарівні з іншими мережевими технологіями, що наближаються до швидкості 10 Гб/c.

Пристрої з'єднання

Fibre Channel сполучає пристрої, що складаються з концентраторів, комутуючих концентраторів, комутаторів і директорів (див. мал.6). Концентратори стали першими повсюдно розвертаними пристроями з'єднання Fibre Channel і мають єдину петлю з арбітражним доступом, що підтримує від 8 до 16 портів. У комутуючому концентраторі використовується декілька петлів для збільшення пропускної спроможності, але його не можна масштабувати до більш, ніж одного міжкомутаторного з'єднання. У комутаторі може бути безліч міжкомутаторних зв'язків для формування розширеної fabric. З допомогою комутаторів розвертається масштабована, комутована архітектура, тоді як за допомогою концентратора розгортається одна петлева розподілена архітектура. У комутаторі звичайні не більше 32 портів і підтримується вдосконалена функціональність в управлінні. У директорах число портів варіюється від 32 до 256 і забезпечуються висока надійність, готовність і зручність в експлуатації. Від простої петлі, що забезпечується концентратором, до надлишкової комутованої архітектури, що забезпечується директорами. Таким чином, Fibre Channel fabric можна адаптувати під потреби будь-якого застосування.

Мал.6

Пристрої з'єднання ранжируються по складності від концентратора з єдиною петлею з арбітражним доступом до директорів з більш, ніж 100 портами і стійкістю до збоїв (redundant failover capabilities). Cтрілки на концентраторі і комутуючому концентраторі показують внутрішні дороги даних в пристроях.

Пристрої зберігання даних

Пристрої зберігання даних випускаються в багатьох видах і поставляються в безлічі конфігурацій, таких, як дискові пристрої, JBOD-пристрої, RAID-масиви, підсистеми зберігання даних, стримери і стрічкові бібліотеки (див. мал.8 і 9). У даних пристроях зберігання даних зберігаються гігабайти на одному дисковому пристрої, терабайты - в підсистемі зберігання даних і петабайты - в стрічковій бібліотеці.

Дисковий пристрій є найбільш загальновживаним електронним пристроєм зберігання даних для додатків з динамічною пам'яттю. Дисковий пристрій конфігурується, як єдиний привід або як простий масив дисків, званий JBOD (Just а Bunch of Disks). При додаванні контролером можливості корекції помилок в масиві дисків він вважається вже RAID-масивом (Redundant Array of Independent Disks). RAID-контролер додає інтелектуальні можливості масиву дискових пристроїв, що підвищує його керованість, продуктивність, ємкість, надійність і готовність. Оскільки складність і можливості контролерів збільшилися для задоволення потреб підприємств, то з'явився пристрій зберігання даних, відомий під назвою підсистема зберігання даних або пристрій зберігання даних з прямим підключенням (Direct Access Storage Device - DASD). Підсистеми зберігання даних можуть збільшити ємкість пам'яті шляхом додавання JBOD-устройств до контролера. Електронні пристрої зберігання даних еволюціонували від єдиного диска до шаф, повних дисків, керованих надзвичайно складними апаратними і програмними засобами, що змагаються по інтелектуальності з супер комп'ютерами. Неймовірні можливості по доставці даних в цих пристроях є рушійною силою мереж зберігання даних.

Мал.7

Пристрої трансляції є інтерфейсом між Fibre Channel fabric і іншими мережами. Багатофункціональні пристрої трансляції об'єднують декілька таких інтерфейсів і стануть поширенішими у міру розвитку своїх можливостей.

Електронні пристрої зберігання даних

Мал.8

Електронні пристрої зберігання даних базуються на 3.5" дисковому приводі. Диски можуть бути згруповані до простих масивів дисків JBOD і розширені до RAID-массивов за допомогою контроллера. Для забезпечення неймовірної (в порівнянні з попередніми пристроями зберігання даних) продуктивності в підсистемах зберігання даних об'єднані вдосконалене ПО з надмірністю.

В той час, як дискові пристрої забезпечують високу пропускну спроможність і довільний доступ, магнітна стрічка є провідним носієм для резервування і архівації. Стрічки перемістилися із стриммеров у великі сховища стрічок. Стрічкові пристрої варіюються від одного приводу (завантажуваного уручну) до бібліотеки з багатьма пристроями з автоматичним завантаженням стрічки. На мал.9 продемонстрована різноманітність стрічкових пристроїв, що знаходяться сьогодні в центрі обробки даних. Стрічкові бібліотеки ідеальні для зберігання великих об'ємів даних впродовж десятків років.

Стрічкові пристрої

Мал.9

Стрічкові пристрої масштабуються від одного приводу до повністю автоматизованих і роботизованих стрічкових бібліотек. Стрічкові пристрої призначені для архівації і масштабуються до колосальних розмірів за допомогою безлічі сховищ стрічок (tape silos). C допомогою одного стрічкового пристрою можна резервувати автономний комп'ютер або комп'ютерну мережу. C допомогою стрічкових бібліотек можна резервувати корпоративні дані за десятиліття.

Сервери

Cервер є ініціатором в мережах зберігання даних Fibre Channel і служить інтерфейсом до IP-мереж. Сервери взаємодіють з Fibre Channel fabric через HBA-адаптер (див. мал. 10). Для виключення єдиних крапок збоївши мікропроцесори використовують по одній шині введення-виводу або по безлічі хост-шин введення-виводу. В серверів може бути безліч мікропроцесорів і хост-шин введення-виводу для того, щоб на них могли одночасно виконуватися декілька операційних систем відразу. На деяких серверах верхнього рівня використовується більше 50 мікропроцесорів і встановлено більше 10 операційних систем.

Архітектура сервера

Мал.10

Для забезпечення високої пропускної спроможності і надійних обчислень в серверах верхнього рівня застосовуються дубльовані хост-шини, HBA-адаптери, мережеві інтерфейсні карти (NIC) і процесори. У вдосконалених серверах використовується безліч хост-шин введення-виводу і процесорів, що дозволяє забезпечити одночасну роботу безлічі операційних систем.

Мережева модель

Мережева модель Fibre Channel складається з п'яти рівнів:

• FC-0 Фізичний Описує середовище передачі, трансивери, коннектори і типів використовуваних кабелів. Включає визначення електричних і оптичних характеристик, швидкостей передачі даних і інших фізичних компонентів.
• FC-1 Канальний Описує процес 8b/10b Кодування (кожні 8 біт даних кодуються в 10-бітовий символ (Transmission Character)), спеціальні символи і контроль помилок.
• FC-2 Мережевою Описує сигнальні протоколи. На цьому рівні відбувається визначення слів, розбиття потоку даних на кадри. Визначає правила передачі даних між двома портами, класи обслуговування).
• FC-3 Загальних служб Визначає такі особливості, як: розщеплювання потоку даних (striping) (Можливість передачі потоку даних через декілька з'єднань (маршрутів), відображення безлічі портів на один пристрій.
• FC-4 Відображення протоколів Надає можливість перенесення інших протоколів (SCSI, АТМ, IP, HIPPI FDDI, Token Ring, AV, VI, IBM SBCCS і багато інших.)

Логічні типи портів

Залежно від підтримуваної топології і типа пристрою порти розділяються на декілька типів:

Порти вузлів:

• N_Port (Node port), порт пристрою з підтримкою топології FC-P2P («Крапка-крапка») або FC-SW (з комутатором).
• NL_Port (Node Loop port), порт пристрою з підтримкою топології FC-AL (arbitrated loop - керована петля).

Порти комутатора/маршрутизатора (лише для топології FC-SW):

• F_Port (Fabric port), порт фабрики. Використовується для підключення портів типа N_Port до комутатора. Не підтримує топологію петлі.
• FL_Port (Fabric Loop port), порт фабрики з підтримкою петлі. Використовується для підключення портів типа NL_Port до комутатора.
• E_Port (Expansion port), порт розширення. Використовується для з'єднання комутаторів. Може бути сполучений лише з портом типа E_Port.
• EX_port порт для з'єднання FC-маршрутизатора і FC-коммутатора. З боку комутатора він виглядає як звичайний E_port, а з боку маршрутизатора це EX_port.
• TE_port (Trunking Expansion port (E_port)) внесений до Fibre Channel компанією CISCO, зараз прийнятий як стандарт. Це розширений ISL або EISL. TE_port надає окрім стандартних можливостей *E_port маршрутизацію множинних VSANs (Virtual SANs). Це реалізовано вживанням нестандартного кадру Fibre Channel (vsan тегування).

Загальний випадок:

• L_Port (Loop port), будь-який порт пристрою з підтримкою топології «Петля» - NL_port або FL_port.
• G_port (Generic port), порт з автовизначенням. Автоматично може визначатися як порт типа E_Port, N_Port, NL_Port.

Фізичні типи портів

Конектор Fibre Channel-LC зліва і SC з права