Відмінності між версіями «Beowulf»

Матеріал з Вікі ЦДУ
Перейти до: навігація, пошук
(допововнення)
 
(не показано 6 проміжних версій цього учасника)
Рядок 1: Рядок 1:
Beowulf (Beowolf) - кластер, який складається з широко поширеного апаратного забезпечення, що працює під управлінням операційної системи, поширюваної з вихідними кодами (наприклад, GNU / Linux або FreeBSD).
+
Beowulf (Beowolf) - кластер, який складається з широко поширеного апаратного забезпечення, що працює під управлінням операційної системи, поширюваної з вихідними кодами (наприклад, GNU / Linux або FreeBSD).Влітку 1994 року Томасом Стерлінгом і Доном Бекером, що працювали в центрі CEDSIS (Center of Excellence in Space Data and Information Sciences), був побудований перший кластер з 16 процесорів Intel DX4, з'єднаних мережею Ethernet з дублюванням каналів. Машина була названа Beowulf на честь героя скандинавської саги. Машина користувалася успіхом, і їх ідея створення системи з готових стандартних компонентів для конкретних обчислювальних потреб швидко поширилася в NASA, а також в академічній та дослідницької середовищі. Зусилля з розробки таких машин швидко вилилися в те, що зараз називається проект Beowulf. Зараз такі машини зазвичай зазивають "Кластерні ЕОМ класу Беовульф" (Beowulf Class Cluster Computers).
  
 
Особливістю такого кластера також є масштабованість, тобто можливість збільшення кількості вузлів системи з пропорційним збільшенням продуктивності. Вузлами в кластері можуть служити будь серійно випускаються автономні комп'ютери, кількість яких може бути від 2 до 1024 і більше. Для розподілу обробки даних між вузлами зазвичай використовуються технології MPI або PVM.
 
Особливістю такого кластера також є масштабованість, тобто можливість збільшення кількості вузлів системи з пропорційним збільшенням продуктивності. Вузлами в кластері можуть служити будь серійно випускаються автономні комп'ютери, кількість яких може бути від 2 до 1024 і більше. Для розподілу обробки даних між вузлами зазвичай використовуються технології MPI або PVM.
Рядок 7: Рядок 7:
  
 
<h1>Переваги Beowulf-систем</h1>
 
<h1>Переваги Beowulf-систем</h1>
----вартість системи набагато нижче вартості суперкомп'ютера;
+
-вартість системи набагато нижче вартості суперкомп'ютера;
----можливість збільшення продуктивності системи;
+
 
----можливість використання застарілих комп'ютерів, тим самим збільшується термін експлуатації комп'ютерів;
+
-можливість збільшення продуктивності системи;
----широка поширеність, а значить і доступність, апаратного забезпечення.
+
 
 +
-можливість використання застарілих комп'ютерів, тим самим збільшується термін експлуатації комп'ютерів;
 +
 
 +
-широка поширеність, а значить і доступність, апаратного забезпечення.
  
 
<h1>Як побудувати Beowulf?</h1>
 
<h1>Як побудувати Beowulf?</h1>
(Деякі практичні рекомендації з побудови паралельних кластерів)
+
 
 +
''(Деякі практичні рекомендації з побудови паралельних кластерів)''
 +
 
 
Кластер складається з окремих машин (вузлів) і об'єднуючою їх мережі (комутатора). Крім ОС, необхідно встановити і налаштувати мережеві драйвери, компілятори, ПО підтримки паралельного програмування і розподілу обчислювального навантаження.
 
Кластер складається з окремих машин (вузлів) і об'єднуючою їх мережі (комутатора). Крім ОС, необхідно встановити і налаштувати мережеві драйвери, компілятори, ПО підтримки паралельного програмування і розподілу обчислювального навантаження.
  
1. Вузли кластера. Підходящим вибором в даний момент є системи на базі процесорів Intel: Pentium II або Pentium II Xeon - або однопроцесорні ПК, або SMP-сервера з невеликим числом процесорів (2-4, можливо до 6). З деяких причин оптимальним вважається побудова кластерів на базі двопроцесорних систем, незважаючи на те, що в цьому випадку настройка кластера буде дещо складніше (головним чином тому, що доcтупни відносно недорогі материнські плати для 2 процесорів Pentium II). Варто встановити на кожен вузол 64-128MB оперативної пам'яті (для двопроцесорних систем 64-256MB).
+
'''1. Вузли кластера.''' Підходящим вибором в даний момент є системи на базі процесорів Intel: Pentium II або Pentium II Xeon - або однопроцесорні ПК, або SMP-сервера з невеликим числом процесорів (2-4, можливо до 6). З деяких причин оптимальним вважається побудова кластерів на базі двопроцесорних систем, незважаючи на те, що в цьому випадку настройка кластера буде дещо складніше (головним чином тому, що доcтупни відносно недорогі материнські плати для 2 процесорів Pentium II). Варто встановити на кожен вузол 64-128MB оперативної пам'яті (для двопроцесорних систем 64-256MB).
  
 
Одну з машин слід виділити в якості центральної (головний) куди слід встановити досить великий жорсткий диск, можливо більш потужний процесор і більше пам'яті, ніж на інші (робочі) вузли. Має сенс забезпечити (захищену) зв'язок цієї машини із зовнішнім світом.
 
Одну з машин слід виділити в якості центральної (головний) куди слід встановити досить великий жорсткий диск, можливо більш потужний процесор і більше пам'яті, ніж на інші (робочі) вузли. Має сенс забезпечити (захищену) зв'язок цієї машини із зовнішнім світом.
Рядок 26: Рядок 31:
 
Кількість вузлів слід вибирати виходячи з необхідних обчислювальних ресурсів і доступних фінансових коштів. Слід розуміти, що при великому числі вузлів доведеться також встановлювати більш складне і дороге мережеве обладнання.
 
Кількість вузлів слід вибирати виходячи з необхідних обчислювальних ресурсів і доступних фінансових коштів. Слід розуміти, що при великому числі вузлів доведеться також встановлювати більш складне і дороге мережеве обладнання.
  
2. Мережу. У найпростішому випадку використовується один сегмент Ethernet (10Mbit / sec на кручений парі). Однак дешевизна такої мережі, внаслідок колізій обертається великими накладними витратами на міжпроцесорні обміни; а хорошу продуктивність такого кластера слід очікувати тільки на завданнях з дуже простої паралельної структурою і при дуже рідкісних взаємодіях між процесами (наприклад, перебір варіантів).
+
'''2. Мережу.''' У найпростішому випадку використовується один сегмент Ethernet (10Mbit / sec на кручений парі). Однак дешевизна такої мережі, внаслідок колізій обертається великими накладними витратами на міжпроцесорні обміни; а хорошу продуктивність такого кластера слід очікувати тільки на завданнях з дуже простої паралельної структурою і при дуже рідкісних взаємодіях між процесами (наприклад, перебір варіантів).
  
 
Для отримання хорошої продуктивності міжпроцесорних обмінів використовують повнодуплексний Fast Ethernet на 100Mbit / sec. При цьому для зменшення числа колізій або встановлюють декілька "паралельних" сегментів Ethernet, або з'єднують вузли кластера через комутатор (switch).
 
Для отримання хорошої продуктивності міжпроцесорних обмінів використовують повнодуплексний Fast Ethernet на 100Mbit / sec. При цьому для зменшення числа колізій або встановлюють декілька "паралельних" сегментів Ethernet, або з'єднують вузли кластера через комутатор (switch).
  
 
Більш дорогим, але також популярним варіантом є використання комутаторів типу Myrinet (1.28Gbit / sec, повний дуплекс). Менш популярними, але також реально використовуваними при побудові кластерів мережевими технологіями є технології сLAN, SCI і Gigabit Ethernet.
 
Більш дорогим, але також популярним варіантом є використання комутаторів типу Myrinet (1.28Gbit / sec, повний дуплекс). Менш популярними, але також реально використовуваними при побудові кластерів мережевими технологіями є технології сLAN, SCI і Gigabit Ethernet.
 +
 +
<h1>Посилання</h1>
 +
* [http://parallel.ru/computers/reviews/beowulf.html]

Поточна версія на 09:49, 8 грудня 2014

Beowulf (Beowolf) - кластер, який складається з широко поширеного апаратного забезпечення, що працює під управлінням операційної системи, поширюваної з вихідними кодами (наприклад, GNU / Linux або FreeBSD).Влітку 1994 року Томасом Стерлінгом і Доном Бекером, що працювали в центрі CEDSIS (Center of Excellence in Space Data and Information Sciences), був побудований перший кластер з 16 процесорів Intel DX4, з'єднаних мережею Ethernet з дублюванням каналів. Машина була названа Beowulf на честь героя скандинавської саги. Машина користувалася успіхом, і їх ідея створення системи з готових стандартних компонентів для конкретних обчислювальних потреб швидко поширилася в NASA, а також в академічній та дослідницької середовищі. Зусилля з розробки таких машин швидко вилилися в те, що зараз називається проект Beowulf. Зараз такі машини зазвичай зазивають "Кластерні ЕОМ класу Беовульф" (Beowulf Class Cluster Computers).

Особливістю такого кластера також є масштабованість, тобто можливість збільшення кількості вузлів системи з пропорційним збільшенням продуктивності. Вузлами в кластері можуть служити будь серійно випускаються автономні комп'ютери, кількість яких може бути від 2 до 1024 і більше. Для розподілу обробки даних між вузлами зазвичай використовуються технології MPI або PVM.

Походження терміну

Спочатку так називався один з Linux-кластерів в науково-космічному центрі NASA, і ця назва була взята з однойменної давньоанглійської епічної поеми про героя-богатиря Беовульфа.

Переваги Beowulf-систем

-вартість системи набагато нижче вартості суперкомп'ютера;

-можливість збільшення продуктивності системи;

-можливість використання застарілих комп'ютерів, тим самим збільшується термін експлуатації комп'ютерів;

-широка поширеність, а значить і доступність, апаратного забезпечення.

Як побудувати Beowulf?

(Деякі практичні рекомендації з побудови паралельних кластерів)

Кластер складається з окремих машин (вузлів) і об'єднуючою їх мережі (комутатора). Крім ОС, необхідно встановити і налаштувати мережеві драйвери, компілятори, ПО підтримки паралельного програмування і розподілу обчислювального навантаження.

1. Вузли кластера. Підходящим вибором в даний момент є системи на базі процесорів Intel: Pentium II або Pentium II Xeon - або однопроцесорні ПК, або SMP-сервера з невеликим числом процесорів (2-4, можливо до 6). З деяких причин оптимальним вважається побудова кластерів на базі двопроцесорних систем, незважаючи на те, що в цьому випадку настройка кластера буде дещо складніше (головним чином тому, що доcтупни відносно недорогі материнські плати для 2 процесорів Pentium II). Варто встановити на кожен вузол 64-128MB оперативної пам'яті (для двопроцесорних систем 64-256MB).

Одну з машин слід виділити в якості центральної (головний) куди слід встановити досить великий жорсткий диск, можливо більш потужний процесор і більше пам'яті, ніж на інші (робочі) вузли. Має сенс забезпечити (захищену) зв'язок цієї машини із зовнішнім світом.

При комплектації робочих вузлів цілком можливо відмовитися від жорстких дисків - ці вузли будуть завантажувати ОС через мережу з центральною машини, що, крім економії коштів, дозволяє конфігурувати ОС і все необхідне ПЗ тільки 1 раз (на центральній машині). Якщо ці вузли не будуть одночасно використовуватися в якості користувальницьких робочих місць, немає необхідності встановлювати на них відеокарти і монітори. Можлива установка вузлів в стійки (rackmounting), що дозволить зменшити місце, займане вузлами, але коштуватиме дещо дорожче.

Можлива організація кластерів на базі вже існуючих мереж робочих станцій, тобто робочі станції користувачів можуть використовуватися в якості вузлів кластера вночі і у вихідні дні. Системи такого типу іноді називають COW (Cluster of Workstations).

Кількість вузлів слід вибирати виходячи з необхідних обчислювальних ресурсів і доступних фінансових коштів. Слід розуміти, що при великому числі вузлів доведеться також встановлювати більш складне і дороге мережеве обладнання.

2. Мережу. У найпростішому випадку використовується один сегмент Ethernet (10Mbit / sec на кручений парі). Однак дешевизна такої мережі, внаслідок колізій обертається великими накладними витратами на міжпроцесорні обміни; а хорошу продуктивність такого кластера слід очікувати тільки на завданнях з дуже простої паралельної структурою і при дуже рідкісних взаємодіях між процесами (наприклад, перебір варіантів).

Для отримання хорошої продуктивності міжпроцесорних обмінів використовують повнодуплексний Fast Ethernet на 100Mbit / sec. При цьому для зменшення числа колізій або встановлюють декілька "паралельних" сегментів Ethernet, або з'єднують вузли кластера через комутатор (switch).

Більш дорогим, але також популярним варіантом є використання комутаторів типу Myrinet (1.28Gbit / sec, повний дуплекс). Менш популярними, але також реально використовуваними при побудові кластерів мережевими технологіями є технології сLAN, SCI і Gigabit Ethernet.

Посилання