Windows compute cluster server

From Wikipedia, the free encyclopedia

Microsoft Cluster Server

Developer(s)	Microsoft
Operating system	Windows Server 2019 Windows Server 2016 Windows Server 2012 R2 Windows Server 2012 Windows Server 2008 R2 Windows Server 2008 Windows Server 2003 R2 Windows Server 2003 Windows 2000 Windows NT 4.0
Type	Utility software
License	Same as Windows Server

Microsoft Cluster Server (MSCS) is a computer program that allows server computers to work together as a computer cluster, to provide failover and increased availability of applications, or parallel calculating power in case of high-performance computing (HPC) clusters (as in supercomputing).

Microsoft has three technologies for clustering: Microsoft Cluster Service (MSCS, a HA clustering service), Component Load Balancing (CLB) (part of Application Center 2000), and Network Load Balancing Services (NLB). With the release of Windows Server 2008 the MSCS service was renamed to Windows Server Failover Clustering (WSFC), and the Component Load Balancing (CLB) feature became deprecated.

Prior to Windows Server 2008, clustering required (per Microsoft KBs) that all nodes in the clusters to be as identical as possible from hardware, drivers, firmware, all the way to software. After Windows Server 2008 however, Microsoft modified the requirements to state that only the operating system needs to be of the same level (such as patch level).

Cluster Server was codenamed «Wolfpack» during its development.^[1] Windows NT Server 4.0, Enterprise Edition was the first version of Windows to include the MSCS software. The software has since been updated with each new server release. The cluster software evaluates the resources of servers in the cluster and chooses which are used based on criteria set in the administration module. In June 2006, Microsoft released Windows Compute Cluster Server 2003,^[2] the first high-performance computing (HPC) cluster technology offering from Microsoft.

During Microsoft’s first attempt at development of a cluster server Microsoft, originally priced at $10,000, ran into problems causing the software to fail because of buggy software causing fail-over forcing the workload from two servers to a single server. This results in poor allocation of resources, poor performance of the servers, and very poor reviews from analysts.^[3]

The announcement of a new update to the Microsoft Cluster Server software came in 1998 promising new features in 1999 and the newest addition in the line of Windows NT software in the form of Windows NT 5.0 Enterprise Edition.^[4] Also promising support for 4 nodes post release of NT 5.0.^[4]

Microsoft’s first attempt at pushing the cluster server software was at the 2005 Super-Computing conference in Seattle the new software being developed, Windows Compute Cluster Server 2003 (Windows CCS 2003).^[5]

On May 8, 2006 Microsoft reports the release of the full-featured Windows Compute Cluster Server 2003 (for industrial use) and the Windows Compute Cluster Server 2003 R2 (for small businesses) software to the public for purchase in summer 2006.^[6]

• Microsoft Clustering Services

Цель — научиться устанавливать Compute Cluster Pack на машины двух типов:

• рабочие узлы кластера (включая головной узел),
• клиентские машины, используемые для посылки заданий на кластер.

Содержание

Перед развертыванием Windows Compute Cluster Server (CCS) 2003 для организации вычислительного кластера из машин под управлением ОС Windows, в первую очередь выбирается машина, которая будет служить головным узлом кластера, и проверяется ее соответствие техническим требованиям:

1. CPU — процессор с 64-битной архитектурой: Intel Pentium, или семейство процессоров Intel Xeon с технологией Intel Extended Memory 64 Technology (EMT64), или семейство процессоров AMD Opteron, AMD Athlon или совместимые с ними
2. минимальный объем оперативной памяти — 512 Мб
3. необходимый размер дискового пространства — 4 Gb
4. сетевые карты — если предусматривается организация, кроме общей (public) сети еще и частной (private), то необходимы две сетевые карты; организация специальной MPI-сети может потребовать еще одной дополнительной сетевой карты.

Развертывание Windows CCS 2003 состоит из трех основных шагов:

1. установка базовой операционной системы Windows Server 2003 (Standard x64 Edition/Enterprise x64 Edition/Compute Cluster Edition);
2. установка Compute Cluster Pack;
3. конфигурирование сети кластера и службы RIS (Remote Installation Services), а также добавление узлов и пользователей кластера.

В данном занятии рассматривается практическое выполнение шагов 2 и 3.

Предварительно, относительно шага 1 следует отметить, что

1. если предполагается использование RIS для развертывания вычислительных узлов кластера, то для этой службы должен быть создан отдельный том (например, D:\) на диске;
2. компьютер с установленной базовой ОС должен быть включен в существующий Active Directory-домен, или же должен быть создан новый домен для кластера с использованием программы DCpromo.exe, и между вновь созданным доменом и уже существующими доменами должны быть установлены доверительные (trust) отношения соответствующими средствами.

Шаг 2 (установка Compute Cluster Pack) включает в себя следующую последовательность действий:

1. Вставить CD-ROM с Compute Cluster Pack в дисковод — процедура установки Setup.exe запустится автоматически.
2. В мастере установки Microsoft CCS, выбрать одну из трех возможностей, как показано на Рис 1.1, и нажать Next.

   

   Картинка с сайта: intuit.ru

   Рис.
   1.1.
   Выбор режима установки для Compute Cluster Pack.

3. На странице Welcome, для продолжения работы, нажмите Next.
4. На странице лицензионного соглашения End-User License Agreement, выбрать альтернативу «Accept», как показано на Рис 1.2, и нажать далее Next.

   

   Картинка с сайта: intuit.ru

   Рис.
   1.2.
   Страница лицензионного соглашения.

5. На странице Installation Folder (см. Рис 1.3), либо нажать Change для изменения директории, где будет установлен Compute Cluster Pack, либо нажать Next.

   

   Картинка с сайта: intuit.ru

   Рис.
   1.3.
   Страница выбора директории для установки Compute Cluster Pack.

6. Нажать Install для выполнения непосредственно процедуры установки.

В п.2, при выборе первой опции — создания нового вычислительного кластера, имя головного узла становится именем всего кластера.

Также, при установке головного узла, будет проверено наличие и доустановлены (если необходимо) следующие программные компоненты:

• MMC (Microsoft Management Console) 3.0,
• .NET Framework 2.0,
• обновления для RIS и ICS (Internet Connection Sharing).

Сразу после окончания установки, на экране появляется страница To Do List, которая используется для конфигурирования кластера на следующем шаге.

Также, конфигурирование кластера можно произвести и с помощью панели Compute Cluster Administrator, которая появляется в списке программ после окончания установки Compute Cluster Pack.

Конфигурирование кластера

После установки Compute Cluster Pack на головной узел, необходимо соответствующим образом сконфигурировать кластер с помощью страницы ToDo List или с помощью меню Compute Cluster Administrator.

Для этого необходимо выполнить следующие шаги:

1. На панели Networking (см. Рис 1.4), выбрать Define cluster network topology и задать топологию сети кластера, задав интерфейсы общей частной и MPI-сетей головного узла.

   

   Картинка с сайта: intuit.ru

   Рис.
   1.4.
   Панель управления кластером

2. Сконфигурировать RIS. Для этого, на панели Remote Installation Services (RIS) выбрать мастера Configure RIS и установить RIS. Если будет использоваться автоматический метод добавления узлов и повторной установки на них образов операционной системы, то должны быть установлены RIS и обновления для этой службы.
3. Если будет использоваться RIS, то необходимо создать установочный образ. Для этого, на панели Remote Installation Services (RIS) необходимо выбрать мастера Manage Images. Система Windows Compute Cluster Server 2003 позволяет хранить несколько образов на головном узле.
4. Модифицировать установочный образ с помощью соответствующего установочного ключа.
5. Добавить вычислительные узлы. Для этого, на панели Node Management выбрать мастера Add Nodes, и затем выбрать режим Automated. При добавлении узлов в кластер, от администратора кластера будет требоваться подтверждение этого добавления.
6. Сконфигурировать (завести) новых пользователей и администраторов кластера. Для этого, на панели Cluster Security выбрать мастера Configure Users.

На шаге 5, администратор кластера должен ввести имя пользователя и пароль для входа в домен, куда будут добавляться узлы. Эти имя и пароль будут использованы для создания учетных записей в Active Directory для каждого из узлов. Также, администратор на этом шаге должен ввести так называемый Node Series Name — префикс имен компьютеров, которые будут добавляться в качестве узлов кластера.

Привет.

Первым пробным камнем в сфере High Performance Computing корпорации Microsoft была разработка Windows Compute Cluster Server (Windows Server 2003). Прошло какое-то время, которое показало, что Microsoft может буквально без всякой предварительной подготовки войти на рынок кластерных систем и занять на нем какое-то место.

Однако функциональности WCCS было мало, мало также и тех, кто интересовался этим, и в Microsoft сделали ОС для кластерных систем на базе последней своей разработки – Server 2008. Так появился HPC (High Performance Computing) Server 2008.

Немного теории о кластерных технологиях. Выжимка, необходимая для понимания сути различий между кластерами в стандартном нынешнем их понимании и суперкомпьютерном:

“Кластер — это разновидность параллельной или распределённой системы, которая:
1. состоит из нескольких связанных между собой компьютеров;
2. используется как единый, унифицированный компьютерный ресурс».
“

Необходимо добавить, что суперкомпьютерный кластер предназначен для вычислений, а не для NLB или failover.

Немного теории о Windows HPC Server 2008

Минимальные требования для Windows HPC Server 2008, как рекомендуют Microsoft, следующие:

Processor (x64-based):

Minimum: 1.4 GHz

Recommended: 2 GHz or faster

RAM:

Minimum: 512 MB

Recommended: 2 GB or more

Available disk space:

Minimum: 50 GB

Recommended: 80 GB or more

Network adapters: >1 в большинстве случаев. Количество сетевых адаптеров зависит от топологии сети, которую вы выберите на этапе установки HPC Pack.

Различия между Windows Server 2008 и HPC Server 2008

HPC Server = Windows Server Standard, за исключением:

– HPC Server поставляется только в 64-битной версии;

– На HPC Server необходимо установить HPC Pack, пакет, содержащий в себе утилиты для обеспечения работы кластера: Cluster Manager, HPC Runtime etc.

(HPC Server)-related products

1) HPC Server – содержит в себе ОС + HPC Pack;

2) HPC Server OS – содержит в себе ОС;

3) HPC Pack – пакет, содержащий в себе утилиты для обеспечения работы кластера. Необходимо, чтобы HPC Pack был установлен на всех узлах, включая управляющий и клиентские компьютеры, с которых планируется использовать кластер;

4) HPC SDK – хидеры и библиотеки для HPC-разработки, распространяется свободно. Необходим для компиляции программ с MS-MPI.

Ограничения HPC Server 2008

– отключены IIS, Sharepoint, Exchange, MSSQL (за счёт особенностей лицензирования данных продуктов под HPC),

– основные ограничения накладываются на софт, который так или иначе использует вышеперечисленные сервисы. Так, если вы захотите запустить сервисы IIS, MSSQL или Exchange, вы получите ошибку. Например, TS Gateway и FTP не заработают в связи с зависимостью от IIS.

Однако, если необходим доступ к полной функциональности Windows Server Standard/Enterprise, можно приобрести лицензию и доставить HPC Pack.

C чего начать?

Первым делом необходимо определиться с компьютером, который будет иметь роль управляющего узла. Из своего опыта: если у вас гомогенная аппаратная среда, берите любой из узлов. Если же нет – исходите из того, что еще будет установлено на данном сервере (в идеале он должен быть управляющим и только им).

Забрать дистрибутив можно по ссылке. Установка HPC Server 2008 ничем не отличается от установки Windows Server 2008.

Следующим шагом определяем, как мы будем формировать наш кластер. Существует три метода добавления узлов в кластер:

– bare metal, в этом случае всё необходимое, включая ОС, устанавливается на узел в момент добавления в кластер;

– настроенные узлы с установленной вручную ОС;

– узлы из XML-файла. В XML-файле содержатся записи об узлах, при этом неважно, как планируется их вводить в кластер – bare metal или preconfigured.

Мы будем использовать настроенные узлы.

Развертывание кластера

Будем придерживаться следующего плана:

1) Планирование инфраструктуры;

2) Настройка «железа»;

3) Настройка управляющего узла;

4) Настройка узлов-вычислителей;

5) Ввод узлов в кластер;

Планирование инфраструктуры

Первая задача – необходимо поднять домен для нашего кластера. Воспользуемся dcpromo со всеми настройками по умолчанию. Без Active Directory кластер работать не будет – HPC-утилиты используют доменные credentials для аутентификации и всё довольно органично завязано друг на друге. После этого устанавливаем и настраиваем DHCP-сервер. В данном посте DHCP мы использовать не будем, но он пригодится для дальнейших изысканий.

Конфигурация: 192.168.0.1 для домен-контроллера, 192.168.0.2 и 3 для узлов.

Настройка железа

В случае наличия лишнего NIC на управляющем узле пользуемся следующим сценарием:

1) Подключаем один NIC к Enterprise Network. Второй NIC, нужный для Private Network, пока не трогаем;

2) Открываем Network and Sharing Center;

3) Переименовываем подключенный NIC в Enterprise;

4) Переименовываем второй NIC в Private;

В случае отсутствия лишнего NIC нам необходимо создать loopback-заглушку для «обмана» HPC Pack.

1) Открываем Device Manager;

2) Нажимаем Add legacy hardware;

3) Next. Нажимаем Install the hardware that i manually select from a list;

4) Выбираем Network adapters. Next;

5) Выбираем Microsoft, в правом окошке выбираем Microsoft Loopback Adapter;

6) Выполняем шаги 3-4 из первой последовательности действий.

Настройка управляющего узла

1) Монтируем HPC Pack Express ISO и запускаем установщик. На управляющем узле необходимо выбрать вариант установки HPC Pack 2008 R2 Express.

<img src=»http://habrastorage.org/storage1/ce6b58df/c2bf6da1/db1df576/d809120f.png»/&gt;

2) Выбираем Create a new HPC cluster by creating a Head Node.

<img src=»http://habrastorage.org/storage1/ced2c74f/922754a2/12adea89/fbbe2b2d.png»/&gt;

3) Next.

4) Install.

В зависимости от ресурсов установка может занимать до 10 минут и более. В процессе кроме собственного instance SQL Server будут установлены роли DHCP, WDS, File Services и Network Policy and Access Services.

HPC Manager предлагает удобно структурированный To-Do список действий для настройки кластера.

<img src=»http://habrastorage.org/storage1/af97d21a/76611e9f/368e11bf/80067b73.png»/&gt;

1) Configure your network.

<img src=»http://habrastorage.org/storage1/561b344f/3c64bd95/c93b64e5/37198846.png»/&gt;

<i>На этом этапе необходим краткий ликбез.

Enterprise network – публичная сеть организации, в которой происходит основная работа пользователей

Private network – выделенная внутренняя сеть, по которой между узлами ходят пакеты (management, deployment, application traffic), связанные с кластерными коммуникациями.

Application network – выделенная сеть с высокой пропускной способностью и низкими задержками. Обычно используется для Message Passing Interface-коммуникаций между узлами. Ключевые слова для поиска: InfiniBand, Infinihost, ConnectX, NetworkDirect.

HPC Pack предлагает нам пять сетевых топологий, отличающихся методом соединения узлов между собой и соединения узлов и Enterprise-сети:

Topology 1: Compute Nodes Isolated on a Private Network

На мой взгляд, самая адекватно отвечающая всем требованиям безопасности и эффективности топологии. Именно её мы и будем использовать и именно для неё мы подключали/создавали второй NIC. В данной топологии только управляющий узел «смотрит» в Enterprise-сеть, узлы изолированы в Private-сеть.

Topology 2: All Nodes on Enterprise and Private Networks

Все узлы, включая управляющий, имеют второй NIC, который «смотрит» в Enterprise. Не вижу причин использовать данную топологию в Production.

Topology 3: Compute Nodes Isolated on Private and Application Networks

Узлы изолированы в приватной и application-сети. В таком случае необходимо иметь три NIC на управляющем узле, один из которых должен (но не обязан) быть от Mellanox и иже с ними.

Topology 4: All Nodes on Enterprise, Private, and Application Networks

Все узлы доступны во всех сетях.

Topology 5: All Nodes on an Enterprise Network

Все узлы находятся в Enterprise.

Мой опыт сообщает, что публиковать узлы в Enterprise есть только одна причина – если у нас есть что-то типа менеджера Matlab, который в случае своей работы должен иметь connectivity со всеми узлами.

Можно привести следующие рекомендации:

– не позволяйте APIPA адресам внедриться в конфигурацию вашего Enterprise адаптера на управляющем узле – в обязательном порядке должен быть динамический/статический IP-адрес;

– если вы выбрали топологию, в которой имеет место быть приватная сеть и собираетесь развертывать узлы из состояния bare metal, то убедитесь, что в сети нет PXE-серверов;

– отключите все DHCP-сервера в приватной и application сетях за исключением сервиса на управляющем узле

– если так получилось, что в вашем домене развернута политика IPSec Enforcement, вы можете столкнуться с определенными проблемами во время развертывания. Рекомендации приводятся разные, но самой адекватной считаю сделать управляющий узел IPsec boundary-сервером, чтобы узлы могли соединяться с ним во время загрузки PXE.

2) Как Enterprise Network Adapter выбираем тот NIC, который мы переименовывали в «Enterprise»;

3) Как Private Network Adapter Selection выбираем оставшийся NIC;

4) В Private Network Configuration ничего не меняем, next;

5) В настройке Firewall Setup можем поменять конфигурацию Firewall, но я бы порекомендовал оставить все настройки на этой вкладке по умолчанию;

6) Configure.

Если после непродолжительной настройки в отчете нет ненужных покраснений, переходим к следующему пункту в To-Do.

7) Provide installation credentials. В данной настройке вам необходимо указать учетные данные аккаунта, имеющего права на ввод машин в домен. Естественно, строка должна быть вида DOMAIN\User. Данная настройка также необходима для развертывания узлов из состояния Bare Metal.

В следующем пункте To-Do, Configure the naming of new nodes, с помощью нехитрого синтаксиса указываем политику наименования узлов кластера. Поменяем %1000% на %1%. Необходимо помнить, что данная настройка имеет место только для развертываний узлов из состояния Bare Metal.

9) Create a node template;

10) На вкладке Node Template Type из четырех вариантов выбираем первый, Compute node template, то есть шаблон узла, который будет использоваться для узлов-вычислителей;

11) Оставим имя шаблона по умолчанию;

12) На вкладке Select Deployment Type выберем Without operating system. Поскольку мы используем в данном посте уже сконфигурированные узлы, нам нет нужды создавать шаблон с ОС внутри;

13) Указываем, необходимо ли включать в шаблон какие-либо апдейты.

Итак, с управляющим узлом мы пока закончили.

Настройка узлов-вычислителей и ввод узлов в кластер

1) Включаем узел в домен; именуем его согласно нашим конвенциям, например, winnode1;

2) Логинимся на узел под доменным аккаунтом и монтируем ISO Microsoft HPC Pack 2008 R2 Express;

3) В Select Installation Edition выбираем HPC Pack 2008 R2 Express. В Enterprise-версии есть дополнительные функции;

4) Все остальные настройки те же самые, за исключением Join an existing HPC Cluster by creating a new compute node. В Join Cluster в выпадающем меню должно быть имя управляющего узла.

Вот и всё. Давайте переключимся в HPC Manager на управляющем узле и увидим, что во вкладке Nodes Management появился наш узел.

Узел имеет Node State указанным в Unknown и Node Health как Unapproved.

Чтобы решить эту проблему, выделим узел и нажмем Assign node template, выбрав наш шаблон, который мы создали ранее. Для наблюдения за процессом так называемого provisioning выберем узел и нажмем Provisioning Log.

После окончания узел должен стать Offline и его Node Health OK. Выделим его и нажмем Bring Online. По поводу данного состояния – в случае Online узел может принимать участие в вычислениях, в Offline – нет. Можно использовать в вычислениях и управляющий узел, но не рекомендую.

В статье приводится краткий обзор
создания отказоустойчивого кластера Microsoft Windows (WFC) в ОС Windows Server
2019 или 2016. В результате вы получите двухузловой кластер с одним общим
диском и кластерный вычислительный ресурс (объект «компьютер» в Active
Directory).

Подготовка

Не имеет значения, какие машины вы
используете — физические или виртуальные, главное, чтобы технология подходила
для создания кластеров Windows. Перед тем, как начать, проверьте соответствие
необходимым требованиям:

Две машины Windows 2019 с установленными последними обновлениями. У них должно быть по крайней мере два сетевых интерфейса: один для производственного трафика и один для кластерного трафика. В моем примере у машин три сетевых интерфейса (один дополнительный для трафика iSCSI). Я предпочитаю статические IP-адреса, но также можно использовать DHCP.

Введите оба сервера в домен
Microsoft Active Directory и убедитесь, что они видят общий ресурс хранения,
доступный в Disk Management. Пока не переводите диск в режим «онлайн».

Далее необходимо добавить функциональность Failover clustering (Server Manager > Аdd roles and features).

Перезапустите сервер, если требуется. В качестве альтернативы можно использовать следующую команду PowerShell:

Install-WindowsFeature -Name Failover-Clustering –IncludeManagementTools

После успешной установки в меню
Start, в Windows
Administrative Tools появится  Failover Cluster Manager .

После установки Failover-Clustering 
можно перевести общий диск в режим «онлайн» и отформатировать его на одном из
серверов. Не меняйте ничего на втором сервере. Там диск остается в режиме
offline.

Обновив Disk Management, вы увидите
что-то типа такого:

Server 1 Disk Management (disk status online)

Server 2 Disk Management (disk status offline)

Проверка готовности
отказоустойчивого кластера

Перед созданием кластера необходимо убедиться, что все настройки правильно сконфигурированы. Запустите Failover Cluster Manager из меню Start, прокрутите до раздела Management и кликните Validate Configuration.

Выберите для валидации оба сервера.

Выполните все тесты. Там же есть описание того, какие решения поддерживает Microsoft.

После успешного прохождения всех нужных тестов, можно создать кластер, установив флажок Create the cluster now using the validated nodes (создать кластер с помощью валидированных узлов), или это можно сделать позже. Если во время тестирования возникали ошибки или предупреждения, можно просмотреть подробный отчет, кликнув на View Report.

Создание отказоустойчивого
кластера

Если вы решите создать кластер,
кликнув на Create Cluster в Failover Cluster Manager,
потребуется снова выбрать узлы кластера. Если вы используете флажок Create
the cluster now using the validated nodes в мастере валидации
кластера, выбирать узлы не понадобится. Следующим шагом будет создание точки
доступа для администрирования кластера —  Access Point for
Administering the Cluster. Это будет виртуальный объект, с которым позже
будут коммуницировать клиенты. Это объект «компьютер» в Active Directory.

В мастере нужно будет задать имя кластера — Cluster Name и сетевую конфигурацию.

На последнем шаге подтвердите выбранные настройки и подождите создания кластера.

По умолчанию мастер автоматически
добавит общий диск к кластеру. Если вы его еще не сконфигурировали, будет
возможность сделать это позже.

В результате вы увидите новый объект «компьютер» Active Directory под названием WFC2019.

Вы можете отправить запрос к новому компьютеру, чтобы убедиться в его доступности (если ICMP-запросы разрешены в брандмауере Windows).

В качестве альтернативы можно создать кластер с помощью PowerShell. Следующая команда автоматически добавит подходящее хранилище:

New-Cluster -Name WFC2019 -Node SRV2019-WFC1, SRV2019-WFC2 -StaticAddress 172.21.237.32

Результат можно будет увидеть в Failover Cluster Manager, в разделах Nodes и Storage > Disks.

Иллюстрация показывает, что в данный момент диск используется в качестве кворума. Поскольку мы хотим использовать этот диск для данных, нам необходимо сконфигурировать кворум вручную. Из контекстного меню кластера выберите More Actions > Configure Cluster Quorum Settings (конфигурирование настроек кворума).

Мы хотим выбрать диск-свидетель вручную.

В данный момент кластер использует диск, ранее сконфигурированный как диск-свидетель. Альтернативно можно использовать в качестве свидетеля общую папку или учетную запись хранилища Azure. В этом примере мы используем в качестве свидетеля общую папку. На веб-сайте Microsoft представлены пошаговые инструкции по использованию свидетеля в облаке. Я всегда рекомендую конфигурировать свидетель кворума для правильной работы. Так что, последняя опция для производственной среды не актуальна.

Просто укажите путь и завершите мастер установки.

После этого общий диск можно использовать для работы с данными.

Поздравляю, вы сконфигурировали отказоустойчивый кластер Microsoft с одним общим диском.

Следующие шаги и резервное
копирование

Одним из следующих шагов будет
добавление роли для кластера, но это выходит за рамки данной статьи. Когда
кластер будет содержать данные, пора будет подумать о его резервном копировании.
 Veeam Agent for Microsoft Windows может применяться для
резервного копирования отказоустойчивых кластеров Windows с общими дисками. Мы
также рекомендуем осуществлять резервное копирование «всей системы» кластера.
При этом выполняется резервное копирование операционных систем узлов кластера.
Это поможет ускорить восстановление отказавшего узла кластера, так как вам не
придется искать драйверы и прочее при восстановлении.

Руководство по созданию отказоустойчивых
кластеров для Windows Server 2019

Для того, для чего вы хотите — никак не создать.
Кластер — это даже согласно статье из Википедии, которую вы приводите — это слабо связанная вычислительная система.
Попробую объяснить, используя аналогию.
Вы считаете, что компьютеры можно объединять также, как можно объединять усилия людей, наполняющих бочку водой, таская ее ведрами. Один человек наполнит за час, два — за полчаса, и так далее. Но это процесс, который распараллеливается элементарно.

А на самом деле, кластер работает подобно команде сценаристов, которые пишут сценарий сериала из двадцати серий, работая удаленно по бумажной почте: сначала главный сценарист придумывает персонажей и общий сюжет, записывает это, потом ему нужно разбить его на серии и отослать каждому из сценаристов, указав, какую серию тому нужно прописать в подробностях. Если бы он писал все сам, ему бы понадобилось по неделе на серию, итого — двадцать недель. А съемки можно начинать, когда готова первая серия (через неделю). Поскольку съемки одной серии занимают три дня, съемочная группа будет простаивать четыре дня из каждой недели, пока не будет готова следующая серия (деньги во время простоя тоже расходуются, хотя ничего не производится). Съемки будут, таким образом, завершены через 20*7+3=143 дня.

Наемным сценаристам тоже нужно по неделе на написании серий, но начальная работа главного сценариста тоже занимает неделю, плюс — три дня на доставку «каркаса сценария» наемным сценаристам, три дня на доставку сценария серий обратно, еще пять дней на проверку и исправление нестыковок. Итог — начинать съемки можно только через 25 дней, а не через семь, но продолжать их можно уже непрерывно. Съемки будут завершены через 25+3*20=85 дней.

Ровно как здесь нельзя ускорить процесс еще больше, заставив больше сценаристов писать по половине серии (потому что при этом растет сложность стыковки кусков сюжета, которые написаны разными людьми, потому им придется переписываться, теряя время), так и пытаясь запустить на кластере условную игру, придется просадить кучу времени на медленное общение узлов между собой по сети.

Чтобы всё «летало» в реальном времени в игре, вам нужен один мощный компьютер с многоядерным процессором, мощной видеокартой и быстрой шиной, которая всех их объединяет. А собрать кластер из сотни древних ноутов на медленном Ethernet и получить производительность в сто раз больше в играх — это фантастика из дурацких фильмов про хакеров.

(К слову, говоря, при этом есть возможность собрать недорогой и эффективный кластер из xbox 360 или PS3, процессоры там примерно как Power, и на миллион можно купить не одну приставку.)

Исходя из этого отметим интересные по цене варианты построения высокопроизводительной системы. Разумеется, она должна быть многопроцессорной. У Intel для таких задач используются процессоры Xeon, у AMD – Opteron.

Если много денег

Отдельно отметим крайне дорогую, но производительную линейку процессоров на сокете Intel Xeon LGA1567.
Топовый процессор этой серии – E7-8870 с десятью ядрами 2,4 ГГц. Его цена $4616. Для таких CPU фирмы HP и Supermicro выпускают! восьмипроцессорные! серверные шасси. Восемь 10-ядерных процессоров Xeon E7-8870 2.4 ГГц с поддержкой HyperThreading поддерживают 8*10*2=160 потоков, что в диспетчере задач Windows отображается как сто шестьдесят графиков загрузки процессоров, матрицей 10×16.

Для того, чтобы восемь процессоров уместились в корпусе, их размещают не сразу на материнской плате, а на отдельных платах, которые втыкаются в материнскую плату. На фотографии показаны установленные в материнскую плату четыре платы с процессорами (по два на каждой). Это решение Supermicro. В решении HP на каждый процессор приходится своя плата. Стоимость решения HP составляет два-три миллиона, в зависимости от наполнения процессорами, памятью и прочим. Шасси от Supermicro стоит $10 000, что привлекательнее. Кроме того в Supermicro можно поставить четыре сопроцессорных платы расширения в порты PCI-Express x16 (кстати, еще останется место для Infiniband-адаптера чтобы собирать кластер из таких), а в HP только две. Таким образом, для создания суперкомпьютера восьмипроцессорная платформа от Supermicro привлекательнее. На следующем фото с выставки представлен суперкомпьютер в сборе с четырьмя GPU платами.

Однако это очень дорого.

Что подешевле

Зато есть перспектива сборки суперкомпьютера на более доступных процессорах AMD Opteron G34, Intel Xeon LGA2011 и LGA 1366.

Чтобы выбрать конкретную модель, я составил таблицу, в которой сосчитал для каждого процессора показатель цена/(число ядер*частота). Я отбросил из расчета процессоры частотой ниже 2 ГГц, и для Intel — с шиной ниже 6,4GT/s.

Модель	Кол-во ядер	Частота	Цена, $	Цена/ядро, $	Цена/Ядро/ГГц
AMD
6386 SE	16	2,8	1392	87	31
6380	16	2,5	1088	68	27
6378	16	2,4	867	54	23
6376	16	2,3	703	44	19
6348	12	2,8	575	48	17
6344	12	2,6	415	35	13
6328	8	3,2	575	72	22
6320	8	2,8	293	37	13
INTEL
E5-2690	8	2,9	2057	257	89
E5-2680	8	2,7	1723	215	80
E5-2670	8	2,6	1552	194	75
E5-2665	8	2,4	1440	180	75
E5-2660	8	2,2	1329	166	76
E5-2650	8	2	1107	138	69
E5-2687W	8	3,1	1885	236	76
E5-4650L	8	2,6	3616	452	174
E5-4650	8	2,7	3616	452	167
E5-4640	8	2,4	2725	341	142
E5-4617	6	2,9	1611	269	93
E5-4610	6	2,4	1219	203	85
E5-2640	6	2,5	885	148	59
E5-2630	6	2,3	612	102	44
E5-2667	6	2,9	1552	259	89
X5690	6	3,46	1663	277	80
X5680	6	3,33	1663	277	83
X5675	6	3,06	1440	240	78
X5670	6	2,93	1440	240	82
X5660	6	2,8	1219	203	73
X5650	6	2,66	996	166	62
E5-4607	6	2,2	885	148	67
X5687	4	3,6	1663	416	115
X5677	4	3,46	1663	416	120
X5672	4	3,2	1440	360	113
X5667	4	3,06	1440	360	118
E5-2643	4	3,3	885	221	67

Жирным курсивом выделена модель с минимальным показателем соотношения, подчеркнутым – самый мощный AMD и на мой взгляд наиболее близкий по производительности Xeon.

Таким, образом, мой выбор процессоров для суперкомпьютера – Opteron 6386 SE, Opteron 6344, Xeon E5-2687W и Xeon E5-2630.

Материнские платы

PICMG

На обычные материнские платы невозможно поставить более четырех двухслотовых плат расширения. Есть и другая архитектура – использование кросс-плат, таких как BPG8032 PCI Express Backplane.

В такую плату ставятся платы расширения PCI Express и одна процессорная плата, чем-то похожая на те, которые установлены в восьмипроцессорных серверах на базе Supermicro, о которых речь шла выше. Но только эти процессорные платы подчиняются отраслевым стандартам PICMG. Стандарты развиваются медленно и такие платы зачастую не поддерживают самые современные процессоры. Максимум такие процессорные платы сейчас выпускают на два Xeon E5-2448L — Trenton BXT7059 SBC.

Стоить такая система будет без GPU не меньше $5000.

Готовые платформы TYAN

За ту же примерно сумму можно приобрести готовую платформу для сборки суперкомпьютеров TYAN FT72B7015 . В такой можно установить до восьми GPU и два Xeon LGA1366.

«Обычные» серверные материнские платы

Для LGA2011

Supermicro X9QR7-TF — на эту материнскую плату можно установить 4 Платы расширения и 4 процессора.

Supermicro X9DRG-QF — эта плата специально разработана для сборки высокопроизводительных систем.

Для Opteron

Supermicro H8QGL-6F — эта плата позволяет установить четыре процессора и три платы расширения

Усиление платформы платами расширения

Этот рынок почти полностью захвачен NVidia, которые выпускают помимо геймерских видеокарт еще и вычислительные карты. Меньшую долю рынка имеет AMD, и относительно недавно на этот рынок пришла корпорация Intel.

Особенностью таких сопроцессоров является наличие на борту большого объема оперативной памяти, быстрые расчеты с двойной точностью и энергоэффективность.

	FP32, Tflops	FP64, Tflops	Цена	Память, Гб
Nvidia Tesla K20X	3.95	1.31	5.5	6
AMD FirePro S10000	5.91	1.48	3.6	6
Intel Xeon Phi 5110P		1	2.7	8
Nvidia GTX Titan	4.5	1.3	1.1	6
Nvidia GTX 680	3	0.13	0.5	2
AMD HD 7970 GHz Edition	4	1	0.5	3
AMD HD 7990 Devil 13	2×3,7	2х0.92	1.6	2×3

Топовое решение от Nvidia называется Tesla K20X на архитектуре Kepler. Именно такие карты стоят в самом мощном в мире суперкомпьютере Titan. Однако недавно Nvidia выпустила видеокарту Geforce Titan. Старые модели были с урезанной производительностью FP64 до 1/24 от FP32 (GTX680). Но в Титане производитель обещает довольно высокую производительность в расчетах с двойной точностью. Решения от AMD тоже неплохи, но они построены на другой архитектуре и это может создать трудности для запуска вычислений, оптимизированных под CUDA (технология Nvidia).

Решение от Intel — Xeon Phi 5110P интересно тем, что все ядра в сопроцессоре выполнены на архитектуре x86 и не требуется особой оптимизации кода для запуска расчетов. Но мой фаворит среди сопроцессоров – относительно недорогая AMD HD 7970 GHz Edition. Теоретически эта видеокарта покажет максимальную производительность в расчете на стоимость.

Можно соединить в кластер

Для повышения производительности системы несколько компьютеров можно объединить в кластер, который будет распределять вычислительную нагрузку между входящими в состав кластера компьютерами.

Использовать в качестве сетевого интерфейса для связи компьютеров обычный гигабитный Ethernet слишком медленно. Для этих целей чаще всего используют Infiniband. Хост адаптер Infiniband относительно сервера стоит недорого. Например, на международном аукционе Ebay такие адаптеры продают по цене от $40. Например, адаптер X4 DDR (20Gb/s) обойдется с доставкой до России примерно в $100.

При этом коммутационное оборудование для Infiniband стоит довольно дорого. Да и как уже было сказано выше, классическая звезда в качестве топологии вычислительной сети – не лучший выбор.

Однако хосты InfiniBand можно подключать друг к другу напрямую, без свича. Тогда довольно интересным становится, например, такой вариант: кластер из двух компьютеров, соединенных по infiniband. Такой суперкомпьютер вполне можно собрать дома.

Сколько нужно видеокарт

В самом мощном суперкомпьютере современности Cray Titan отношение процессоров к «видеокартам» 1:1, то есть в нем 18688 16-ядерных процессоров и 18688 Tesla K20X.

В Тяньхэ-1А – китайском суперкомпьютере на ксеонах отношение следующее. Два шестиядерных процессора к одной «видюшке» Nvidia M2050 (послабее, чем K20X).

Такое отношение мы и примем для наших сборок за оптимальное (ибо дешевле). То есть 12-16 ядер процессоров на один GPU. На таблице ниже жирным обозначены практически возможные варианты, подчеркиванием – наиболее удачные с моей точки зрения.

GPU	Cores	6-core CPU	8-core CPU	12-core CPU	16-core CPU
2	24	32	4	5	3	4	2	3	2	2
3	36	48	6	8	5	6	3	4	2	3
4	48	64	8	11	6	8	4	5	3	4

Если система с уже установленным отношением процессоров/видеокарт сможет принять «на борт» еще дополнительно вычислительных устройств, то мы их добавим, чтобы увеличить мощность сборки.

Итак, сколько стоит

Представленные ниже варианты – шасси суперкомпьютера без оперативной памяти, жестких дисков и ПО. Во всех моделях используется видеоадаптер AMD HD 7970 GHz Edition. Его можно заменить на другой, по требованию задачи (например, на xeon phi). Там, где система позволяет, одна из AMD HD 7970 GHz Edition заменена на трехслотовую AMD HD 7990 Devil 13.

Вариант 1 на материнской плате Supermicro H8QGL-6F

Материнская плата	Supermicro H8QGL-6F	1	1200	1200
Процессор	AMD Opteron 6344	4	500	2000
Кулер Процессора	Thermaltake CLS0017	4	40	160
Корпус 1400Вт	SC748TQ-R1400B	1	1000	1000
Графический ускоритель	AMD HD 7970 GHz Edition	3	500	1500
				5860

Теоретически, производительность составит около 12 Tflops.

Вариант 2 на материнской плате TYAN S8232, кластерный

Эта плата не поддерживает Opteron 63xx, поэтому используется 62xx. В этом варианте два компьютера объединены в кластер по Infiniband x4 DDR двумя кабелями. Теоретически скорость соединения в этом случае упрется в скорость PCIe x8 то есть 32Гб/с. Блоков питания используется два. Как их согласовать между собой, можно найти в интернете.

		Количество	Цена	Сумма
Материнская плата	TYAN S8232	1	790	790
Процессор	AMD Opteron 6282SE	2	1000	2000
Кулер Процессора	Noctua NH-U12DO A3	2	60	120
Корпус	Antec Twelve Hundred Black	1	200	200
Блок питания	FSP AURUM PRO 1200W	2	200	400
Графический ускоритель	AMD HD 7970 GHz Edition	2	500	1000
Графический ускоритель	AX7990 6GBD5-A2DHJ	1	1000	1000
Infiniband адаптер	X4 DDR Infiniband	1	140	140
Infiniband кабель	X4 DDR Infiniband	1	30	30
				5680 (за один блок)

Для кластера таких конфигураций нужно две и стоимость их составит $11360
. Его энергопотребление при полной нагрузке будет около 3000Вт. Теоретически, производительность составит до 31Tflops.

Сегодня бизнес-процессы многих компаний полностью завязаны на информационных
технологиях. С ростом такой зависимости организаций от работы вычислительных
сетей доступность сервисов в любое время и под любой нагрузкой играет большую
роль. Один компьютер может обеспечить лишь начальный уровень надежности и
масштабируемости, максимального же уровня можно добиться за счет объединения в
единую систему двух или нескольких компьютеров — кластер.

Для чего нужен кластер

Кластеры применяют в организациях, которым нужна круглосуточная и
бесперебойная доступность сервисов и где любые перерывы в работе нежелательны и
недопустимы. Или в тех случаях, когда возможен всплеск нагрузки, с которым может
не справиться основной сервер, тогда ее помогут компенсировать дополнительные
хосты, выполняющие обычно другие задачи. Для почтового сервера, обрабатывающего
десятки и сотни тысяч писем в день, или веб-сервера, обслуживающего
онлайн-магазины, использование кластеров очень желательно. Для пользователя
подобная система остается полностью прозрачной — вся группа компьютеров будет
выглядеть как один сервер. Использование нескольких, пусть даже более дешевых,
компьютеров позволяет получить весьма существенные преимущества перед одиночным
и шустрым сервером. Это равномерное распределение поступающих запросов,
повышенная отказоустойчивость, так как при выходе одного элемента его нагрузку
подхватывают другие системы, масштабируемость, удобное обслуживание и замена
узлов кластера, а также многое другое. Выход из строя одного узла автоматически
обнаруживается, и нагрузка перераспределяется, для клиента все это останется
незамеченным.

Возможности Win2k3

Вообще говоря, одни кластеры предназначены для повышения доступности данных,
другие — для обеспечения максимальной производительности. В контексте статьи нас
будут интересовать MPP (Massive Parallel Processing)
— кластеры, в
которых однотипные приложения выполняются на нескольких компьютерах, обеспечивая
масштабируемость сервисов. Существует несколько технологий, позволяющих
распределять нагрузку между несколькими серверами: перенаправление трафика
,
трансляция адресов
, DNS Round Robin
, использование специальных
программ
, работающих на прикладном уровне, вроде веб-акселераторов. В
Win2k3, в отличие от Win2k, поддержка кластеризации заложена изначально и
поддерживается два типа кластеров, отличающихся приложениями и спецификой
данных:

1. Кластеры NLB (Network Load Balancing)
— обеспечивают
масштабируемость и высокую доступность служб и приложений на базе протоколов TCP
и UDP, объединяя в один кластер до 32 серверов с одинаковым набором данных, на
которых выполняются одни и те же приложения. Каждый запрос выполняется как
отдельная транзакция. Применяются для работы с наборами редко изменяющихся
данных, вроде WWW, ISA, службами терминалов и другими подобными сервисами.

2. Кластеры серверов
– могут объединять до восьми узлов, их главная
задача — обеспечение доступности приложений при сбое. Состоят из активных и
пассивных узлов. Пассивный узел большую часть времени простаивает, играя роль
резерва основного узла. Для отдельных приложений есть возможность настроить
несколько активных серверов, распределяя нагрузку между ними. Оба узла
подключены к единому хранилищу данных. Кластер серверов используется для работы
с большими объемами часто изменяющихся данных (почтовые, файловые и
SQL-серверы). Причем такой кластер не может состоять из узлов, работающих под
управлением различных вариантов Win2k3: Enterprise или Datacenter (версии Web и
Standart кластеры серверов не поддерживают).

В Microsoft Application Center 2000
(и только) имелся еще один вид
кластера — CLB (Component Load Balancing)
, предоставляющий возможность
распределения приложений COM+ между несколькими серверами.

NLB-кластеры

При использовании балансировки нагрузки на каждом из хостов создается
виртуальный сетевой адаптер со своим независимым от реального IP и МАС-адресом.
Этот виртуальный интерфейс представляет кластер как единый узел, клиенты
обращаются к нему именно по виртуальному адресу. Все запросы получаются каждым
узлом кластера, но обрабатываются только одним. На всех узлах запускается
служба балансировки сетевой нагрузки (Network Load Balancing Service)
,
которая, используя специальный алгоритм, не требующий обмена данными между
узлами, принимает решение, нужно ли тому или иному узлу обрабатывать запрос или
нет. Узлы обмениваются heartbeat-сообщениями
, показывающими их
доступность. Если хост прекращает выдачу heartbeat или появляется новый узел,
остальные узлы начинают процесс схождения (convergence)
, заново
перераспределяя нагрузку. Балансировка может быть реализована в одном из двух
режимов:

1) unicast
– одноадресная рассылка, когда вместо физического МАС
используется МАС виртуального адаптера кластера. В этом случае узлы кластера не
могут обмениваться между собой данными, используя МАС-адреса, только через IP
(или второй адаптер, не связанный с кластером);

В пределах одного кластера следует использовать только один из этих режимов.

Можно настроить несколько NLB-кластеров
на одном сетевом адаптере,
указав конкретные правила для портов. Такие кластеры называют виртуальными. Их
применение дает возможность задать для каждого приложения, узла или IP-адреса
конкретные компьютеры в составе первичного кластера, или блокировать трафик для
некоторого приложения, не затрагивая трафик для других программ, выполняющихся
на этом узле. Или, наоборот, NLB-компонент может быть привязан к нескольким
сетевым адаптерам, что позволит настроить ряд независимых кластеров на каждом
узле. Также следует знать, что настройка кластеров серверов и NLB на одном узле
невозможна, поскольку они по-разному работают с сетевыми устройствами.

Администратор может сделать некую гибридную конфигурацию, обладающую
достоинствами обоих методов, например, создав NLB-кластер и настроив репликацию
данных между узлами. Но репликация выполняется не постоянно, а время от времени,
поэтому информация на разных узлах некоторое время будет отличаться.

С теорией на этом закончим, хотя о построении кластеров можно рассказывать
еще долго, перечисляя возможности и пути наращивания, давая различные
рекомендации и варианты конкретной реализации. Все эти тонкости и нюансы оставим
для самостоятельного изучения и перейдем к практической части.

Настройка NLB-кластера

Для организации NLB-кластеров
дополнительное ПО не требуется, все
производится имеющимися средствами Win2k3. Для создания, поддержки и мониторинга
NLB-кластеров используют компонент «Диспетчер балансировки сетевой нагрузки»
(Network Load Balancing Manager)
, который находится во вкладке
«Администрирование» «Панели управления» (команда NLBMgr). Так как компонент
«Балансировка нагрузки сети» ставится как стандартный сетевой драйвер Windows,
установку NLB можно выполнять и при помощи компонента «Сетевые подключения», в
котором доступен соответствующий пункт. Но лучше использовать только первый
вариант, одновременное задействование диспетчера NLB и «Сетевых подключений»
может привести к непредсказуемым результатам.

Диспетчер NLB позволяет настраивать и управлять из одного места работой сразу
нескольких кластеров и узлов.

Возможна также установка NLB-кластера на компьютере с одним сетевым
адаптером, связанным с компонентом «Балансировка нагрузки сети», но в этом
случае при режиме unicast диспетчер NLB на этом компьютере не может быть
использован для управления другими узлами, а сами узлы не могут обмениваться
друг с другом информацией.

Теперь вызываем диспетчер NLB. Кластеров у нас пока нет, поэтому появившееся
окно не содержит никакой информации. Выбираем в меню «Кластер» пункт «Новый» и
начинаем заполнять поля в окне «Параметры кластера». В поле «Настройка
IP-параметров кластера» вводим значение виртуального IP-адреса кластера, маску
подсети и полное имя. Значение виртуального МАС-адреса устанавливается
автоматически. Чуть ниже выбираем режим работы кластера: одноадресный или
многоадресный. Обрати внимание на флажок «Разрешить удаленное управление» — во
всех документах Microsoft настоятельно рекомендует его не использовать во
избежание проблем, связанных с безопасностью. Вместо этого следует применять
диспетчер или другие средства удаленного управления, например инструментарий
управления Windows (WMI). Если же решение об его использовании принято, следует
выполнить все надлежащие мероприятия по защите сети, прикрыв дополнительно
брандмауэром UDP-порты 1717 и 2504.

После заполнения всех полей нажимаем «Далее». В окне «IP-адреса кластера» при
необходимости добавляем дополнительные виртуальные IP-адреса, которые будут
использоваться этим кластером. В следующем окне «Правила для портов» можно
задать балансировку нагрузки для одного или для группы портов всех или
выбранного IP по протоколам UDP или TCP, а также блокировать доступ к кластеру
определенным портам (что межсетевой экран не заменяет). По умолчанию кластер
обрабатывает запросы для всех портов (0–65365); лучше этот список ограничить,
внеся в него только действительно необходимые. Хотя, если нет желания возиться,
можно оставить все, как есть. Кстати, в Win2k по умолчанию весь трафик,
направленный к кластеру, обрабатывал только узел, имевший наивысший приоритет,
остальные узлы подключались только при выходе из строя основного.

Например, для IIS потребуется включить только порты 80 (http) и 443 (https).
Причем можно сделать так, чтобы, например, защищенные соединения обрабатывали
только определенные серверы, на которых установлен сертификат. Для добавления
нового правила нажимаем «Добавить», в появившемся диалоговом окне вводим
IP-адрес узла, или если правило распространяется на всех, то оставляем флажок
«Все». В полях «С» и «По» диапазона портов устанавливаем одно и то же значение –
80. Ключевым полем является «Режим фильтрации» (Filtering Mode) — здесь
задается, кем будет обработан этот запрос. Доступно три поля, определяющие режим
фильтрации: «Несколько узлов», «Один узел» и «Отключить этот диапазон портов».
Выбор «Один узел» означает, что трафик, направленный на выбранный IP (компьютера
или кластера) с указанным номером порта, будет обрабатываться активным узлом,
имеющим наименьший показатель приоритета (о нем чуть ниже). Выбор «Отключить…»
значит, что такой трафик будет отбрасываться всеми участниками кластера.

В режиме фильтрации «Несколько узлов» можно дополнительно указать вариант
определения сходства клиентов, чтобы направлять трафик от заданного клиента к
одному и тому же узлу кластера. Возможны три варианта: «Нет», «Одно» или «Класс
C». Выбор первого означает, что на любой запрос будет отвечать произвольный
узел. Но не следует его использовать, если в правиле выбран протокол UDP или
«Оба». При избрании остальных пунктов сходство клиентов будет определяться по
конкретному IP или диапазону сети класса С.

Итак, для нашего правила с 80-м портом остановим свой выбор на варианте
«Несколько узлов — класс C». Правило для 443 заполняем аналогично, но используем
«Один узел», чтобы клиенту всегда отвечал основной узел с наименьшим
приоритетом. Если диспетчер обнаружит несовместимое правило, будет выведено
предупреждающее сообщение, дополнительно в журнал событий Windows будет внесена
соответствующая запись.

Далее подключаемся к узлу будущего кластера, введя его имя или реальный IP, и
определяем интерфейс, который будет подключен к сети кластера. В окне «Параметры
узла» выбираем из списка приоритет, уточняем сетевые настройки, задаем начальное
состояние узла (работает, остановлен, приостановлен). Приоритет одновременно
является уникальным идентификатором узла; чем меньше номер, тем выше приоритет.
Узел с приоритетом 1 является мастер-сервером, в первую очередь получающим
пакеты и действующим как менеджер маршрутизации.

Флажок «Сохранить состояние после перезагрузки компьютера» позволяет в случае
сбоя или перезагрузки этого узла автоматически ввести его в строй. После нажатия
на «Готово» в окне Диспетчера появится запись о новом кластере, в котором пока
присутствует один узел.
Следующий узел добавить также просто. Выбираем в меню «Добавить узел» либо
«Подключить к существующему», в зависимости от того, с какого компьютера
производится подключение (он уже входит в кластер или нет). Затем в окне
указываем имя или адрес компьютера, если прав для подключения достаточно, новый
узел будет подключен к кластеру. Первое время значок напротив его имени будет
отличаться, но когда завершится процесс схождения, он будет такой же, как и у
первого компьютера.

Так как диспетчер отображает свойства узлов на момент своего подключения, для
уточнения текущего состояния следует выбрать кластер и в контекстном меню пункт
«Обновить». Диспетчер подключится к кластеру и покажет обновленные данные.

После установки NLB-кластера
не забудь изменить DNS-запись, чтобы
разрешение имени теперь показывало на IP-кластера.

Изменение загрузки сервера

В такой конфигурации все серверы будут загружены равномерно (за исключением
варианта «Один узел»). В некоторых случаях необходимо перераспределить нагрузку,
большую часть работы возложив на один из узлов (например, самый мощный).
Применительно к кластеру правила после их создания можно изменить, выбрав в
контекстном меню, появляющемся при щелчке на имени, пункт «Свойства кластера».
Здесь доступны все те настройки, о которых мы говорили выше. Пункт меню
«Свойства узла» предоставляет несколько больше возможностей. В «Параметрах узла»
можно изменить значение приоритета для конкретно выбранного узла. В «Правилах
для портов» добавить или удалить правило нельзя, это доступно только на уровне
кластера. Но, выбрав редактирование конкретного правила, мы получаем возможность
скорректировать некоторые настройки. Так, при установленном режиме фильтрации
«Несколько узлов» становится доступным пункт «Оценка нагрузки», позволяющий
перераспределить нагрузку на конкретный узел. По умолчанию установлен флажок
«Равная», но в «Оценке нагрузки» можно указать другое значение нагрузки на
конкретный узел, в процентах от общей загрузки кластера. Если активирован режим
фильтрации «Один узел», в этом окне появляется новый параметр «Приоритет
обработки». Используя его, можно сделать так, что трафик к определенному порту
будет в первую очередь обрабатываться одним узлом кластера, а к другому – другим
узлом.

Журналирование событий

Как уже говорилось, компонент «Балансировка нагрузки сети» записывает все
действия и изменения кластера в журнал событий Windows. Чтобы их увидеть,
выбираем «Просмотр событий – Система», к NLB относятся сообщения WLBS (от
Windows Load Balancing Service, как эта служба называлась в NT). Кроме того, в
окне диспетчера выводятся последние сообщения, содержащие информацию об ошибках
и обо всех изменениях в конфигурации. По умолчанию эта информация не
сохраняется. Чтобы она записывалась в файл, следует выбрать «Параметры –>
Параметры журнала», установить флажок «Включить ведение журнала» и указать имя
файла. Новый файл будет создан в подкаталоге твоей учетной записи в Documents
and Settings.

Настраиваем IIS с репликацией

Кластер кластером, но без службы он смысла не имеет. Поэтому добавим IIS (Internet
Information Services)
. Сервер IIS входит в состав Win2k3, но, чтобы свести к
минимуму возможность атак на сервер, он по умолчанию не устанавливается.

Инсталлировать IIS можно двумя способами: посредством «Панели управления» или
мастером управления ролями данного сервера. Рассмотрим первый. Переходим в
«Панель управления – Установка и удаление программ» (Control Panel — Add or
Remove Programs), выбираем «Установку компонентов Windows» (Add/Remove Windows
Components). Теперь переходим в пункт «Сервер приложений» и отмечаем в «Службах
IIS» все, что необходимо. По умолчанию рабочим каталогом сервера является Inetpubwwwroot.
После установки IIS может выводить статические документы.

На сегодняшний день возможно построение домашнего суперкомпьютера, о чем и пойдет речь.

В статье рассмотрены способы аппаратного построения высокопроизводительных вычислительных комплексов. Одно из интересных применений – криптография. Например, благодаря современным технологиям, любому стал доступен взлом MD5 или WPA. Если постараться (информацию быстро выпиливают), в Интернете можно найти способ взлома алгоритма A5/2, используемого в GSM. Другое применение – инженерные, финансовые, медицинские расчеты, биткойнмайнинг.

Немного истории

Датой первого письменного упоминания о суперкомпьютерах можно считать 1 марта 1920 года. Нью Йоркские газеты писали о машинах мощностью в сто математиков. Это были табуляторы – электромеханические вычислительные машины, производимые компанией IBM (которая тогда называлась еще CTR). В дальнейшем вычислительные машины стали электронными. На рынке суперкомпьютеров образовалось несколько игроков, таких как Cray, HP, IBM, Nec. Эти компьютеры имели векторные процессоры (то есть оперировали не отдельными числами, а векторами). Для коммуникации между вычислительными узлами использовались проприетарные технологии фирм-производителей. Например, одна из таких технологий – соединение процессоров по топологии четырехмерного тора — за этими словами скрывается очень простой смысл: каждый узел связан с шестью другими. Дальнейшее развитие суперкомпьютеров породило направление массово параллельных систем и кластеров. В кластерах как квинтэссенции этого направления используются примерно те же алгоритмы коммуникации между вычислительными узлами, что и в суперкомпьютерах, только на базе сетевых интерфейсов. Они и являются слабым местом таких систем. Помимо нестандартной (по сравнению с классической звездой) топологии сети как Fat Tree, «многомерный тор» или Dragonfly, требуются специальные коммутационные устройства.

Касаясь взятой нами темы, нельзя не упомянуть, что сегодня одно из перспективных направлений развития суперкомпьютеров является использование в стандартной компьютерной архитектуре сопроцессоров, по архитектуре напоминающих видеокарты.

Выбор процессора

Сегодня основные производители процессоров – это Intel и AMD. RISC-процессоры, такие как Power 7+ , несмотря на привлекательность, достаточно экзотичны и дороги. Вот, например, не самая новая модель такого сервера стоит больше миллиона .

(К слову, говоря, при этом есть возможность собрать недорогой и эффективный кластер из xbox 360 или PS3, процессоры там примерно как Power, и на миллион можно купить не одну приставку.)

Исходя из этого отметим интересные по цене варианты построения высокопроизводительной системы. Разумеется, она должна быть многопроцессорной. У Intel для таких задач используются процессоры Xeon, у AMD – Opteron.

Если много денег

Отдельно отметим крайне дорогую, но производительную линейку процессоров на сокете Intel Xeon LGA1567.
Топовый процессор этой серии – E7-8870 с десятью ядрами 2,4 ГГц. Его цена $4616. Для таких CPU фирмы HP и Supermicro выпускают! восьмипроцессорные! серверные шасси. Восемь 10-ядерных процессоров Xeon E7-8870 2.4 ГГц с поддержкой HyperThreading поддерживают 8*10*2=160 потоков, что в диспетчере задач Windows отображается как сто шестьдесят графиков загрузки процессоров, матрицей 10×16.

Для того, чтобы восемь процессоров уместились в корпусе, их размещают не сразу на материнской плате, а на отдельных платах, которые втыкаются в материнскую плату. На фотографии показаны установленные в материнскую плату четыре платы с процессорами (по два на каждой). Это решение Supermicro. В решении HP на каждый процессор приходится своя плата. Стоимость решения HP составляет два-три миллиона, в зависимости от наполнения процессорами, памятью и прочим. Шасси от Supermicro стоит $10 000, что привлекательнее. Кроме того в Supermicro можно поставить четыре сопроцессорных платы расширения в порты PCI-Express x16 (кстати, еще останется место для Indiniband-адаптера чтобы собирать кластер из таких), а в HP только две. Таким образом, для создания суперкомпьютера восьмипроцессорная платформа от Supermicro привлекательнее. На следующем фото с выставки представлен суперкомпьютер в сборе с четырьмя GPU платами.


Однако это очень дорого.

Что подешевле

Зато есть перспектива сборки суперкомпьютера на более доступных процессорах AMD Opteron G34, Intel Xeon LGA2011 и LGA 1366.

Чтобы выбрать конкретную модель, я составил таблицу, в которой сосчитал для каждого процессора показатель цена/(число ядер*частота). Я отбросил из расчета процессоры частотой ниже 2 ГГц, и для Intel — с шиной ниже 6,4GT/s.

Модель	Кол-во ядер	Частота	Цена, $	Цена/ядро, $	Цена/Ядро/ГГц
AMD
6386 SE	16	2,8	1392	87	31
6380	16	2,5	1088	68	27
6378	16	2,4	867	54	23
6376	16	2,3	703	44	19
6348	12	2,8	575	48	17
6344	12	2,6	415	35	13
6328	8	3,2	575	72	22
6320	8	2,8	293	37	13
INTEL
E5-2690	8	2,9	2057	257	89
E5-2680	8	2,7	1723	215	80
E5-2670	8	2,6	1552	194	75
E5-2665	8	2,4	1440	180	75
E5-2660	8	2,2	1329	166	76
E5-2650	8	2	1107	138	69
E5-2687W	8	3,1	1885	236	76
E5-4650L	8	2,6	3616	452	174
E5-4650	8	2,7	3616	452	167
E5-4640	8	2,4	2725	341	142
E5-4617	6	2,9	1611	269	93
E5-4610	6	2,4	1219	203	85
E5-2640	6	2,5	885	148	59
E5-2630	6	2,3	612	102	44
E5-2667	6	2,9	1552	259	89
X5690	6	3,46	1663	277	80
X5680	6	3,33	1663	277	83
X5675	6	3,06	1440	240	78
X5670	6	2,93	1440	240	82
X5660	6	2,8	1219	203	73
X5650	6	2,66	996	166	62
E5-4607	6	2,2	885	148	67
X5687	4	3,6	1663	416	115
X5677	4	3,46	1663	416	120
X5672	4	3,2	1440	360	113
X5667	4	3,06	1440	360	118
E5-2643	4	3,3	885	221	67

Жирным курсивом выделена модель с минимальным показателем соотношения, подчеркнутым – самый мощный AMD и на мой взгляд наиболее близкий по производительности Xeon.

Таким, образом, мой выбор процессоров для суперкомпьютера – Opteron 6386 SE, Opteron 6344, Xeon E5-2687W и Xeon E5-2630.

Материнские платы

PICMG

На обычные материнские платы невозможно поставить более четырех двухслотовых плат расширения. Есть и другая архитектура – использование кросс-плат, таких как BPG8032 PCI Express Backplane.


В такую плату ставятся платы расширения PCI Express и одна процессорная плата, чем-то похожая на те, которые установлены в восьмипроцессорных серверах на базе Supermicro, о которых речь шла выше. Но только эти процессорные платы подчиняются отраслевым стандартам PICMG. Стандарты развиваются медленно и такие платы зачастую не поддерживают самые современные процессоры. Максимум такие процессорные платы сейчас выпускают на два Xeon E5-2448L — Trenton BXT7059 SBC.

Стоить такая система будет без GPU не меньше $5000.

Готовые платформы TYAN

За ту же примерно сумму можно приобрести готовую платформу для сборки суперкомпьютеров TYAN FT72B7015 . В такой можно установить до восьми GPU и два Xeon LGA1366.

(К слову, говоря, при этом есть возможность собрать недорогой и эффективный кластер из xbox 360 или PS3, процессоры там примерно как Power, и на миллион можно купить не одну приставку.)

Исходя из этого отметим интересные по цене варианты построения высокопроизводительной системы. Разумеется, она должна быть многопроцессорной. У Intel для таких задач используются процессоры Xeon, у AMD – Opteron.

Если много денег

Отдельно отметим крайне дорогую, но производительную линейку процессоров на сокете Intel Xeon LGA1567.
Топовый процессор этой серии – E7-8870 с десятью ядрами 2,4 ГГц. Его цена $4616. Для таких CPU фирмы HP и Supermicro выпускают! восьмипроцессорные! серверные шасси. Восемь 10-ядерных процессоров Xeon E7-8870 2.4 ГГц с поддержкой HyperThreading поддерживают 8*10*2=160 потоков, что в диспетчере задач Windows отображается как сто шестьдесят графиков загрузки процессоров, матрицей 10×16.

Для того, чтобы восемь процессоров уместились в корпусе, их размещают не сразу на материнской плате, а на отдельных платах, которые втыкаются в материнскую плату. На фотографии показаны установленные в материнскую плату четыре платы с процессорами (по два на каждой). Это решение Supermicro. В решении HP на каждый процессор приходится своя плата. Стоимость решения HP составляет два-три миллиона, в зависимости от наполнения процессорами, памятью и прочим. Шасси от Supermicro стоит $10 000, что привлекательнее. Кроме того в Supermicro можно поставить четыре сопроцессорных платы расширения в порты PCI-Express x16 (кстати, еще останется место для Infiniband-адаптера чтобы собирать кластер из таких), а в HP только две. Таким образом, для создания суперкомпьютера восьмипроцессорная платформа от Supermicro привлекательнее. На следующем фото с выставки представлен суперкомпьютер в сборе с четырьмя GPU платами.

Однако это очень дорого.

Что подешевле

Зато есть перспектива сборки суперкомпьютера на более доступных процессорах AMD Opteron G34, Intel Xeon LGA2011 и LGA 1366.

Чтобы выбрать конкретную модель, я составил таблицу, в которой сосчитал для каждого процессора показатель цена/(число ядер*частота). Я отбросил из расчета процессоры частотой ниже 2 ГГц, и для Intel — с шиной ниже 6,4GT/s.

Модель	Кол-во ядер	Частота	Цена, $	Цена/ядро, $	Цена/Ядро/ГГц
AMD
6386 SE	16	2,8	1392	87	31
6380	16	2,5	1088	68	27
6378	16	2,4	867	54	23
6376	16	2,3	703	44	19
6348	12	2,8	575	48	17
6344	12	2,6	415	35	13
6328	8	3,2	575	72	22
6320	8	2,8	293	37	13
INTEL
E5-2690	8	2,9	2057	257	89
E5-2680	8	2,7	1723	215	80
E5-2670	8	2,6	1552	194	75
E5-2665	8	2,4	1440	180	75
E5-2660	8	2,2	1329	166	76
E5-2650	8	2	1107	138	69
E5-2687W	8	3,1	1885	236	76
E5-4650L	8	2,6	3616	452	174
E5-4650	8	2,7	3616	452	167
E5-4640	8	2,4	2725	341	142
E5-4617	6	2,9	1611	269	93
E5-4610	6	2,4	1219	203	85
E5-2640	6	2,5	885	148	59
E5-2630	6	2,3	612	102	44
E5-2667	6	2,9	1552	259	89
X5690	6	3,46	1663	277	80
X5680	6	3,33	1663	277	83
X5675	6	3,06	1440	240	78
X5670	6	2,93	1440	240	82
X5660	6	2,8	1219	203	73
X5650	6	2,66	996	166	62
E5-4607	6	2,2	885	148	67
X5687	4	3,6	1663	416	115
X5677	4	3,46	1663	416	120
X5672	4	3,2	1440	360	113
X5667	4	3,06	1440	360	118
E5-2643	4	3,3	885	221	67

Жирным курсивом выделена модель с минимальным показателем соотношения, подчеркнутым – самый мощный AMD и на мой взгляд наиболее близкий по производительности Xeon.

Таким, образом, мой выбор процессоров для суперкомпьютера – Opteron 6386 SE, Opteron 6344, Xeon E5-2687W и Xeon E5-2630.

Материнские платы

PICMG

На обычные материнские платы невозможно поставить более четырех двухслотовых плат расширения. Есть и другая архитектура – использование кросс-плат, таких как BPG8032 PCI Express Backplane.

В такую плату ставятся платы расширения PCI Express и одна процессорная плата, чем-то похожая на те, которые установлены в восьмипроцессорных серверах на базе Supermicro, о которых речь шла выше. Но только эти процессорные платы подчиняются отраслевым стандартам PICMG. Стандарты развиваются медленно и такие платы зачастую не поддерживают самые современные процессоры. Максимум такие процессорные платы сейчас выпускают на два Xeon E5-2448L — Trenton BXT7059 SBC.

Стоить такая система будет без GPU не меньше $5000.

Готовые платформы TYAN

За ту же примерно сумму можно приобрести готовую платформу для сборки суперкомпьютеров TYAN FT72B7015 . В такой можно установить до восьми GPU и два Xeon LGA1366.

«Обычные» серверные материнские платы

Для LGA2011

Supermicro X9QR7-TF — на эту материнскую плату можно установить 4 Платы расширения и 4 процессора.

Supermicro X9DRG-QF — эта плата специально разработана для сборки высокопроизводительных систем.

Для Opteron

Supermicro H8QGL-6F — эта плата позволяет установить четыре процессора и три платы расширения

Усиление платформы платами расширения

Этот рынок почти полностью захвачен NVidia, которые выпускают помимо геймерских видеокарт еще и вычислительные карты. Меньшую долю рынка имеет AMD, и относительно недавно на этот рынок пришла корпорация Intel.

Особенностью таких сопроцессоров является наличие на борту большого объема оперативной памяти, быстрые расчеты с двойной точностью и энергоэффективность.

	FP32, Tflops	FP64, Tflops	Цена	Память, Гб
Nvidia Tesla K20X	3.95	1.31	5.5	6
AMD FirePro S10000	5.91	1.48	3.6	6
Intel Xeon Phi 5110P		1	2.7	8
Nvidia GTX Titan	4.5	1.3	1.1	6
Nvidia GTX 680	3	0.13	0.5	2
AMD HD 7970 GHz Edition	4	1	0.5	3
AMD HD 7990 Devil 13	2×3,7	2х0.92	1.6	2×3

Топовое решение от Nvidia называется Tesla K20X на архитектуре Kepler. Именно такие карты стоят в самом мощном в мире суперкомпьютере Titan. Однако недавно Nvidia выпустила видеокарту Geforce Titan. Старые модели были с урезанной производительностью FP64 до 1/24 от FP32 (GTX680). Но в Титане производитель обещает довольно высокую производительность в расчетах с двойной точностью. Решения от AMD тоже неплохи, но они построены на другой архитектуре и это может создать трудности для запуска вычислений, оптимизированных под CUDA (технология Nvidia).

Решение от Intel — Xeon Phi 5110P интересно тем, что все ядра в сопроцессоре выполнены на архитектуре x86 и не требуется особой оптимизации кода для запуска расчетов. Но мой фаворит среди сопроцессоров – относительно недорогая AMD HD 7970 GHz Edition. Теоретически эта видеокарта покажет максимальную производительность в расчете на стоимость.

Можно соединить в кластер

Для повышения производительности системы несколько компьютеров можно объединить в кластер, который будет распределять вычислительную нагрузку между входящими в состав кластера компьютерами.

Использовать в качестве сетевого интерфейса для связи компьютеров обычный гигабитный Ethernet слишком медленно. Для этих целей чаще всего используют Infiniband. Хост адаптер Infiniband относительно сервера стоит недорого. Например, на международном аукционе Ebay такие адаптеры продают по цене от $40. Например, адаптер X4 DDR (20Gb/s) обойдется с доставкой до России примерно в $100.

При этом коммутационное оборудование для Infiniband стоит довольно дорого. Да и как уже было сказано выше, классическая звезда в качестве топологии вычислительной сети – не лучший выбор.

Однако хосты InfiniBand можно подключать друг к другу напрямую, без свича. Тогда довольно интересным становится, например, такой вариант: кластер из двух компьютеров, соединенных по infiniband. Такой суперкомпьютер вполне можно собрать дома.

Сколько нужно видеокарт

В самом мощном суперкомпьютере современности Cray Titan отношение процессоров к «видеокартам» 1:1, то есть в нем 18688 16-ядерных процессоров и 18688 Tesla K20X.

В Тяньхэ-1А – китайском суперкомпьютере на ксеонах отношение следующее. Два шестиядерных процессора к одной «видюшке» Nvidia M2050 (послабее, чем K20X).

Такое отношение мы и примем для наших сборок за оптимальное (ибо дешевле). То есть 12-16 ядер процессоров на один GPU. На таблице ниже жирным обозначены практически возможные варианты, подчеркиванием – наиболее удачные с моей точки зрения.

GPU	Cores	6-core CPU	8-core CPU	12-core CPU	16-core CPU
2	24	32	4	5	3	4	2	3	2	2
3	36	48	6	8	5	6	3	4	2	3
4	48	64	8	11	6	8	4	5	3	4

Если система с уже установленным отношением процессоров/видеокарт сможет принять «на борт» еще дополнительно вычислительных устройств, то мы их добавим, чтобы увеличить мощность сборки.

Итак, сколько стоит

Представленные ниже варианты – шасси суперкомпьютера без оперативной памяти, жестких дисков и ПО. Во всех моделях используется видеоадаптер AMD HD 7970 GHz Edition. Его можно заменить на другой, по требованию задачи (например, на xeon phi). Там, где система позволяет, одна из AMD HD 7970 GHz Edition заменена на трехслотовую AMD HD 7990 Devil 13.

Вариант 1 на материнской плате Supermicro H8QGL-6F

Материнская плата	Supermicro H8QGL-6F	1	1200	1200
Процессор	AMD Opteron 6344	4	500	2000
Кулер Процессора	Thermaltake CLS0017	4	40	160
Корпус 1400Вт	SC748TQ-R1400B	1	1000	1000
Графический ускоритель	AMD HD 7970 GHz Edition	3	500	1500
				5860

Теоретически, производительность составит около 12 Tflops.

Вариант 2 на материнской плате TYAN S8232, кластерный

Эта плата не поддерживает Opteron 63xx, поэтому используется 62xx. В этом варианте два компьютера объединены в кластер по Infiniband x4 DDR двумя кабелями. Теоретически скорость соединения в этом случае упрется в скорость PCIe x8 то есть 32Гб/с. Блоков питания используется два. Как их согласовать между собой, можно найти в интернете.

		Количество	Цена	Сумма
Материнская плата	TYAN S8232	1	790	790
Процессор	AMD Opteron 6282SE	2	1000	2000
Кулер Процессора	Noctua NH-U12DO A3	2	60	120
Корпус	Antec Twelve Hundred Black	1	200	200
Блок питания	FSP AURUM PRO 1200W	2	200	400
Графический ускоритель	AMD HD 7970 GHz Edition	2	500	1000
Графический ускоритель	AX7990 6GBD5-A2DHJ	1	1000	1000
Infiniband адаптер	X4 DDR Infiniband	1	140	140
Infiniband кабель	X4 DDR Infiniband	1	30	30
				5680 (за один блок)

Для кластера таких конфигураций нужно две и стоимость их составит $11360
. Его энергопотребление при полной нагрузке будет около 3000Вт. Теоретически, производительность составит до 31Tflops.

Как объединить компьютеры в кластер

Содержание

• Содержание
• Классификация кластеров [ править | править код ]
• Кластеры высокой доступности [ править | править код ]
• Кластеры распределения нагрузки (Network Load Balancing, NLB) [ править | править код ]
• Вычислительные кластеры [ править | править код ]
• Системы распределенных вычислений (grid) [ править | править код ]
• Кластер серверов, организуемых программно [ править | править код ]
• Применение [ править | править код ]
• Самые производительные кластеры [ править | править код ]
• История [ править | править код ]
• Программные средства [ править | править код ]
• 4 ответа 4

Кластер — группа компьютеров, объединённых высокоскоростными каналами связи, представляющая с точки зрения пользователя единый аппаратный ресурс. Кластер — слабо связанная совокупность нескольких вычислительных систем, работающих совместно для выполнения общих приложений, и представляющихся пользователю единой системой. Один из первых архитекторов кластерной технологии Грегори Пфистер дал кластеру следующее определение: «Кластер — это разновидность параллельной или распределённой системы, которая:

1. состоит из нескольких связанных между собой компьютеров;
2. используется как единый, унифицированный компьютерный ресурс».

Обычно различают следующие основные виды кластеров:

1. отказоустойчивые кластеры (High-availability clusters, HA, кластеры высокой доступности)
2. кластеры с балансировкой нагрузки (Load balancing clusters)
3. вычислительные кластеры (High performance computing clusters, HPC)
4. системы распределенных вычислений

Содержание

Классификация кластеров [ править | править код ]

Кластеры высокой доступности [ править | править код ]

Обозначаются аббревиатурой HA (англ. High Availability — высокая доступность). Создаются для обеспечения высокой доступности сервиса, предоставляемого кластером. Избыточное число узлов, входящих в кластер, гарантирует предоставление сервиса в случае отказа одного или нескольких серверов. Типичное число узлов — два, это минимальное количество, приводящее к повышению доступности. Создано множество программных решений для построения такого рода кластеров.

Отказоустойчивые кластеры и системы разделяются на 3 основных типа:

• с холодным резервом или активный/пассивный. Активный узел выполняет запросы, а пассивный ждет его отказа и включается в работу, когда таковой произойдет. Пример — резервные сетевые соединения, в частности, Алгоритм связующего дерева. Например, связка DRBD и HeartBeat/Corosync.
• с горячим резервом или активный/активный. Все узлы выполняют запросы, в случае отказа одного нагрузка перераспределяется между оставшимися. То есть кластер распределения нагрузки с поддержкой перераспределения запросов при отказе. Примеры — практически все кластерные технологии, например, Microsoft Cluster Server. OpenSource проект OpenMosix.
• с модульной избыточностью. Применяется только в случае, когда простой системы совершенно недопустим. Все узлы одновременно выполняют один и тот же запрос (либо части его, но так, что результат достижим и при отказе любого узла), из результатов берется любой. Необходимо гарантировать, что результаты разных узлов всегда будут одинаковы (либо различия гарантированно не повлияют на дальнейшую работу). Примеры — RAID и Triple modular redundancy.

Конкретная технология может сочетать данные принципы в любой комбинации. Например, Linux-HA поддерживает режим обоюдной поглощающей конфигурации (англ. takeover ), в котором критические запросы выполняются всеми узлами вместе, прочие же равномерно распределяются между ними. [1]

Кластеры распределения нагрузки (Network Load Balancing, NLB) [ править | править код ]

Принцип их действия строится на распределении запросов через один или несколько входных узлов, которые перенаправляют их на обработку в остальные, вычислительные узлы. Первоначальная цель такого кластера — производительность, однако, в них часто используются также и методы, повышающие надёжность. Подобные конструкции называются серверными фермами. Программное обеспечение (ПО) может быть как коммерческим (OpenVMS, MOSIX, Platform LSF HPC, Solaris Cluster, Moab Cluster Suite, Maui Cluster Scheduler), так и бесплатным (OpenMosix, Sun Grid Engine, Linux Virtual Server).

Вычислительные кластеры [ править | править код ]

Кластеры используются в вычислительных целях, в частности в научных исследованиях. Для вычислительных кластеров существенными показателями являются высокая производительность процессора в операциях над числами с плавающей точкой (flops) и низкая латентность объединяющей сети, и менее существенными — скорость операций ввода-вывода, которая в большей степени важна для баз данных и web-сервисов. Вычислительные кластеры позволяют уменьшить время расчетов, по сравнению с одиночным компьютером, разбивая задание на параллельно выполняющиеся ветки, которые обмениваются данными по связывающей сети. Одна из типичных конфигураций — набор компьютеров, собранных из общедоступных компонентов, с установленной на них операционной системой Linux, и связанных сетью Ethernet, Myrinet, InfiniBand или другими относительно недорогими сетями. Такую систему принято называть кластером Beowulf. Специально выделяют высокопроизводительные кластеры (Обозначаются англ. аббревиатурой HPC Cluster — High-performance computing cluster). Список самых мощных высокопроизводительных компьютеров (также может обозначаться англ. аббревиатурой HPC) можно найти в мировом рейтинге TOP500. В России ведется рейтинг самых мощных компьютеров СНГ. [2]

Системы распределенных вычислений (grid) [ править | править код ]

Такие системы не принято считать кластерами, но их принципы в значительной степени сходны с кластерной технологией. Их также называют grid-системами. Главное отличие — низкая доступность каждого узла, то есть невозможность гарантировать его работу в заданный момент времени (узлы подключаются и отключаются в процессе работы), поэтому задача должна быть разбита на ряд независимых друг от друга процессов. Такая система, в отличие от кластеров, не похожа на единый компьютер, а служит упрощённым средством распределения вычислений. Нестабильность конфигурации, в таком случае, компенсируется больши́м числом узлов.

Кластер серверов, организуемых программно [ править | править код ]

Кластер серверов (в информационных технологиях) — группа серверов, объединённых логически, способных обрабатывать идентичные запросы и использующихся как единый ресурс. Чаще всего серверы группируются посредством локальной сети. Группа серверов обладает большей надежностью и большей производительностью, чем один сервер. Объединение серверов в один ресурс происходит на уровне программных протоколов.

В отличие от аппаратного кластера компьютеров, кластеры организуемые программно, требуют:

• наличия специального программного модуля (Cluster Manager), основной функцией которого является поддержание взаимодействия между всеми серверами — членами кластера:

• синхронизации данных между всеми серверами — членами кластера;
• распределение нагрузки (клиентских запросов) между серверами — членами кластера;

от умения клиентского программного обеспечения распознавать сервер, представляющий собой кластер серверов, и соответствующим образом обрабатывать команды от Cluster Manager;

если клиентская программа не умеет распознавать кластер, она будет работать только с тем сервером, к которому обратилась изначально, а при попытке Cluster Manager перераспределить запрос на другие серверы, клиентская программа может вообще лишиться доступа к этому серверу (результат зависит от конкретной реализации кластера).

Примеры программных кластерных решений

• IBM Lotus Notes
• HP MC/ServiceGuard

Применение [ править | править код ]

В большинстве случаев, кластеры серверов функционируют на раздельных компьютерах. Это позволяет повышать производительность за счёт распределения нагрузки на аппаратные ресурсы и обеспечивает отказоустойчивость на аппаратном уровне.

Однако, принцип организации кластера серверов (на уровне программного протокола) позволяет исполнять по нескольку программных серверов на одном аппаратном. Такое использование может быть востребовано:

• при разработке и тестировании кластерных решений;
• при необходимости обеспечить доступность кластера только с учётом частых изменений конфигурации серверов — членов кластера, требующих их перезагрузки (перезагрузка производится поочерёдно) в условиях ограниченных аппаратных ресурсов.

Самые производительные кластеры [ править | править код ]

Дважды в год организацией TOP500 публикуется список пятисот самых производительных вычислительных систем в мире, среди которых в последнее время часто преобладают кластеры. Самым быстрым кластером является IBM Roadrunner (Лос-Аламосская национальная лаборатория, США, созданный в 2008 году), его максимальная производительность (на июль 2008) составляет 1,026 Петафлопс. Самая быстрая система в Европе (на июль 2008) — суперкомпьютер, BlueGene/P находится в Германии, в исследовательском центре города Юлих, земля Северный Рейн-Вестфалия, максимально достигнутая производительность 167,3 Терафлопс.

Кластерные системы занимают достойное место в списке самых быстрых, при этом значительно выигрывая у суперкомпьютеров в цене. На июль 2008 года на 7 месте рейтинга TOP500 находится кластер SGI Altix ICE 8200 (Chippewa Falls, Висконсин, США).

Сравнительно дешёвую альтернативу суперкомпьютерам представляют кластеры, основанные на концепции Beowulf, которые строятся из обыкновенных недорогих компьютеров на основе бесплатного программного обеспечения. Один из практических примеров такой системы — Stone Soupercomputer в Национальной лаборатории Ок-Ридж (Теннесси, США, 1997).

Крупнейший кластер, принадлежащий частному лицу (из 1000 процессоров), был построен Джоном Козой (John Koza).

История [ править | править код ]

История создания кластеров неразрывно связана с ранними разработками в области компьютерных сетей. Одной из причин для появления скоростной связи между компьютерами стали надежды на объединение вычислительных ресурсов. В начале 1970-х годов группой разработчиков протокола TCP/IP и лабораторией Xerox PARC были закреплены стандарты сетевого взаимодействия. Появилась и операционная система Hydra для компьютеров PDP-11 производства DEC, созданный на этой основе кластер был назван C.mpp (Питтсбург, штат Пенсильвания, США, 1971 год). Тем не менее, только около 1983 года были созданы механизмы, позволяющие с лёгкостью пользоваться распределением задач и файлов через сеть, по большей части это были разработки в SunOS (операционной системе на основе BSD от компании Sun Microsystems).

Первым коммерческим проектом кластера стал ARCNet, созданный компанией Datapoint в 1977 году. Прибыльным он не стал, и поэтому строительство кластеров не развивалось до 1984 года, когда DEC построила свой VAXcluster на основе операционной системы VAX/VMS. ARCNet и VAXcluster были рассчитаны не только на совместные вычисления, но и совместное использование файловой системы и периферии с учётом сохранения целостности и однозначности данных. VAXCluster (называемый теперь VMSCluster) — является неотъемлемой компонентой операционной системы HP OpenVMS, использующих процессоры DEC Alpha и Itanium.

Два других ранних кластерных продукта, получивших признание, включают Tandem Hymalaya (1994, класс HA) и IBM S/390 Parallel Sysplex (1994).

История создания кластеров из обыкновенных персональных компьютеров во многом обязана проекту Parallel Virtual Machine. В 1989 году это программное обеспечение для объединения компьютеров в виртуальный суперкомпьютер открыло возможность мгновенного создания кластеров. В результате суммарная производительность всех созданных тогда дешёвых кластеров обогнала по производительности сумму мощностей «серьёзных» коммерческих систем.

Создание кластеров на основе дешёвых персональных компьютеров, объединённых сетью передачи данных, продолжилось в 1993 году силами Американского аэрокосмического агентства NASA, затем в 1995 году получили развитие кластеры Beowulf, специально разработанные на основе этого принципа. Успехи таких систем подтолкнули развитие grid-сетей, которые существовали ещё с момента создания UNIX.

Программные средства [ править | править код ]

Широко распространённым средством для организации межсерверного взаимодействия является библиотека MPI, поддерживающая языки C и Fortran. Она используется, например, в программе моделирования погоды MM5.

Операционная система Solaris предоставляет программное обеспечение Solaris Cluster, которое служит для обеспечения высокой доступности и безотказности серверов, работающих под управлением Solaris. Для OpenSolaris существует реализация с открытым кодом под названием OpenSolaris HA Cluster.

Среди пользователей GNU/Linux популярны несколько программ:

• distcc, MPICH и др. — специализированные средства для распараллеливания работы программ. distcc допускает параллельную компиляцию в GNU Compiler Collection.
• Linux Virtual Server, Linux-HA — узловое ПО для распределения запросов между вычислительными серверами.
• MOSIX, openMosix, Kerrighed, OpenSSI — полнофункциональные кластерные среды, встроенные в ядро, автоматически распределяющие задачи между однородными узлами. OpenSSI, openMosix и Kerrighed создают среду единой операционной системы между узлами.

Кластерные механизмы планируется встроить и в ядро DragonFly BSD, ответвившуюся в 2003 году от FreeBSD 4.8. В дальних планах также превращение её в среду единой операционной системы.

Компанией Microsoft выпускается HA-кластер для операционной системы Windows. Существует мнение, что он создан на основе технологии Digital Equipment Corporation, поддерживает до 16 (с 2010 года) узлов в кластере, а также работу в сети SAN (Storage Area Network). Набор API-интерфейсов служит для поддержки распределяемых приложений, есть заготовки для работы с программами, не предусматривающими работы в кластере.

Windows Compute Cluster Server 2003 (CCS), выпущенный в июне 2006 года разработан для высокотехнологичных приложений, которые требуют кластерных вычислений. Издание разработано для развертывания на множестве компьютеров, которые собираются в кластер для достижения мощностей суперкомпьютера. Каждый кластер на Windows Compute Cluster Server состоит из одного или нескольких управляющих машин, распределяющих задания и нескольких подчиненных машин, выполняющих основную работу. В ноябре 2008 года представлен Windows HPC Server 2008, призванный заменить Windows Compute Cluster Server 2003.

Novell Open Enterprise Server (OES) — сетевая операционная система, « сплав » Novell NetWare и SUSE Linux Enterprise Server; кроме прочего способная создавать смешанные кластеры, в которых ресурсы при сбое могут перемещаться с сервера NetWare на сервер Linux и наоборот.

Кластер — группа компьютеров, объединённых высокоскоростными каналами связи и представляющая с точки зрения пользователя единый аппаратный ресурс.

Один из первых архитекторов кластерной технологии Грегори Пфистер (Gregory F. Pfister) дал кластеру следующее определение: «Кластер — это разновидность параллельной или распределённой системы, которая:
состоит из нескольких связанных между собой компьютеров;
используется как единый, унифицированный компьютерный ресурс» .

Итак: берешь свитч (коммутатор) 1000 МБитсек 5-8 портов (стоит от 1000 рублей) . Покупаешь стандартные кабели (витую пару) c разъемом RJ-45 (проще купить готовые, если нужно всего 2-3, потому что обжимать еще нужно научиться, да и скримпер дорого стоит) .

Далее подключаешь компьютеры к свитчу. Ву-а-ля! Физически кластер готов (принципиально он не отличается от локалки) . Но тут получается самое интересное. Чтобы компьютеры решали одну задачу нужноустаноыить соответствующий софт.
Если задачи хостинга — то проблем нет, устанавливаешь бесплатную Ubuntu Server (погугли как синхронизировать) и все. А если нужно рендерить 3D, либо осуществлять сверхсложные расчеты — нужно устанавливать Windows Server и специальные софтины.
К тому же чтобы рендерилось хорошо — видеокарты нужны мощные.

В офисе валяется куча ненужных, рабочих системных блоков. Вот я и решил объединить их в единую вычислительную сеть, а по сути в обычный компьютер управляемый единой ОС, но представляющий собой 3+ системных блока.

Итог: Мне нужно что бы 5+ коробок работала как одна, при этом я не хочу управлять каждым серваком отдельно, моя цель единая машина состоящая физически из нескольких под управлением одной системы. Что она будет делать? Да что угодно, хоть пусть будет web сервером с ip в интернете или просто рабочей станцией Ubuntu или fedora

Картинка с сайта: windoro.ru

4 ответа 4

обычно решения строятся от задачи, а не от платформы

что конкретно вы хотите делать?

из личного опыта — анализ логов на биллинге, и ретарификация: делал ручным шардингом на уровне приложения (скрипты на Python), на пачке списанных десктопов, аккаунте на конторском IBM eServer, и паре десктопов под windows.

если у вас межсоединения на древнем 100mbit ethernet, а не как минимум 1G (не говоря уж о спецжелезе типа Infiniband) — дешевле будет пойти в магазин, купить самую поганую материнку и набить ее памятью под завязку, съэкономите на дорогом быстром 1G свитче и энергопотреблении

ваш вариант конфигурации может быть эффективен только в одном случае: все параллельные потоки полностью независиммы, и каждый блок задачи польностью влазит в ОЗУ и ресурсы одного узла, неплохо решаются вычислительные задачи с полным отсутствием зависимостей в архитектуре «одна нода — один расчетный блок»

с другой стороны, в качестве кластерной рабочей станции подобная утилизация вполне интересная и имеет право на жизнь, и может оказаться выигрышным вариантом: на рабочей станции активно не более 2-3 тяжелых задач, остальные ресурсы тратятся на хранение гигабайтных вкладок в браузере, текстовые редакторы и редкие пробежки утилит по файловой системе

Linux реализаций похоже нет:

так что решение задачи в оригинальной постановке сводится по факту к освоению системного программирования в полном объеме: написать аналог ядра Linux обеспечивающий весь необходимый функционал DOS, адаптировать базовые библиотеки в т.ч. из поставки копиляторов GNU (libc, libatomic, gomp. ) и пересобрать всю систему до состояния, когда сможет работать весь компплект ПО который вы используете

возможно более простым решением может оказаться написание слоя виртуализации: переписать только слой всех системных библиотек, который использует ваше прикладное ПО, с реализацией функционала distributed POSIX поверх обычных дистрибутивов, поставленных на каждый узел, или гипервизоров (желаю много весеслья с исходниками Xen и libgcc/libstdc++ 😎

с практической точки зрения:

• ищите задачи с минимальным объемом обмена данными между потоками, и
• пишите свое ПО: смотрите в сторону готовых распределенных платформ для веб/микросервисов, требующие для работы минимальных ресурсов
• перетаскивайте бизнес-процессы в вашей конторе на веб-технологии, чтобы можно было раздать хилое железо юзерам в качестве терминалов/запускалок браузеров

к сожалению, насколько знаю бесплатных реализаций распределенного Smalltalk не существует, а то бы в первую очередь посоветовал его — как вариант, искать библиотеки для программирования на распределенном обмене сообщениями между объектами для mainstream языков

Данная статья подойдёт для новичков, которые хотят потренироваться в настройке кластера Hyper-V 2019. Итак, имеется:

 — Тестовый комп1 «железный»

— Тестовый комп2 «железный»

— Тестовый комп3 «виртуальный» с Windows srv 2019 и настроенной ролью контроллера домена.

— Тестовый комп4 «железный» с расшаренным диском по протоколу iSCSI.

— Всё это соединено через обычный пассивный коммутатор.

 На тестовый комп1 установлена Windows Srv 2019 Standard Evaluation с графической оболочкой. На тестовый комп2 установлена Microsoft Hyper-V Server 2019 — данная ОС бесплатна и устанавливается как обычная Windows 10/2019. Скачать эту ОС можно с оф.сайта Microsoft:

 https://www.microsoft.com/ru-ru/evalcenter/evaluate-hyper-v-server-2019

 Собственно, на этой же странице можно скачать и Windows Srv 2019 Standard Evaluation. И если, после установки Windows Srv 2019 с графической оболочкой, вопросов о том, как ей пользоваться дальше, нету, то после установки Hyper-V Server 2019 могут возникнуть вопросы, что с этой ОС делать дальше. Ведь у Hyper-V Server 2019 графической оболочки нет. После установки есть лишь вот такое окно:

 Здесь можно сделать самые основные настройки: задать имя компьютера, прописать статический IP, включить доступ по RDP.

Для дальнейшего удобства администрирования данной ОС, я установлю пару инструментов. Первый из них — это банальный Total Commander portable, который я просто скопирую на диск C: с флэшки. Сделать это можно командой:

xcopy f:totalcmd c:totalcmd /y /e

Где f:totalcmd — это каталог с total командером на флэшке, а c:totalcmd — каталог, в который копирую.

Потом перехожу в этот каталог и запускаю тотал командер:

c:
cd c:totalcmd
totalcmd.exe

Дальше уже будет проще. Пользуясь тотал командером, нахожу каталог с драйверами и устанавливаю их.

Следующий инструмент, который облегчит администрирование Hyper-V Server 2019 — это WINDOWS ADMIN CENTER. Это вэб-админка от Microsoft, с помощью которой можно администрировать сервер через вэб-интерфейс. Некий аналог Webmin, но для Windows-систем. Скачать его можно на той же странице, где скачивались установочные образы операционных систем: 

https://www.microsoft.com/ru-ru/evalcenter/evaluate-windows-admin-center

Дистрибутив Windows админ центра можно тоже перенести через флэшку на сервер.

Установка данного программного обеспечения самая обычная, где все параметры можно оставить по умолчанию.

После установки Windows админ центра нужно зайти на сервер через обычный браузер по https протоколу:

https://192.168.0.206/

Сообщение безопасности нужно игнорировать, т.к. используется самоподписанный сертификат. Логин и пароль при подключении — это виндовый «администратор» с его паролем в самой ОС. Вот так выглядит Windows Admin Центр:

В списке серверов выбираю свой, который также стал шлюзом Windows AdminЦентра. Ну и подробно на всех возможностях останавливаться не буду, т.к. их много. Вэб-интерфейс хоть и тормозной, но довольно функциональный — через него можно будет управлять и виртуальными машинами в том числе. Или, например, если какие-то драйвера не установлены, то их можно доустановить уже через Windows AdminЦентр:

Я же пробую ввести данный сервер в домен. Жму на меню «Обзор» и затем на «Изменить идентификатор компьютера».

Ну а дальше, всё как обычно:

Сервер перезагрузится. После чего, в Windows Admin Центр рекомендуется войти уже под доменным администратором! Имя пользователя надо вводить в таком формате:

Ну и кстати, желательно бы установить обновления для Windows Admin Центра, если они есть. Для этого надо нажать на шестерёнку и выбрать пункт «расширения». Ну и там дальше всё понятно будет:

Разобравшись с сервером на ОС Hyper-V Server 2019, сделаю всё то же самое и на сервере под управлением Windows Srv 2019 Standard Evaluation. Там уже всё делается в привычном виде — через графическую оболочку Windows. Установил драйверы, ввел сервер в домен AD — подробности этого всего описывать не буду.

Следующим шагом будет подключение сетевого диска iSCSI. Захожу в «Средства администрирования»:

И там выбираю Инициатор iSCSI:

При первом запуске выйдет сообщение о том, что служба iSCSI не запущена, и будет предложено запустить эту службу и включить её автозапуск при старте сервера. Ну а потом появится окно, в котором надо будет перейти на вкладку «Обнаружение» и нажать на кнопку «Обнаружить портал»:

Затем надо ввести IP-адрес сервера iSCSI:

В моём случае, этого будет достаточно. Но если iSCSI сервер требует пароль для подключения к себе, то надо нажать кнопку «Дополнительно» и там ввести этот пароль.

Далее, надо перейти на вкладку «Конечные объекты» и нажать кнопку «Подключить»:

В появившемся окне надо нажать на «ОК», после чего диск перейдёт в состояние «Подключено»:

Всё, это окно можно закрывать. Дальше надо зайти в диспетчер управления дисками, в котором отобразится подключенный iSCSI диск. Его надо проинициализировать и отформатировать в NTFS:

Сильно подробно это не буду расписывать. Уверен, что форматировать диск под NTFS умеют все ИТ-специалисты. После форматирования можно попробовать что-нибудь записать на него, чтобы убедиться в работоспособности диска.

Далее, этот же диск надо подключить на втором сервере под управлением Hyper-V Server 2019. На самом деле, там это всё делается точно также. Надо лишь в командной строке ввести:

iscsicpl

Появится точно такое же окно, как и на сервере с графической оболочкой:

Нужно проделать те же действия, что и на первом сервере. Но в диспетчер дисков заходить уже не нужно. Достаточно просто подключить диск по iSCSI.

Теперь снова перехожу к серверу под управлением Windows Srv 2019 Standard Evaluation, на котором нужно установить роль Hyper-V, а также роль Кластера. В диспетчере сервером жму «Добавить роли и компоненты»:

В первом шаге жму «далее», потом снова «далее», оставив на месте крыжик «Установка ролей или компонентов». Выбираю в списке свой сервер, который там пока один, жму «далее»:

Ставлю галку на Hyper-V и соглашаюсь с добавлением остальных компонентов по зависимостям:

Жму «далее». На следующем шаге, где уже предлагается выбрать компоненты, ставлю галку на «Отказоустойчивой кластеризации» и соглашаюсь с добавлением остальных компонентов по зависимостям:

Жму кнопку «Далее». На следующем шаге предлагается сразу создать виртуальный коммутатор, но я пока не буду. Создам его потом вручную. Просто жму «Далее».

На следующем шаге предлагается включить и выбрать протокол для динамической миграции. Однако внизу есть предупреждение, что если данный сервер будет членом кластера, то этого делать на надо. Поэтому ничего не трогаю и жму «далее».

Расположение по умолчанию дисков и конфигурации виртуальных машин тоже пока не трогаю. Эти значения надо менять уже после настройки кластера. Жму «далее», а затем «установить». Дожидаюсь окончания установки.

Теперь кое-какие компоненты надо установить на машине с Hyper-V Server 2019. Для этого открываю диспетчер серверов на машине с Windows Srv 2019 Standard Evaluation и жму «Добавить другие серверы для управления»:

В поле «Имя» ввожу имя компьютера машины Hyper-V Server 2019, жму «найти» и потом добавляю его в правый список. Жму «ОК»:

Потом жму «Добавить роли и компоненты» и на шаге, где предлагается выбрать сервер, выбираю машину с Hyper-V Server 2019:

На шаге с выбором ролей сервера ничего не трогаю и жму «далее». А вот на шаге выбора компонентов добавляю «Отказоустойчивую кластеризацию» и соглашаюсь с добавлением остальных компонентов по зависимостям:

Жму «далее» и «установить», дожидаюсь окончания установки.

Теперь надо создать кластер. На машине Windows Srv 2019 Standard Evaluation захожу в «средства администрирования» и выбираю «Диспетчер отказоустойчивости кластеров»:

В открывшемся окне жму «Создать кластер».

На первом шаге «Перед началом работы» жму «далее». А на следующем шаге выбираю, какие серверы будут членами кластера:

На следующем шаге предлагается выполнить проверочные тесты для выбранных серверов. Пусть выполнит. Оставляю «да» и жму «далее».

Откроется дополнительный мастер с вопросом, какие тесты выполнить. Оставляю «Выполнить все тесты» и жму «далее».

Запускается тестирование, жду его окончания:

У меня тестирование нашло ошибки, которые я и предполагал, что будут:

Да, действительно, у меня тестовые компы на разных процессорах. Один на Intel Xeon 2620 v3, а второй на AMD FX 8350. Но других компов у меня нет, да и это лишь тестовая установка. Сеть у меня тоже одна, хотя рекомендуется иметь выделенную сеть для соединения с дисками iSCSI. Ну и разные версии операционных систем я выбрал нарочно — хочу посмотреть, как оно будет работать именно в таком варианте. Повторюсь, что установка тестовая, в домашних условиях и лишь для ознакомления. Для продакшена надо делать следуя рекомендациям Microsoft.

После тестов появляется следующий шаг, на котором надо задать имя кластера и указать его IP-адрес:

Жму «далее». Здесь тоже жму «далее»:

После создание кластера появится такое окно:

Иии… Сразу обращаю внимание, что есть какие-то ошибки.

Смотрю их подробнее: 

Ресурсу сетевого имени «Имя кластера» кластера не удалось зарегистрировать одно или несколько связанных DNS-имен по следующей причине:
Неверный раздел DNS.
Убедитесь, что сетевые адаптеры, связанные с зависимыми ресурсами IP-адресов, настроены для доступа хотя бы к одному DNS-серверу. 

И действительно на DNS-сервере запись о кластере не добавилась. Причину тому не знаю:

Но не страшно, добавляю эту запись вручную.

После создания кластера надо настроить для него параметры кворума. Что это за кворум, почитать можно тут: 

https://docs.microsoft.com/ru-ru/windows-server/storage/storage-spaces/understand-quorum

Вообще, мастер установки сделал правильно. Он под кворум забрал диск iSCSI. Но дело в том, что это мой единственный диск iSCSI, который я хочу использовать под виртуальные машины, а не под кворум. Кворум можно разместить в обычной сетевой папке. Поэтому захожу вот сюда:

Там выбираю «Выбрать свидетель кворума»:

И дальше выбираю «Настроить файловый ресурс-свидетель»:

И указываю сетевую папку:

Потом жму везде «далее».

Важно! В правах доступа к этому каталогу должны быть указаны не только администраторы, но и сам кластер:

Добавить его можно, включив галку «Компьютеры» вот тут:

После того, как диск высвободился из-под кворума, добавляю его в общие тома кластера:

Теперь надо добавить виртуальный коммутатор на обе машины. Важно, чтобы виртуальные коммутаторы имели одинаковое название. Создать их можно как через оснастку на Windows Srv 2019 Standard Evaluation, так и через Windows Admin Center. Я, ради интереса, создам виртуальный коммутатор на машине с Windows Srv 2019 Standard Evaluation через Windows Admin Center. А виртуальный коммутатор на машине с Hyper-V Server 2019 создам через оснастку на Windows Srv 2019 Standard Evaluation.

Итак, захожу в Windows Admin Center и выбираю «Диспетчер кластеров»:

Потом жму «Добавить»:

И справа будет предложено ввести имя кластера, а также учётные данные для подключения к нему. Заполняю и жму «Подключитесь с помощью учётной записи»:

Потом жму «Добавить»:

Теперь вижу кластер в списке хостов для управления через Windows Admin Center. Выбираю его:

Ну а там перехожу в меню «Виртуальные коммутаторы» и жму «Создать».

Ну а там дальше выбираю узел, задаю название коммутатора и тип выбираю ему внешний. Жму создать.

Во время создания виртуального коммутатора отвалится ненадолго связь с машиной, на которой он создаётся. Потом он отобразится в списке виртуальных коммутаторов:

Теперь создам виртуальный коммутатор для машины с Hyper-V Server 2019, но через оснастку на машине Windows Srv 2019 Standard Evaluation. Открываю «Средства администрирования» и выбираю оснастку «Диспетчер Hyper-V»:

Там выбираю «Подключиться к серверу», пишу его имя и жму «ОК»:

Дальше захожу в «Диспетчер виртуальных коммутаторов»:

Выбираю внешний и жму «Создать виртуальный коммутатор»:

Задаю такое же имя, как и на первой машине, жму «ОК»:

Выйдет предупреждение, что связь с машиной потеряется на некоторое время. Соглашаюсь и жду завершения. После чего снова захожу в «Диспетчер виртуальных коммутаторов» и вижу, что коммутатор там появился:

Также его можно видеть и через Windows Admin Center:

Что ж, пришло время создать виртуальную машину. Я попробую что-нибудь лёгкое, например, виртуальную машину с Windows XP. Создаю:

Выбираю хост:

Задаю название машины и расположение её конфигурации. Каталог C:ClusterStoragevolume1 — это и есть тот самый iSCSI диск.

Далее предлагается выбрать поколение виртуальной машины. Для Windows XP надо выбирать первое поколение.

Оперативной памяти выделяю 1Гб, хватит сполна.

Далее настройка сети. Там выбираю виртуальный коммутатор komm1.

Дальше мастер предлагает сразу создать виртуальный диск для этой виртуальной машины. Для XP большой диск не нужен. Также указываю месторасположение диска — тоже на ресурсе iSCSI:

Жму «Далее». На следующем шаге предлагается выбрать установочный носитель с операционной системой. В моём случае, он лежит на флэшке, подключенной к серверу. Выбираю его:

Жму «далее», жму «готово» и получаю вот такую непонятную ошибку:

Не удалось создать виртуальную машину. Проблема оказалась в правах доступа файловой системы. Мастер не мог создать виртуальную машину, т.к. у него просто не было доступа в указанный каталог. Дал вот такие права, и виртуальная машина создалась:

Пробую запустить и установить Windows XP. Жму сначала «Запустить», а потом «Подключить»:

Началась установка Windows XP. Кстати, эту виртуальную машину видно и в Windows Админ Центре:

И от туда к ней тоже можно подключиться:

После установки в Windows XP даже мышь работать не будет. Чтобы всё заработало, надо установить службы интеграции. Установочный образ можно взять тут: 

https://disk.yandex.ru/d/b8dcTwIQerC-EQ/vmguest.iso

А затем подставить его в свойствах виртуальной машины вместо установочного образа Windows XP:

Это можно сделать даже при включённой виртуальной машине. Сработает автозапуск с виртуального CD, и интеграционные службы начнут сразу устанавливаться:

Потом установщик попросит перезагрузку. После перезагрузки Windows XP будет работать абсолютно нормально.

Теперь хочется проверить, как виртуальная машина будет переходить с одного узла на другой в кластере. Пробую запустить динамическую миграцию на узел Hyper1:

И получаю ошибку. В подробных сведениях написано вот что:

Собственно, это то, о чём и предупреждал мастер создания кластера на этапе тестирования. Невозможно произвести динамическую миграцию от узла с процессором Intel на узел с процессором AMD. И наоборот — тоже нельзя. Но зато можно это сделать, завершив работу виртуальной машины. Пробую. Работу Windows XP завершил и теперь пробую сделать быструю миграцию (меню динамической миграции уже неактивно):

На этот раз всё успешно, виртуальная машина переместилась на узел Hyper1. Пробую запустить:

Работает. Пробую теперь погасить сервер Hyper2. Виртуальная машина с Windows XP осталась работать при этом:

На этом можно и заканчивать статью. Конечно, для продакшена такая настройка кластера не подойдёт. Но для ознакомления — вполне себе вариант. Так что, может кому и пригодится.

Донаты принимаются на кошельки:

Yoomoney:
4100118091867315

BTC:
bc1qzw9vam8mv6derwscxl0vrnd6m9t2rpjg273mna

ETH / BNB BSC / Polygon MATIC:
0x5cc07FF76490350ac6112fbFdA1B545Bc794602F

Tron:
TJUz8sJr9XYMjVqzmFNnCzzRWfPa57X2RV

USDT/USDC в сетях ETH/BSC/Polygon:
0x5cc07FF76490350ac6112fbFdA1B545Bc794602F

USDT в сети TRX (Tron):
TJUz8sJr9XYMjVqzmFNnCzzRWfPa57X2RV

LTC:
LRMZaFCSyCT6FUF62WEX1BokWV7v2dh2zo

Doge:
DTEnGLZRps9XaWNtAhchJWSeD4uTNDRxg7

XMR:
4A6uP1WxEc7HktToZFyiJuK6YmjdL8bSn2aY653qPwABhT4Y56iFuedgHcmpvLwWE55u8qkjGc715ZJs761FqedA8gkgznr

TON:
UQAdSPiWIDx2Q1VIeezkUV3s4sNlZM90w2ohSO6bD2-okwgY

Применяется к: Windows Admin Center, ознакомительная версия Windows Admin Center

Управление отказоустойчивыми кластерами

отказоустойчивая кластеризация — это Windows серверная функция, которая позволяет группировать несколько серверов в отказоустойчивый кластер, чтобы повысить доступность и масштабируемость приложений и служб, таких как Scale-Out файлового сервера, Hyper-V и Microsoft SQL Server.

хотя можно управлять узлами отказоустойчивого кластера как отдельными серверами, добавляя их в качестве подключений к серверу в Windows центре администрирования, их также можно добавить в качестве отказоустойчивых кластеров для просмотра ресурсов кластера, хранилища, сети, узлов, ролей, виртуальных машин и виртуальных коммутаторов и управления ими.

добавление отказоустойчивого кластера в центр администрирования Windows

чтобы добавить кластер в центр администрирования Windows, выполните следующие действия.

Кластер будет добавлен в список подключений на странице обзора. Щелкните его, чтобы подключиться к кластеру.

можно также управлять кластером с поддержкой hyper-in, добавив кластер в качестве подключения к кластеру с технологией hyper- in в центре администрирования Windows.

Инструменты

Для подключений к отказоустойчивому кластеру доступны следующие средства.

Средство	Описание
Обзор	Просмотр сведений о отказоустойчивом кластере и управление ресурсами кластера
Диски	Просмотр общих дисков и томов кластера
Сети	Просмотр сетей в кластере
Узлы	Просмотр узлов кластера и управление ими
Роли	Управление ролями кластера или создание пустой роли
Обновления	Управление обновлениями Cluster-Aware (требуется CredSSP)
Виртуальные машины	Просмотр виртуальных машин и управление ими
Виртуальные коммутаторы	Просмотр виртуальных коммутаторов и управление ими

Ожидается

управление отказоустойчивыми кластерами в Windows центре администрирования активно разрабатывается, а новые функции будут добавлены в ближайшем будущем. Вы можете просмотреть состояние и проголосовать за функции в UserVoice:

Источник

Средства администрирования удаленного сервера (RSAT) для Windows

RSAT позволяет ИТ-администраторам удаленно управлять ролями и функциями в Windows Server с компьютера с Windows 10 и Windows 7 Пакет обновления 1.

Применяется к: Windows 10 версии 1909, Windows 10, версии 1903, Windows 10, версия 1809, Windows 7 Пакет обновления 1, Windows Server 2019, Windows Server 2012 R2
Исходный номер КБ: 2693643

Введение

Вы не можете установить RSAT на компьютерах, на которые запущены домашние или стандартные выпуски Windows. Установить RSAT можно только Professional Enterprise или Windows клиентской операционной системы. Если на странице загрузки не будет конкретно оговаривать, что RSAT применяется к бета-версии, предварительному просмотру или другой версии Windows, необходимо запускать полный (RTM) выпуск операционной системы Windows для установки и использования RSAT. Некоторые пользователи нашли способы ручного взлома или взлома MSU RSAT для установки RSAT на неподтверждеченных выпусках или выпусках Windows. Это поведение является нарушением соглашения Windows лицензии конечного пользователя.

Установка RSAT аналогична установке Adminpak.msi в Windows 2000 или Windows на основе XP-клиентских компьютеров. Однако существует одно серьезное отличие: в Windows 7 средства не будут автоматически доступны после загрузки и установки RSAT. Включить средства, которые необходимо использовать с помощью панели управления. Чтобы включить инструменты, нажмите кнопку Начните, нажмите панель управления, щелкните Программы и функции, а затем нажмите кнопку Включить Windows или отключить.

В выпусках RSAT для Windows 10 средства снова включены по умолчанию. Вы можете открыть функции Windows включить или отключить, чтобы отключить средства, которые вы не хотите использовать для Windows 7.

Для RSAT Windows 7 необходимо включить инструменты для ролей и функций, которыми вы хотите управлять после запуска загруженного пакета установки.

Вы не можете сделать следующие изменения для RSAT в Windows 8 или более поздних версиях.

Если вам необходимо установить средства управления в Windows Server 2012 R2 для определенных ролей или функций, которые работают на удаленных серверах, вам не нужно устанавливать дополнительное программное обеспечение. Начните мастер добавления ролей и функций в Windows Server 2012 R2 и более поздних версиях. Затем на странице Выбор функций развяйте средства администрирования удаленных серверов и выберите инструменты, которые необходимо установить. Выполните мастер, чтобы установить средства управления.

Расположение загрузки для RSAT

RSAT для Windows 10 платформы и средств поддержки матрицы

Технология средств администрирования удаленных серверов	Описание	Управление технологиями в Windows Server 2012 R2	Управление технологиями в Windows Server 2016 и Windows Server 2012 R2
Инструменты active Directory Certificate Services (AD CS)	Инструменты AD CS включают в себя управление сертификацией, шаблоны сертификатов, Enterprise PKI и оснастку управления сетевыми ответами.	√	√
Средства active Directory Domain Services (AD DS) и средства active Directory Lightweight Directory Services (AD LDS)	Инструменты AD DS и AD LDS включают следующие средства:

Средства GUI поддерживают Windows Server 2016 и Windows Server 2012 R2. Только средства PowerShell работают в Windows Server 2012. Инструменты служб файлов Инструменты служб файлов включают в себя следующие средства:

Оснастка Share и служба хранилища управления после выпуска Windows Server 2016. служба хранилища Реплика является новой Windows Server 2016 технической версии и не будет работать в Windows Server 2012 R2. Инструменты управления групповой политикой Инструменты управления групповой политикой включают консоль управления групповой политикой, редактор управления групповой политикой и редактор GPO для начала групповой политики. √ √

Group Policy содержит некоторые новые функции Windows Server 2016 предварительного просмотра, недоступные в старых операционных системах. Hyper-V средства Hyper-V средства включают Hyper-V manager snap-in и средство удаленного доступа к виртуальной машине. Hyper-V не являются частью средств администрирования удаленного сервера для Windows 10. Эти средства доступны в рамках Windows 10. Для использования этих средств не нужно устанавливать RSAT. Консоль Hyper-V manager для Windows Server 2016 технического просмотра не поддерживает управление серверами Hyper-V server 2008 или Server 2008 R2. Hyper-V в Windows 10 может управлять Hyper-V в Windows Server 2012 R2. управление IP-адресами (IPAM) средства управления управление IP-адресами клиентская консоль √

IPAM средства в средствах администрирования удаленного сервера для Windows 10 не могут использоваться для управления IPAM в Windows Server 2012 R2. √

IPAM средства в средствах администрирования удаленного сервера для Windows 10 не могут использоваться для управления IPAM в Windows Server 2012 R2. Командная группа сетевого адаптер или командная группа NIC Консоль управления NIC Teaming √ √ Контроллер сети Модуль PowerShell контроллера сети Недоступно √ Средства балансировки сетевых нагрузок Средства балансировки сетевых нагрузок включают диспетчер балансировки нагрузки сети, командлеты Windows PowerShell нагрузки и средстваNLB.exeи WLBS.exe командной строки. √ √ Средства удаленного рабочего стола Средства удаленного рабочего стола включают в себя следующие средства:
— Удаленные оснастки настольных компьютеров
— Диспетчер шлюзов RD
— tsgateway.msc
— Менеджер по лицензированию RD
— licmgr.exe
— Диагностика лицензий RD
— lsdiag.msc

Используйте Server Manager для администрирования всех других служб ролей RDS, кроме RD Gateway и RD Licensing. √ √ Сервер для инструментов NIS Средства server for NIS включают расширение для оснастки пользователей и компьютеров Active Directory и средства Ypclear.exeкомандной строки Эти средства недоступны в RSAT для Windows 10 и более поздних выпусков. Диспетчер серверов Диспетчер сервера включает консоль Server Manager.

Удаленное управление с помощью диспетчера сервера доступно в Windows Server 2016 предварительной версии, Windows Server 2012 R2 и Windows Server 2012. √ √ Средства сервера простого протокола передачи почты (SMTP) Средства SMTP Server включают оснастку SMTP. Эти средства недоступны в RSAT для Windows 8 и более поздних выпусков. Обозреватель службы хранилища средства Обозреватель службы хранилища средства включают Обозреватель службы хранилища оснастку. Эти средства недоступны в RSAT для Windows 8 и более поздних выпусков. служба хранилища Диспетчер средств служба хранилища area Network (SAN) служба хранилища Диспетчер для инструментов SAN включает служба хранилища диспетчера оснастки SAN и Provisionstorage.exe командной строки. Эти средства недоступны в RSAT для Windows 8 и более поздних выпусков. Активация тома Управление активацией тома, vmw.exe √ √ Windows Средства system Resource Manager Windows Средства system Resource Manager включают Windows system Resource Manager и средство Wsrmc.exeкомандной строки. √

WSRM был обесцениваться в Windows Server 2012 R2. Средства для управления WSRM недоступны в RSAT для Windows 8.1 и более поздних выпусков RSAT. Windows Server Update Services средства Windows Server Update Services средства включают Windows Server Update Services, WSUS.msc и PowerShell. √ √

RSAT для Windows 10, версия 1809 или более поздних версий

Вы не можете использовать функции Windows в диалоговом окте и вне панели управления

Установка RSAT Tools для Windows 10 версии 1809 и более поздней версии немного отличается от предыдущих версий. RSAT теперь является частью операционной системы, которая может быть установлена с помощью необязательных функций.

Чтобы включить инструменты, нажмите кнопку Начните, нажмите кнопку Параметры, щелкните Приложения, а затем нажмите кнопку Необязательные функции, после чего щелкните на панели Добавить функцию и введите удаленный в панели поиска.

Источник

Обновление отказоустойчивых кластеров на том же оборудовании

Область применения: Windows Server 2022, Windows Server 2019, Windows Server 2016

Отказоустойчивый кластер — это группа независимых компьютеров, совместная работа которых позволяет повысить доступность приложений и служб. Кластерные серверы (называемые «узлы») соединены физическими кабелями и программным обеспечением. При сбое на одном из узлов кластера его функции немедленно передаются другому узлу (этот процесс называется отработкой отказа). В службе можно столкнуться с минимальными нарушениями.

в этом руководстве описаны действия по обновлению узлов кластера до Windows Server 2019 или Windows Server 2016 из более ранней версии с помощью одного и того же оборудования.

Обзор

обновление операционной системы в существующем отказоустойчивом кластере поддерживается только при переходе с Windows Server 2016 на Windows 2019. если отказоустойчивый кластер работает под управлением более ранней версии, например Windows Server 2012 R2 и более ранних версий, обновление во время работы служб кластеров не позволит объединять узлы. При использовании одного и того же оборудования можно выполнить действия для его получения в более новую версию.

перед обновлением отказоустойчивого кластера обратитесь к содержимому обновления Windows Server. при обновлении Windowsного сервера вы перейдете из существующего выпуска операционной системы в более новый выпуск с тем же оборудованием. Windows Сервер можно обновить по крайней мере на одном месте, а иногда на две версии вперед. например, Windows Server 2012 R2 и Windows Server 2016 можно обновить на месте до Windows Server 2019. Также помните, что Мастер миграции кластера можно использовать, но поддерживается только до двух версий. на следующем рисунке показаны варианты обновления для сервера Windows. направленные вниз стрелки представляют поддерживаемый путь обновления, перемещающийся с более ранних версий до Windows Server 2019.

ниже приведен пример перехода с сервера отказоустойчивого кластера Windows Server 2012 на Windows server 2019 с помощью одного и того же оборудования.

Перед началом обновления убедитесь, что текущая резервная копия, включая состояние системы, выполнена. Также убедитесь, что все драйверы и встроенное по были обновлены до сертифицированных уровней используемой операционной системы. Эти две заметки не будут рассматриваться здесь.

В приведенном ниже примере имя отказоустойчивого кластера — CLUSTER, а имена узлов — NODE1 и NODE2.

Шаг 1. исключение первого узла и обновление до Windows Server 2016

В диспетчер отказоустойчивости кластеров прервать все ресурсы из NODE1 в NODE2, щелкнув правой кнопкой мыши узел и выбрав пункт приостановить и очистить роли. Кроме того, можно использовать команду PowerShell Suspend-CLUSTERNODE.

стока.» data-linktype=»relative-path»/>

Чтобы исключить NODE1 из кластера, щелкните узел правой кнопкой мыши и выберите пункт » Дополнительные действия » и » исключить«. Кроме того, можно использовать команду PowerShell Remove-CLUSTERNODE.

«исключить».» data-linktype=»relative-path»/>

В качестве меры предосторожности отсоедините NODE1 от хранилища, которое вы используете. В некоторых случаях будет достаточно отключать кабели хранилища от компьютера. При необходимости обратитесь к поставщику хранилища за правильными шагами отсоединения. В зависимости от хранилища это может быть необязательно.

Перестройте NODE1 с Windows Server 2016. Убедитесь, что добавлены все необходимые роли, компоненты, драйверы и обновления для системы безопасности.

Создайте новый кластер с именем CLUSTER1 и NODE1. Откройте диспетчер отказоустойчивости кластеров и в области управления выберите создать кластер и следуйте инструкциям мастера.

После создания кластера роли потребуется перенести из исходного кластера в этот новый кластер. В новом кластере щелкните правой кнопкой мыши имя кластера (CLUSTER1) и выберите пункт Дополнительные действия и скопируйте роли кластера. Следуйте указаниям мастера, чтобы перенести роли.

копирования кластера».» data-linktype=»relative-path»/>

После переноса всех ресурсов выключите NODE2 (исходный кластер) и отключите хранилище, чтобы не вызывать помех. Подключение хранилище NODE1. После подключения Подключите все ресурсы к сети и убедитесь, что они работают должным образом.

шаг 2. перестроение второго узла на Windows Server 2019

убедившись, что все работает правильно, NODE2 можно перестраивать в Windows Server 2019 и присоединить к кластеру.

выполните чистую установку Windows Server 2019 на NODE2. Убедитесь, что добавлены все необходимые роли, компоненты, драйверы и обновления для системы безопасности.

Теперь, когда исходный кластер (кластер) утерян, можно оставить новое имя кластера CLUSTER1 или вернуться к исходному имени. Если вы хотите вернуться к исходному имени, выполните следующие действия.

а. В NODE1 в диспетчер отказоустойчивости кластеров правой кнопкой мыши щелкните имя кластера (CLUSTER1) и выберите Свойства.

b. На вкладке Общие переименуйте кластер в кластер.

c. При нажатии кнопки ОК или применить вы увидите всплывающее диалоговое окно.

d. Служба кластеров будет остановлена, и ее необходимо будет запустить снова для завершения переименования.

В NODE1 откройте диспетчер отказоустойчивости кластеров. Щелкните правой кнопкой мыши узлы и выберите Добавить узел. Пройдите через мастер, добавив NODE2 в кластер.

Подключите хранилище к NODE2. Это может быть повторное подключение кабелей хранилища.

Остановите все ресурсы из NODE1 в NODE2, щелкнув правой кнопкой мыши узел и выбрав пункт приостановить и очистить роли. Кроме того, можно использовать команду PowerShell Suspend-CLUSTERNODE. Убедитесь, что все ресурсы находятся в сети и работают должным образом.

шаг 3. перестроение первого узла на Windows Server 2019

Исключите NODE1 из кластера и отключите хранилище от узла так, как было раньше.

перестройте или обновите NODE1 до Windows Server 2019. Убедитесь, что добавлены все необходимые роли, компоненты, драйверы и обновления для системы безопасности.

Повторно подключите хранилище и добавьте NODE1 обратно в кластер.

Переместите все ресурсы в NODE1 и убедитесь, что они переходят в режим «в сети» и работают по мере необходимости.

текущий функциональный уровень кластера остается в Windows 2016. обновите функциональный уровень до Windows 2019 с помощью команды PowerShell UPDATE-клустерфунктионаллевел.

теперь вы используете полнофункциональный отказоустойчивый кластер Windows Server 2019.

Источник

создание отказоустойчивого кластера

применимо к: Windows server 2022, Windows server 2019, Windows Server 2016, Windows Server 2012 R2 и Windows Server 2012

В этом разделе описывается, как создать отказоустойчивый кластер с помощью оснастки диспетчера отказоустойчивости кластеров или Windows PowerShell. В нем рассматривается типичное развертывание, при котором объекты-компьютеры для кластера и связанные с ним кластерные роли создаются в доменных службах Active Directory (AD DS). если вы развертываете дисковые пространства прямой кластер, см. раздел развертывание дисковые пространства direct. Сведения об использовании отказоустойчивого кластера в Azure Stack ХЦИ см. в статье создание Azure Stack хЦи.

Также можно развернуть кластер, отсоединенный Active Directory. Этот метод развертывания позволяет создать отказоустойчивый кластер без разрешений на создание объектов-компьютеров в AD DS или необходимости запрашивать эти объекты-компьютеры в AD DS. Он возможен только посредством Windows PowerShell и рекомендуется только в определенных сценариях. Дополнительные сведения см. в разделе о развертывании отсоединенного от Active Directory кластера.

Контрольный список: Создание отказоустойчивого кластера

Состояние	Задача	Справочник
☐	Проверка предварительных требований	Проверьте предварительные требования.
☐	Установка средства отказоустойчивости кластеров на всех серверах, которые необходимо добавить как узлы кластера	Установка средства отказоустойчивости кластеров
☐	Запуск мастера проверки кластеров для проверки конфигурации	Проверка конфигурации
☐	Запуск мастера создания кластера для создания отказоустойчивого кластера	Создание отказоустойчивого кластера.
☐	Создание кластерных ролей для размещения рабочих нагрузок кластера	Создание кластерных ролей

Проверка предварительных требований

Перед началом работы проверьте выполнение следующих необходимых условий.

Кроме того, проверьте выполнение указанных ниже требований к учетным записям.

это требование не применяется, если требуется создать Active Directory отсоединенный кластер в Windows Server 2012 R2. Дополнительные сведения см. в разделе о развертывании отсоединенного от Active Directory кластера.

Установка средства отказоустойчивости кластеров

Средство отказоустойчивости кластеров необходимо установить на всех серверах, которые будут добавлены как узлы отказоустойчивого кластера.

Установка средства отказоустойчивости кластеров

Запустите диспетчер серверов.

В меню Управление выберите команду Добавить роли и компоненты.

На странице перед началом выполнения нажмите кнопку Далее.

На странице Выбор типа установки выберите Установка на основе ролей или компонентов, а затем нажмите кнопку Далее.

На странице Выбор целевого сервера выберите сервер, на котором требуется установить компонент, и нажмите кнопку Далее.

На странице Выбор ролей сервера щелкните Далее.

На странице Выбор компонентов установите флажок Отказоустойчивая кластеризация.

Чтобы установить средства управления отказоустойчивыми кластерами, выберите Добавить компоненты, а затем нажмите кнопку Далее.

На странице Подтверждение выбранных вариантов установки нажмите кнопку установить.
После установки средства отказоустойчивости кластеров не нужно перезапускать сервер.

После завершения установки нажмите кнопку Закрыть.

Повторите эту процедуру на каждом сервере, который необходимо добавить как узел отказоустойчивого кластера.

После установки средства отказоустойчивости кластеров рекомендуется применить последние обновления из Центра обновления Windows. кроме того, для отказоустойчивого кластера на основе Windows Server 2012 ознакомьтесь с рекомендуемыми исправлениями и обновлениями для отказоустойчивых кластеров на основе Windows Server 2012 служба поддержки Майкрософт статье и установите все применимые обновления.

Проверка конфигурации

Перед созданием отказоустойчивого кластера настоятельно рекомендуется проверить конфигурацию, чтобы убедиться в том, что оборудование и его настройки совместимы с отказоустойчивой кластеризацией. Корпорация Майкрософт поддерживает кластерное решение, только если конфигурация прошла все проверочные тесты и все оборудование сертифицировано для версии Windows Server, под управлением которой работают узлы кластера.

Для выполнения всех тестов необходимы по крайней мере два узла. Если имеется только один узел, выполнение многих важных тестов хранилища невозможно.

Выполнение тестов проверки кластера

На компьютере, на котором установлены средства управления отказоустойчивыми кластерами из средств удаленного администрирования сервера, или на сервере, на котором установлено средство отказоустойчивости кластеров, запустите диспетчер отказоустойчивости кластеров. Чтобы сделать это на сервере, запустите диспетчер сервера, а затем в меню Сервис выберите Диспетчер отказоустойчивости кластеров.

В области Диспетчер отказоустойчивости кластеров в разделе Управление выберите проверить конфигурацию.

На странице Перед началом работы нажмите кнопку Далее.

На странице Параметры тестирования выберите выполнить все тесты (рекомендуется), а затем нажмите кнопку Далее.

На странице Подтверждение нажмите кнопку Далее.

На странице «Проверка» показано состояние выполняющихся тестов.

На странице Сводка выполните одно из указанных ниже действий.

Подробнее о проверочных тестах оборудования см. в разделе Проверка оборудования для отказоустойчивого кластера.

Создание отказоустойчивого кластера.

Чтобы выполнить это действие, убедитесь в том, что учетная запись пользователя, с помощью которой вы вошли в систему, соответствует требованиям, указанным в подразделе Проверка предварительных требований этого раздела.

Запустите диспетчер серверов.

В меню Сервис выберите Диспетчер отказоустойчивости кластеров.

В области Диспетчер отказоустойчивости кластеров в разделе Управление выберите создать кластер.

Откроется мастер создания кластеров.

На странице Перед началом работы нажмите кнопку Далее.

Если вы решили создать кластер сразу после выполнения проверки в процедуре Проверка конфигурации, страница Выбор серверов не отображается. Проверенные узлы автоматически добавляются в мастер создания кластеров, так что вводить их еще раз не нужно.

Если ранее вы пропустили проверку, появится страница Предупреждение проверки. Настоятельно рекомендуется выполнить проверку кластера. Корпорация Майкрософт поддерживает только те кластеры, которые прошли все проверочные тесты. Чтобы выполнить проверочные тесты, выберите Да, а затем нажмите кнопку Далее. Завершите работу мастера проверки конфигурации, как описано в разделе Проверка конфигурации.

На странице Точка доступа для администрирования кластера выполните указанные ниже действия.

В поле Имя кластера введите имя, которое необходимо использовать для администрирования кластера. Перед этим изучите приведенную ниже информацию.

Если на сервере нет сетевого адаптера, настроенного на использование DHCP, для отказоустойчивого кластера необходимо настроить один или несколько статических IP-адресов. Установите флажок напротив каждой сети, которую необходимо использовать для управления кластером. Выберите поле адреса рядом с выбранной сетью, а затем введите IP-адрес, который нужно назначить кластеру. Этот IP-адрес (или адреса) будет связан с именем кластера в службе доменных имен (DNS).

если вы используете Windows Server 2019, у вас есть возможность использовать имя распределенной сети для кластера. Имя распределенной сети использует IP-адреса рядовых серверов вместо использования выделенного IP-адреса для кластера. по умолчанию Windows использует имя распределенной сети, если обнаруживает, что вы создаете кластер в Azure (поэтому вам не нужно создавать внутренний балансировщик нагрузки для кластера) или обычный статический или IP-адрес, если вы работаете в локальной среде. Дополнительные сведения см. в разделе имя распределенной сети.

Просмотрите параметры на странице Подтверждение. По умолчанию установлен флажок Добавление всех допустимых хранилищ в кластер. Снимите его в указанных ниже случаях.

Имейте в виду, что на успешную репликацию имени кластера в службе DNS может потребоваться некоторое время. После успешной регистрации и репликации DNS при выборе всех серверов в Диспетчер сервера имя кластера должно быть указано как сервер с состоянием управляемости в сети.

После создания кластера можно выполнить такие действия, как проверка конфигурации кворума кластера и создание общих томов кластера — CSV (необязательно). дополнительные сведения см. в разделе понимание кворума в дисковые пространства Direct и использование общих томов кластера в отказоустойчивом кластере.

Создание кластерных ролей

После создания отказоустойчивого кластера можно создать кластерные роли для размещения кластерных рабочих нагрузок.

Для кластерных ролей, требующих точки доступа клиента, в доменных службах Active Directory создается виртуальный объект-компьютер (VCO). По умолчанию все объекты VCO для кластера создаются в том же контейнере или подразделении, что и объект CNO. Имейте в виду, что после создания кластера объект CNO можно переместить в любое подразделение.

Вот как можно создать кластерную роль:

Чтобы на каждом узле отказоустойчивого кластера установить роль или компонент, необходимый для кластерной роли, используйте диспетчер сервера или Windows PowerShell. Например, чтобы создать кластерный файловый сервер, установите роль файлового сервера на всех узлах кластера.

В таблице ниже приведены кластерные роли, которые можно настроить в мастере высокой доступности, и соответствующие роли или компоненты сервера, которые необходимо установить.

Кластерная роль	Необходимая роль или компонент
Сервер пространства имен	Пространства имен (часть роли файлового сервера)
Сервер пространства имен DFS	Роль DHCP-сервера
Координатор распределенных транзакций (DTC)	Нет
Файловый сервер	Роль файлового сервера
Универсальное приложение	Неприменимо
Универсальный сценарий	Неприменимо
Универсальная служба	Неприменимо
Брокер реплики Hyper-V	Роль Hyper-V
Целевой сервер iSCSI	Сервер цели iSCSI (часть роли файлового сервера)
iSNS-сервер	Компоненты службы iSNS-сервера
служба очередей сообщений	Компонент службы очереди сообщений
Другой сервер	Нет
Виртуальная машина	Роль Hyper-V
WINS-сервер	Компонент WINS-сервера

В диспетчер отказоустойчивости кластеров разверните узел имя кластера, щелкните правой кнопкой мыши элемент роли и выберите пункт настроить роль.

Для создания кластерной роли выполните последовательность действий, предлагаемую мастером высокой доступности.

Чтобы проверить, создана ли кластерная роль, на панели Роли убедитесь в том, что роль имеет состояние Выполняется. На панели «Роли» также указан узел владельца. Чтобы протестировать отработку отказа, щелкните правой кнопкой мыши роль, выберите пункт переместить, а затем выберите пункт выбрать узел. В диалоговом окне Перемещение кластерной роли выберите нужный узел кластера и нажмите кнопку ОК. В столбце Узел владельца убедитесь в том, что узел владельца изменился.

Создание отказоустойчивого кластера с помощью Windows PowerShell

следующие командлеты Windows PowerShell выполняют те же функции, что и предыдущие процедуры в этом разделе. Введите каждый командлет в отдельной строке, даже если кажется, что из-за ограничения возможностей форматирования они переносятся по словам на другую строку.

для создания Active Directory отсоединенного кластера в Windows Server 2012 R2 необходимо использовать Windows PowerShell. Информацию о синтаксисе см. в разделе Развертывание отсоединенного от Active Directory кластера.

В приведенном ниже примере устанавливается средство отказоустойчивости кластеров.

В приведенном ниже примере запускаются все проверочные тесты кластера на компьютерах с именами Server1 и Server2.

Командлет Test-Cluster выводит результаты в файл журнала в текущем рабочем каталоге. Например: C:Users AppDataLocalTemp.

В приведенном ниже примере создается отказоустойчивый кластер с именем MyCluster и узлами Server1 и Server2; ему присваивается статический IP-адрес 192.168.1.12, и в него добавляются все подходящие дисковые пространства.

В приведенном ниже примере создается такой же отказоустойчивый кластер, что и в предыдущем примере, но в него не добавляются подходящие дисковые пространства.

В приведенном ниже примере создается кластер с именем MyCluster в подразделении Cluster домена Contoso.com.

После создания отказоустойчивого кластера с отключенным AD создайте резервную копию сертификата с возможностью экспорта закрытого ключа. Откройте MMC = =>файл = =>добавить оснастку «Удалить» в = =>Certificates =>=>локальный компьютер = =>службы кластеров = =>Certificates = =>Клуссвкперсонал = =>выбор сертификата — щелкните правой кнопкой мыши = =>Export = =>далее = =>Да экспорт закрытого ключа = =>формат PfX = =>выбрать пароль или добавить группу = =>следующий = =>выберите путь, по которому нужно сохранить сертификат = =>далее = =>готово.

Источник

Введение

Кластер серверов – это группа независимых серверов под управлением службы кластеров, работающих совместно как единая система. Кластеры серверов создаются путем объединения нескольких серверов на базе Windows® 2000 Advanced Server и Windows 2000 Datacenter Server для совместной работы, обеспечивая тем самым высокий уровень доступности, масштабируемости и управляемости для ресурсов и приложений.

Задачей кластера серверов является обеспечение непрерывного доступа пользователей к приложениям и ресурсам в случаях аппаратных или программных сбоев или плановых остановках оборудования. Если один из серверов кластера оказывается недоступен по причине сбоя или его остановки для выполнения технического обслуживания, информационные ресурсы и приложения перераспределяются между остальными доступными узлами кластера.

Для кластерных систем использование термина «высокая доступность»
является более предпочтительным, чем использование термина «отказоустойчивость»
, поскольку технологии обеспечения отказоустойчивости предполагают более высокий уровень стойкости оборудования к внешним воздействиям и механизмов восстановления. Как правило, отказоустойчивые серверы используют высокую степень аппаратной избыточности, плюс в дополнение к этому специализированное программное обеспечение, позволяющее практически незамедлительно восстановить работу в случае любого отдельного сбоя программного или аппаратного обеспечения. Эти решения обходятся существенно дороже по сравнению с использованием кластерных технологий, поскольку организации вынуждены переплачивать за дополнительное аппаратное обеспечение, которое простаивает все основное время, и используется лишь в случае возникновения сбоев. Отказоустойчивые серверы используются для приложений, обслуживающих интенсивный поток дорогостоящих транзакций в таких сферах деятельности, как центры обработки платежных средств, банкоматы или фондовые биржи.

Хотя служба кластеров и не гарантирует безостановочной работы, она предоставляет высокий уровень доступности, достаточный для работы большинства критически важных приложений. Служба кластеров может отслеживать работу приложений и ресурсов, автоматически распознавая состояние сбоев и восстанавливая работу системы после их устранения. Это обеспечивает более гибкое управление рабочей нагрузкой внутри кластера, и повышает доступность системы в целом.

Основные преимущества, получаемые при использовании службы кластеров:

• Высокая доступность.
  В случае отказа какого-либо узла служба кластеров передает управление ресурсами, такими как, например, жесткие диски и сетевые адреса, действующему узлу кластера. Когда происходит программный или аппаратный сбой, программное обеспечение кластера перезапускает завершившееся с ошибкой приложение на действующем узле, или перемещает всю нагрузку отказавшего узла на оставшиеся действующие узлы. При этом пользователи могут заметить лишь кратковременную задержку в обслуживании.
• Возврат после отказа.
  Служба кластеров автоматически перераспределяет рабочую нагрузку в кластере, когда отказавший узел вновь становится доступным.
• Управляемость.
  Администратор кластера – это оснастка, которую Вы можете использовать для управления кластером как единой системой, а также для управления приложениями. Администратор кластера обеспечивает прозрачное представление работы приложений так, как если бы они выполнялись на одном сервере. Вы можете перемещать приложения на различные серверы в пределах кластера, перетаскивая объекты кластера мышью. Таким же образом можно перемещать данные. Этот способ может использоваться для ручного распределения рабочей нагрузки серверов, а также для разгрузки сервера и его последующей остановки с целью проведения планового технического обслуживания. Кроме того, Администратор кластера позволяет удаленно производить наблюдение за состоянием кластера, всех его узлов и ресурсов.
• Масштабируемость.
  Для того чтобы производительность кластера всегда могла соответствовать возрастающим требованиям, служба кластеров располагает возможностями масштабирования. Если общая производительность кластера становится недостаточной для обработки нагрузки, создаваемой кластерными приложениями, в кластер могут быть добавлены дополнительные узлы.

Этот документ содержит инструкции по установке службы кластеров на серверах, работающих под управлением Windows 2000 Advanced Server и Windows 2000 Datacenter Server, и описывает процесс установки службы кластеров на серверы кластерных узлов. Данное руководство не описывает установку и настройку кластерных приложений, а лишь помогает Вам пройти через весь процесс установки простого двухузлового кластера.

Системные требования для создания кластера серверов

Следующие контрольные списки помогут Вам произвести подготовку к установке. Пошаговые инструкции по установке будут представлены далее после этих списков.

Требования к программному обеспечению

• Операционная система Microsoft Windows 2000 Advanced Server или Windows 2000 Datacenter Server, установленная на всех серверах кластера.
• Установленная служба разрешения имен, такая как Domain Naming System (DNS), Windows Internet Naming System (WINS), HOSTS и т. д.
• Сервер терминалов для удаленного администрирования кластера. Данное требование не является обязательным, а рекомендуется лишь для обеспечения удобства управления кластером.

Требования к аппаратному обеспечению

• Требования, предъявляемые к аппаратному обеспечению узла кластера, аналогичны требованиям для установки операционных систем Windows 2000 Advanced Server или Windows 2000 Datacenter Server. Эти требования можно найти на странице поиска каталога Microsoft.
• Оборудование кластера должно быть сертифицировано и указано в списке совместимого аппаратного обеспечения (HCL) каталога Microsoft для службы кластеров. Последнюю версию этого списка можно на странице поиска Windows 2000 Hardware Compatibility List
  каталога Microsoft, выбрав категорию поиска «Cluster».

Два компьютера, удовлетворяющих требованиям списка HCL, каждый из которых имеет:

• Жесткий диск с загрузочным системным разделом и установленной операционной системой Windows 2000 Advanced Server или Windows 2000 Datacenter Server. Этот диск не должен быть подключен к шине общего запоминающего устройства, рассмотренного ниже.
• Отдельный PCI-контроллер устройств оптического канала (Fibre Channel) или SCSI для подключения внешнего общего запоминающего устройства. Этот контроллер должен присутствовать в дополнение к контроллеру загрузочного диска.
• Два сетевых PCI адаптера, установленных на каждом компьютере кластера.
• Перечисленное в списке HCL внешнее дисковое запоминающее устройство, подключенное ко всем узлам кластера. Оно будет выступать в качестве диска кластера. Рекомендуется конфигурация с использованием аппаратных RAID-массивов.
• Кабели для подключения общего запоминающего устройства ко всем компьютерам. Для получения инструкций по конфигурированию запоминающих устройств обратитесь к документации производителя. Если подключение производится к шине SCSI, Вы можете обратиться к приложению А для дополнительной информации.
• Все оборудование на компьютерах кластера должно быть полностью идентичным. Это упростит процесс конфигурирования и избавит Вас от потенциальных проблем с совместимостью.

Требования к настройке сетевой конфигурации

• Уникальное NetBIOS имя для кластера.
• Пять уникальных статических IP-адресов: два адреса для сетевых адаптеров частной сети, два – для сетевых адаптеров публичной сети, и один адрес для кластера.
• Доменная учетная запись для службы кластеров (все узлы кластера должны быть членами одного домена)
• Каждый узел должен иметь два сетевых адаптера – один для подключения к публичной сети, один – для внутрикластерного взаимодействия узлов. Конфигурация с использованием одного сетевого адаптера для одновременного подключения к публичной и частной сети не поддерживается. Наличие отдельного сетевого адаптера для частной сети необходимо для соответствия требованиям HCL.

Требования к дискам общего запоминающего устройства

• Все диски общего запоминающего устройства, включая диск кворума, должны быть физически подключены к общей шине.
• Все диски, подключенные к общей шине, должны быть доступны для каждого узла. Это можно проверить на этапе установки и конфигурирования хост-адаптера. Для подробных инструкций обратитесь к документации производителя адаптера.
• Устройствам SCSI должны быть назначены целевые уникальные номера SCSI ID, кроме этого на шине SCSI должны быть правильно установлены терминаторы, в соответствии с инструкциями производителя. 1
• Все диски общего запоминающего устройства должны быть настроены как базовые диски (не динамические)
• Все разделы дисков общего запоминающего устройства должны быть отформатированы в файловой системе NTFS.

Крайне рекомендуется объединять все диски общего запоминающего устройства в аппаратные RAID-массивы. Хотя это и не является обязательным, создание отказоустойчивых конфигураций RAID является ключевым моментом в обеспечении защиты от дисковых сбоев.

Установка кластера

Общий обзор установки

Во время процесса установки некоторые узлы будут выключены, а некоторые перезагружены. Это необходимо для того, чтобы обеспечить целостность данных, расположенных на дисках, подключенных к общей шине внешнего запоминающего устройства. Повреждение данных может произойти в тот момент, когда несколько узлов одновременно попытаются произвести запись на один и тот же диск, не защищенный программным обеспечением кластера.

Таблица 1 поможет Вам определить, какие узлы и запоминающие устройства должны быть включены на каждом этапе установки.

Это руководство описывает создание двухузлового кластера. Тем не менее, если Вы устанавливаете кластер с более чем двумя узлами, Вы можете использовать значение столбца «Узел 2»
для определения состояния остальных узлов.

Таблица 1. Последовательность включения устройств при установке кластера

Шаг	Узел 1	Узел 2	Устройство хранения	Комментарий
Установка параметров сети	Вкл.	Вкл.	Выкл.	Убедитесь, что все устройства хранения, подключенные к общей шине, выключены. Включите все узлы.
Настройка общих дисков	Вкл.	Выкл.	Вкл.	Выключите все узлы. Включите общее запоминающее устройство, затем включите первый узел.
Проверка конфигурации общих дисков	Выкл.	Вкл.	Вкл.	Выключите первый узел, включите второй узел. При необходимости повторите для узлов 3 и 4.
Конфигурирование первого узла	Вкл.	Выкл.	Вкл.	Выключите все узлы; включите первый узел.
Конфигурирование второго узла	Вкл.	Вкл.	Вкл.	После успешной конфигурации первого узла включите второй узел. При необходимости повторите для узлов 3 и 4.
Завершение установки	Вкл.	Вкл.	Вкл.	К этому моменту все узлы должны быть включены.

Перед установкой программного обеспечения кластеров необходимо выполнить следующие шаги:

• Установить на каждый компьютер кластера операционную систему Windows 2000 Advanced Server или Windows 2000 Datacenter Server.
• Настроить сетевые параметры.
• Настроить диски общего запоминающего устройства.

Выполните эти шаги на каждом узле кластера прежде, чем приступать к установке службы кластеров на первом узле.

Для конфигурирования службы кластеров на сервере под управлением Windows 2000 Ваша учетная запись должна иметь права администратора на каждом узле. Все узлы кластера должны быть одновременно либо рядовыми серверами, либо контроллерами одного и того же домена. Смешанное использование рядовых серверов и контроллеров домена в кластере недопустимо.

Установка операционной системы Windows 2000

Для установки Windows 2000 на каждом узле кластера обратитесь к документации, которую Вы получили в комплекте с операционной системой.

В этом документе используется структура имен из руководства «Step-by-Step Guide to a Common Infrastructure for Windows 2000 Server Deployment»
. Однако, Вы можете использовать любые имена.

Прежде, чем начинать установку службы кластеров, Вы должны выполнить вход систему под учетной записью администратора

Настройка сетевых параметров

Примечание:
На этом этапе установки выключите все общие запоминающие устройства, а затем включите все узлы. Вы должны исключить возможность одновременного доступа нескольких узлов к общему запоминающему устройству до того момента, когда служба кластеров будет установлена, по крайней мере, на одном из узлов, и этот узел будет включен.

На каждом узле должно быть установлено как минимум два сетевых адаптера – один для подключения к публичной сети, и один для подключения к частной сети, состоящей из узлов кластера.

Сетевой адаптер частной сети обеспечивает взаимодействие между узлами, передачу сведений о текущем состоянии кластера и управление кластером. Сетевой адаптер публичной сети каждого узла соединяет кластер с публичной сетью, состоящей из клиентских компьютеров.

Убедитесь, что все сетевые адаптеры правильно подключены физически: адаптеры частной сети подключены только к другим адаптерам частной сети, и адаптеры публичной сети подключены к коммутаторам публичной сети. Схема подключения изображена на Рисунке 1. Выполните такую проверку на каждом узле кластера, прежде чем переходить к настройке дисков общего запоминающего устройства.

Рисунок 1: Пример двухузлового кластера

Конфигурирование сетевого адаптера частной сети

Выполните эти шаги на первом узле Вашего кластера.

1. Мое сетевое окружение
   и выберите команду Свойства
   .
2. Щелкните правой кнопкой мыши на значке .

Примечание:
Какой сетевой адаптер будет обслуживать частную сеть, а какой публичную, зависит от физического подключения сетевых кабелей. В данном документе мы будем предполагать, что первый адаптер (Подключение по локальной сети) подключен к публичной сети, а второй адаптер (Подключение по локальной сети 2) подключен к частной сети кластера. В Вашем случае это может быть не так.

1. Состояние.
   Окно Состояние Подключение по локальной сети 2
   показывает состояние подключения и его скорость. Если подключение находится в отключенном состоянии, проверьте кабели и правильность соединения. Устраните проблему, прежде чем продолжить. Нажмите кнопку Закрыть
   .
2. Снова щелкните правой кнопкой мыши на значке Подключение по локальной сети 2
   , выберите команду Свойства
   и нажмите кнопку Настроить
   .
3. Выберите вкладку Дополнительно.
   Появится окно, изображенное на Рисунке 2.
4. Для сетевых адаптеров частной сети скорость работы должна быть выставлена вручную вместо значения, используемого по умолчанию. Укажите скорость Вашей сети в раскрывающемся списке. Не используйте значения «Auto Sense»
   или «Auto Select»
   для выбора скорости, поскольку некоторые сетевые адаптеры могут сбрасывать пакеты во время определения скорости соединения. Для задания скорости сетевого адаптера укажите фактическое значение для параметра Тип подключения
   или Скорость
   .

Картинка с сайта: windoro.ru

Рисунок 2: Дополнительные настройки сетевого адаптера

Все сетевые адаптеры кластера, подключенные к одной сети, должны быть одинаково настроены и использовать одинаковые значения параметров Дуплексный режим
, Управление потоком
, Тип подключения
, и т. д. Даже если на разных узлах используется различное сетевое оборудование, значения этих параметров должны быть одинаковыми.

1. Выберите Протокол Интернета (TCP/IP)
   в списке компонентов, используемых подключением.
2. Нажмите кнопку Свойства
   .
3. Установите переключатель в положение Использовать следующий IP-адрес
   и введите адрес 10.1.1.1
   . (Для второго узла используйте адрес 10.1.1.2
   ).
4. Задайте маску подсети: 255.0.0.0 .
   
5. Нажмите кнопку Дополнительно
   и выберите вкладку WINS.
   Установите значение переключателя в положение Отключить NetBIOS через TCP/IP
   . Нажмите OK
   для возврата в предыдущее меню. Выполняйте этот шаг только для адаптера частной сети.
   

Ваше диалоговое окно должно выглядеть, как изображено на Рисунке 3.

Картинка с сайта: windoro.ru

Рисунок 3: IP-адрес подключения к частной сети

Конфигурирование сетевого адаптера публичной сети

Примечание:
Если в публичной сети работает DHCP-сервер, IP-адрес для сетевого адаптера публичной сети может назначаться автоматически. Однако для адаптеров узлов кластера этот способ использовать не рекомендуется. Мы настоятельно рекомендуем назначать постоянные IP-адреса для всех публичных и частных сетевых адаптеров узлов. В противном случае при отказе DHCP-сервера доступ к узлам кластера может оказаться невозможным. Если же Вы вынуждены использовать DHCP для сетевых адаптеров публичной сети, используйте длительные сроки аренды адресов – это даст гарантию того, что динамически назначенный адрес останется действительным, даже если DHCP-сервер окажется временно недоступным. Адаптерам частной сети всегда назначайте постоянные IP-адреса. Помните, что служба кластеров может распознавать только один сетевой интерфейс в каждой подсети. Если Вам нужна помощь в вопросах назначения сетевых адресов в Windows 2000, обратитесь к встроенной справке операционной системы.

Переименование сетевых подключений

Для ясности мы рекомендуем изменить названия сетевых подключений. Например, Вы можете изменить название подключения Подключение по локальной сети 2
на . Такой метод поможет Вам проще идентифицировать сети и правильно назначать их роли.

1. Щелкните правой кнопкой мыши на значке 2.
   
2. В контекстном меню выберите команду Переименовать
   .
3. Введите Подключение к частной сети кластера
   в текстовом поле и нажмите клавишу ВВОД
   .
4. Повторите шаги 1-3 и измените название подключения Подключение по локальной сети
   на Подключение к публичной сети.
   

Рисунок 4: Переименованные сетевые подключения

1. Переименованные сетевые подключения должны выглядеть, как показано на Рисунке 4. Закройте окно Сеть и удаленный доступ к сети
   . Новые названия сетевых подключений автоматически реплицируются на другие узлы кластера при их включении.

Проверка сетевых соединений и разрешений имен

Для проверки работы настроенного сетевого оборудования, выполните следующие шаги для всех сетевых адаптеров каждого узла. Для этого Вы должны знать IP-адреса всех сетевых адаптеров в кластере. Вы можете получить эту информацию, выполнив команду ipconfig
на каждом узле:

1. Нажмите кнопку Пуск,
   выберите команду Выполнить
   и наберите команду cmd
   в текстовом окне. Нажмите OK
   .
2. Наберите команду ipconfig /all
   и нажмите клавишу ВВОД
   . Вы увидите информацию о настройке IP-протокола для каждого сетевого адаптера на локальной машине.
3. В случае, если у Вас еще не открыто окно командной строки, выполните шаг 1.
4. Наберите команду ping ipaddress
   где ipaddress
   – это IP-адрес соответствующего сетевого адаптера на другом узле. Предположим для примера, что сетевые адаптеры имеют следующие IP-адреса:

Номер узла	Имя сетевого подключения	IP-адрес сетевого адаптера
1	Подключение к публичной сети	172.16.12.12
1	Подключение к частной сети кластера	10.1.1.1
2	Подключение к публичной сети	172.16.12.14
2	Подключение к частной сети кластера	10.1.1.2

В этом примере Вам нужно выполнить команды ping 172.16.12.14
и ping 10.1.1.2
с узла 1, и выполнить команды ping 172.16.12.12
и ping
10.1.1.1
с узла 2.

Чтобы проверить разрешение имен, выполните команду ping
, используя в качестве аргумента имя компьютера вместо его IP-адреса. Например, чтобы проверить разрешение имени для первого узла кластера с именем hq-res-dc01, выполните команду ping hq-res-dc01
с любого клиентского компьютера.

Проверка принадлежности к домену

Все узлы кластера должны являться членами одного домена и иметь возможности сетевого взаимодействия с контроллером домена и DNS-сервером. Узлы могут быть сконфигурированы как рядовые сервера домена или как контроллеры одного и того же домена. Если Вы решите сделать один из узлов контроллером домена, то все остальные узлы кластера также должны быть сконфигурированы как контроллеры этого же домена. В этом руководстве предполагается, что все узлы являются контроллерами домена.

Примечание:
Для получения ссылок на дополнительную документацию по настройке доменов, служб DNS и DHCP в Windows 2000 смотрите раздел Связанные ресурсы
в конце этого документа.

1. Щелкните правой кнопкой мыши Мой компьютер
   и выберите команду Свойства
   .
2. Выберите вкладку Сетевая идентификация
   . В диалоговом окне Свойства системы
   Вы увидите полное имя компьютера и домена. В нашем примере домен называется reskit.com
   .
3. Если Вы сконфигурировали узел в качестве рядового сервера, то на этом этапе Вы можете присоединить его к домену. Нажмите кнопку Свойства
   и следуйте инструкциям для присоединения компьютера к домену.
4. Закройте окна Свойства системы
   и Мой компьютер
   .

Создание учетной записи службы кластеров

Для службы кластеров необходимо создать отдельную доменную учетную запись, от имени которой она будет запускаться. Программа установки потребует ввода учетных данных для службы кластеров, поэтому учетная запись должна быть создана до начала установки службы. Учетная запись не должна принадлежать какому-либо пользователю домена, и должна использоваться исключительно для работы службы кластеров.

1. Нажмите кнопку Пуск
   , выберите команду Программы / Администрирование
   , запустите оснастку .
2. Разверните категорию reskit.com
   , если она еще не развернута
3. В списке выберите Users
   .
4. Щелкните правой кнопкой мыши на Users
   , выберите в контекстном меню Создать
   , выберите Пользователь
   .
5. Введите имя для учетной записи службы кластера, как показано на Рисунке 5, и нажмите кнопку Далее.
   

Рисунок 5: Добавление пользователя Cluster

1. Установите флажки Запретить смену пароля пользователем
   и Срок действия пароля не ограничен
   . Нажмите кнопку Далее
   и кнопку Готово
   , чтобы создать пользователя.

Примечание:
Если Ваша административная политика безопасности не позволяет использовать пароли с неограниченным сроком действия, Вы должны будете обновить пароль и произвести конфигурацию службы кластеров на каждом узле до истечения срока его действия.

1. Щелкните правой клавишей мыши на пользователе Cluster
   в правой панели оснастки Active Directory – пользователи и компьютеры
   .
2. В контекстном меню выберите команду Добавить участников в группу
   .
3. Выберите группу Администраторы
   и нажмите OK
   . Теперь новая учетная запись имеет привилегии администратора на локальном компьютере.
4. Закройте оснастку Active Directory – пользователи и компьютеры
   .

Настройка дисков общего запоминающего устройства

Предупреждение:
Убедитесь, что, по крайней мере, на одном из узлов кластера установлена операционная система Windows 2000 Advanced Server или Windows 2000 Datacenter Server, а также настроена и работает служба кластеров. Только после этого можно загружать операционную систему Windows 2000 на остальных узлах. Если эти условия не будут выполнены, диски кластера могут быть повреждены.

Чтобы приступить к настройке дисков общего запоминающего устройства, выключите все узлы. После этого включите общее запоминающее устройство, затем включите узел 1.

Диск кворума

Диск кворума используется для хранения контрольных точек и файлов журнала восстановления базы данных кластера, обеспечивая управление кластером. Мы даем следующие рекомендации для создания диска кворума:

• Создайте небольшой раздел (размером как минимум 50 Мб), чтобы использовать его в качестве диска кворума. Обычно мы рекомендуем создавать диск кворума размером в 500 Мб.
• Выделите отдельный диск для ресурса кворума. Поскольку в случае выхода из строя диска кворума произойдет сбой работы всего кластера, мы настоятельно рекомендуем использовать аппаратный дисковый RAID-массив.

В процессе установки службы кластеров Вы будете должны назначить букву диску кворума. В нашем примере мы будем использовать букву Q
.

Конфигурирование дисков общего запоминающего устройства

1. Щелкните правой кнопкой мыши Мой компьютер
   , выберите команду Управление
   . В открывшемся окне раскройте категорию Запоминающие устройства
   .
2. Выберите команду Управление дисками
   .
3. Убедитесь, что все диски общего запоминающего устройства отформатированы в системе NTFS и имеют статус Основной
   . Если Вы подключите новый диск, автоматически запустится Мастер подписывания и обновления дисков
   . Когда мастер запустится, нажмите кнопку Обновить,
   чтобы продолжить его работу, после этого диск будет определен как Динамический
   . Чтобы преобразовать диск в базовый, щелкните правой кнопкой мыши на Диск #
   (где #
   – номер диска, с которым Вы работаете) и выберите команду Возвратить к базовому диску
   .

Щелкните правой кнопкой мыши область Не распределен
рядом с соответствующим диском.

1. Выберите команду Создать раздел
   
2. Запустится Мастер создания раздела
   . Дважды нажмите кнопку Далее
   .
3. Введите желаемый размер раздела в мегабайтах и нажмите кнопку Далее
   .
4. Нажмите кнопку Далее
   , приняв предложенную по умолчанию букву диска
5. Нажмите кнопку Далее
   для форматирования и создания раздела.

Назначение букв дискам

После того, как шина данных, диски и разделы общего запоминающего устройства сконфигурированы, необходимо назначить буквы диска для всех разделов всех дисков кластера.

Примечание:
Точки подключения – это функциональная возможность файловой системы, которая позволяет Вам устанавливать файловую систему, используя существующие каталоги, без назначения буквы диска. Точки подключения не поддерживаются кластерами. Любой внешний диск, используемый в качестве ресурса кластера, должен быть разбит на NTFS разделы, и этим разделам должны быть назначены буквы диска.

1. Щелкните правой кнопкой мыши требуемый раздел и выберите команду Изменение буквы диска и пути диска
   .
2. Выберите новую букву диска.
3. Повторите шаги 1 и 2 для всех дисков общего запоминающего устройства.

Рисунок 6: Разделы дисков с назначенными буквами

1. По окончании процедуры окно оснастки Управление компьютером
   должно выглядеть, как изображено на Рисунке 6. Закройте оснастку Управление компьютером
   .

1. Нажмите кнопку Пуск
   , выберите Программы
   /
   Стандартные
   , и запустите программу «Блокнот»
   .
2. Наберите несколько слов и сохраните файл под именем test.txt
   , выбрав команду Сохранить как
   из меню Файл
   . Закройте Блокнот
   .
3. Дважды щелкните мышью на значке Мои документы
   .
4. Щелкните правой кнопкой мыши на файле test.txt
   и в контекстном меню выберите команду Копировать
   .
5. Закройте окно.
6. Откройте Мой компьютер
   .
7. Дважды щелкните мышью на разделе диска общего запоминающего устройства.
8. Щелкните правой кнопкой мыши и выберите команду Вставить
   .
9. На диске общего запоминающего устройства должна появиться копия файла test.txt
   .
10. Дважды щелкните мышью на файле test.txt
    , чтобы открыть его с диска общего запоминающего устройства. Закройте файл.
11. Выделите файл и нажмите клавишу Del
    , чтобы удалить файл с диска кластера.

Повторите процедуру для всех дисков кластера, чтобы убедиться, что они доступны с первого узла.

Теперь выключите первый узел, включите второй узел и повторите шаги раздела Проверка работы и общего доступа к дискам
. Выполните эти же шаги на всех дополнительных узлах. После того, как Вы убедитесь, что все узлы могут считывать и записывать информацию на диски общего запоминающего устройства, выключите все узлы, кроме первого, и переходите к следующему разделу.

тБВПФБФШ ОБ ПДОПК НБЫЙОЕ ХЦЕ ОЕ НПДОП

ЙМЙ ДЕМБЕН ЛМБУФЕТ Ч ДПНБЫОЙИ ХУМПЧЙСИ.

1. чЧЕДЕОЙЕ

нОПЗЙЕ ЙЪ ЧБУ ЙНЕАФ Ч МПЛБМШОПК УЕФЙ ОЕУЛПМШЛП Linux
НБЫЙО, У РТБЛФЙЮЕУЛЙ ЧУЕЗДБ УЧПВПДОЩН РТПГЕУУПТПН. фБЛЦЕ НОПЗЙЕ УМЩЫБМЙ
П УЙУФЕНБИ, Ч ЛПФПТЩИ НБЫЙОЩ ПВЯЕДЕОСАФУС Ч ПДЙО УХРЕТЛПНРШАФЕТ. оП ТЕБМШОП
НБМП ЛФП РТПВПЧБМ РТПЧПДЙФШ ФБЛЙЕ ЬЛУРЕТЙНЕОФЩ Х УЕВС ОБ ТБВПФЕ ЙМЙ ДПНБ.
дБЧБКФЕ РПРТПВХЕН ЧНЕУФЕ УПВТБФШ ОЕВПМШЫПК ЛМБУФЕТ. рПУФТПЙЧ ЛМБУФЕТ ЧЩ
УНПЦЕФЕ ТЕБМШОП ХУЛПТЙФШ ЧЩРПМОЕОЙЕ ЮБУФЙ ЪБДБЮ. оБРТЙНЕТ ЛПНРЙМСГЙА ЙМЙ
ПДОПЧТЕНЕООХА ТБВПФХ ОЕУЛПМШЛЙИ ТЕУХТУПЕНЛЙИ РТПГЕУУПЧ. ч ЬФПК УФБФШЕ С
РПУФБТБАУШ ТБУУЛБЪБФШ ЧБН ЛБЛ НПЦОП ВЕЪ ПУПВЩИ ХУЙМЙК ПВЯЕДЕОЙФШ НБЫЙОЩ
УЧПЕК МПЛБМШОПК УЕФЙ Ч ЕДЙОЩК ЛМБУФЕТ ОБ ВБЪЕ MOSIX.

2. лБЛ,ЮФП Й ЗДЕ.

MOSIX — ЬФП РБФЮ ДМС СДТБ Linux У ЛПНРМЕЛФПН ХФЙМЙФ,
ЛПФПТЩК РПЪЧПМСЕФ РТПГЕУУБН У ЧБЫЕК НБЫЙОЩ РЕТЕИПДЙФШ (НЙЗТЙТПЧБФШ) ОБ
ДТХЗЙЕ ХЪМЩ МПЛБМШОПК УЕФЙ. чЪСФШ ЕЗП НПЦОП РП БДТЕУХ HTTP://www.mosix.cs.huji.ac.il
Б ТБУРТПУФТБОСЕФУС ПО Ч ЙУИПДОЩИ ЛПДБИ РПД МЙГЕОЪЙЕК GPL. рБФЮЙ УХЭЕУФЧХАФ
ДМС ЧУЕИ СДЕТ ЙЪ УФБВЙМШОПК ЧЕФЛЙ Linux.

3. хУФБОПЧЛБ РТПЗТБННОПЗП ПВЕУРЕЮЕОЙС.

ч ОБЮБМЕ ХУФБОПЧЛЙ ИПЮХ РПТЕЛПНЕОДПЧБФШ ЧБН ЪБВЙТБФШ
У ХЪМБ MOSIX ОЕ ФПМШЛП ЕЗП, ОП Й УПРХФУФЧХАЭЙЕ ХФЙМЙФЩ — mproc, mexec Й
ДТ.

ч БТИЙЧЕ MOSIX ЕУФШ ХУФБОПЧПЮОЩК УЛТЙРФ mosix_install. оЕ ЪБВХДШФЕ
Ч ПВСЪБФЕМШОПН РПТСДЛЕ ТБУРБЛПЧБФШ ЙУИПДОЩЕ ЛПДЩ СДТБ Ч /usr/src/linux-*.*.*,
ОБРТЙНЕТ ЛБЛ УДЕМБМ С — Ч /usr/src/linux-2.2.13 ДБМЕЕ ЪБРХУЛБЕФЕ mosix_install
Й ПФЧЕЮБЕФЕ ОБ ЧУЕ ЕЗП ЧПРТПУЩ, ХЛБЪБЧ ЕНХ УЧПК НЕОЕДЦЕТ ЪБЗТХЪЛЙ (LILO),
РХФШ Л ЙУИПДОЙЛБН СДТБ Й ХТПЧОЙ ЪБРХУЛБ.

рТЙ ОБУФТПКЛЕ СДТБ ЧЛМАЮЙФЕ ПРГЙЙ CONFIG_MOSIX, CONFIG_BINFMT_ELF Й
CONFIG_PROC_FS. чУЕ ЬФЙ ПРГЙЙ РПДТПВОП ПРЙУБОЩ Ч ТХЛПЧПДУФЧЕ РП ХУФБОПЧЛЕ
MOSIX.

хУФБОПЧЙМЙ? оХ ЮФП ЦЕ — РЕТЕЗТХЦБКФЕ ЧБЫ Linux У ОПЧЩН СДТПН, ОБЪЧБОЙЕ
ЛПФПТПЗП ПЮЕОШ ВХДЕФ РПИПЦЕ ОБ mosix-2.2.13.

4. оБУФТПКЛБ

йЪОБЮБМШОП ХУФБОПЧМЕООЩК MOSIX УПЧЕТЫЕООП ОЕ ЪОБЕФ,
ЛБЛЙЕ Х ЧБУ НБЫЙОЩ Ч УЕФЙ Й У ЛЕН ЕНХ УПЕДЕОСФУС. оХ Б ОБУФТБЙЧБЕФУС ЬФП
ПЮЕОШ РТПУФП. еУМЙ ЧЩ ФПМШЛП РПУФБЧЙМЙ mosix Й ЕУМЙ ЧБЫ ДЙУФТЙВХФЙЧ — SuSE
ЙМЙ RedHat — УПЧНЕУФЙНЩК, ФП ЪБИПДЙФЕ Ч ЛБФБМПЗ /etc/rc.d/init.d Й ДБЧБКФЕ
ЛПНБОДХ mosix start. рТЙ РЕТЧПН ЪБРХУЛЕ ЬФПФ УЛТЙРФ РТПУЙФ ЧБУ ОБУФТПЙФШ
MOSIX Й ЪБРХУЛБЕФ ФЕЛУФПЧЩК ТЕДБЛФПТ ДМС УПЪДБОЙС ЖБКМБ /etc/mosix.map,
Ч ЛПФПТПН ОБИПДЙФУС УРЙУПЛ ХЪМПЧ ЧБЫЕЗП ЛМБУФЕТБ. фХДБ РТПРЙУЩЧБЕН: Ч УМХЮБЕ,
ЕУМЙ Х ЧБУ ЧУЕЗП ДЧЕ-ФТЙ НБЫЙОЩ Й ЙИ IP-БДТЕУБ УМЕДХАФ

ДТХЗ ЪБ ДТХЗПН РП ОПНЕТБГЙЙ РЙЫЕН ФБЛ:

зДЕ РЕТЧЩК РБТБНЕФТ ПВПЪОБЮБЕФ ОПНЕТ ОБЮБМШОПЗП ХЪМБ, ЧФПТПК
— IP БДТЕУ РЕТЧПЗП ХЪМБ Й РПУМЕДОЙК — ЛПМЙЮЕУФЧП ХЪМПЧ У ФЕЛХЭЕЗП. ф.Е.
УЕКЮБУ Х ОБУ Ч ЛМБУФЕТЕ ПМХЮБЕФУС РСФШ ХЪМПЧ, IP БДТЕУБ ЛПФПТЩК ЪБЛБОЮЙЧБАФУС
ОБ 1, 2, 3, 4 Й 5.

йМЙ ДТХЗПК РТЙНЕТ:

оПНЕТ ХЪМБ IP
ЛПМЙЮЕУФЧП ХЪМПЧ У ФЕЛХЭЕЗП

______________________________________

1 10.152.1.1
1

2 10.150.1.55
2

4 10.150.1.223
1

ч ЬФПК ЛПОЖЙЗХТБГЙЙ НЩ РПМХЮЙН УМЕДХАЭЙК ТБУЛМБД:

IP 1-ПЗП ХЪМБ 10.150.1.1

IP 2-ПЗП ХЪМБ 10.150.1.55

IP 3-ПЗП ХЪМБ 10.150.1.56

IP 4-ПЗП ХЪМБ 10.150.1.223

фЕРЕТШ ОХЦОП ОБ ЧУЕИ НБЫЙОБИ ВХДХЭЕЗП ЛМБУФЕТБ ХУФБОПЧЙФШ MOSIX Й УПЪДБФШ
ЧЕЪДЕ ПДЙОБЛПЧЩК ЛПОЖЙЗХТБГЙПООЩК ЖБКМ /etc/mosix.map .

фЕРЕТШ РПУМЕ РЕТЕЪБРХУЛБ mosix ЧБЫБ НБЫЙОБ ХЦЕ ВХДЕФ ТБВПФБФШ Ч ЛМБУФЕТЕ,
ЮФП НПЦОП ХЧЙДЕФШ ЪБРХУФЙЧ НПОЙФПТ ЛПНБОДПК mon. ч УМХЮБЕ, ЕУМЙ ЧЩ ХЧЙДЙФЕ
Ч НПОЙФПТЕ ФПМШЛП УЧПА НБЫЙОХ ЙМЙ ЧППВЭЕ ОЕ ХЧЙДЙФЕ ОЙЛПЗП, ФП, ЛБЛ ЗПЧПТЙФУС
— ОБДП ТЩФШ. уЛПТЕЕ ЧУЕЗП Х ЧБУ ПЫЙВЛБ ЙНЕООП Ч /etc/mosix.map.

оХ ЧПФ, ХЧЙДЙМЙ, ОП ОЕ РПВЕДЙМЙ. юФП ДБМШЫЕ? б ДБМШЫЕ
ПЮЕОШ РТПУФП:-) — ОХЦОП УПВТБФШ ХФЙМЙФЩ ДМС ТБВПФЩ У ЙЪНЕОЕООЩН
/proc ЙЪ РБЛЕФБ mproc. ч ЮБУФОПУФЙ Ч ЬФПН РБЛЕФЕ ЙДЕФ ОЕРМПИБС НПДЙЖЙЛБГЙС
top — mtop, Ч ЛПФПТЩК ДПВБЧЙМЙ ЧПЪНПЦОПУФШ ПФПВТБЦЕОЙС ХЪМБ(node),
УПТФЙТПЧЛЙ РП ХЪМБН, РЕТЕОПУБ РТПГЕУУБ У ФЕЛХЭЕЗП ХЪМБ ОБ ДТХЗПК Й ХУФБОПЧМЕОЙС
НЙОЙНБМШОПК ЪБЗТХЪЛЙ РТПГЕУУПТБ ХЪМБ, РПУМЕ ЛПФПТПК РТПГЕУУЩ ОБЮЙОБАФ НЙЗТЙТПЧБФШ
ОБ ДТХЗЙЕ MOSIX — ХЪМЩ.

ъБРХУЛБЕН mtop, ЧЩВЙТБЕН РПОТБЧЙЧЫЙКУС ОЕ УРСЭЙК
РТПГЕУУ (ТЕЛПНЕОДХА ЪБРХУФЙФШ bzip) Й УНЕМП ДБЧЙН ЛМБЧЙЫХ «g» ОБ ЧБЫЕК
ЛМБЧЙБФХТЕ, РПУМЕ ЮЕЗП ЧЧПДЙН ОБ ЪБРТПУ PID ЧЩВТБООПЗП Ч ЛБЮЕУФЧЕ ЦЕТФЧЩ
РТПГЕУУБ Й ЪБФЕН — ОПНЕТ ХЪМБ, ЛХДБ НЩ ИПФЙН ЕЗП ПФРТБЧЙФШ. б ХЦЕ РПУМЕ
ЬФПЗП ЧОЙНБФЕМШОП РПУНПФТЙФЕ ОБ ТЕЪХМШФБФЩ, ПФПВТБЦБЕНЩЕ ЛПНБОДПК mon —
ФБ НБЫЙОБ ДПМЦОБ ОБЮБФШ ВТБФШ ОБ УЕВС ОБЗТХЪЛХ ЧЩВТБООПЗП РТПГЕУУБ.

б УПВУФЧЕООП mtop — Ч РПМЕ #N ПФПВТБЦБФШ ОПНЕТ ХЪМБ,
ЗДЕ ПО ЧЩРПМОСЕФУС.

оП ЬФП ЕЭЕ ОЕ ЧУЕ — ЧЕДШ ЧБН РТБЧДБ ОЕ ИПЮЕФУС ПФРТБЧМСФШ ОБ ДТХЗЙЕ
ХЪМЩ РТПГЕУУЩ ЧТХЮОХА? нОЕ ОЕ ЪБИПФЕМПУШ. х MOSIX ЕУФШ ОЕРМПИБС ЧУФТПЕООБС
ВБМБОУЙТПЧЛБ ЧОХФТЙ ЛМБУФЕТБ, ЛПФПТБС РПЪЧПМСЕФ ВПМЕЕ-НЕОЕЕ ТБЧОПНЕТОП
ТБУРТЕДЕМСФШ ОБЗТХЪЛХ ОБ ЧУЕ ХЪМЩ. оХ Б ЧПФ ЪДЕУШ ОБН РТЙДЕФУС РПФТХДЙФУС.
дМС ОБЮБМБ С ТБУУЛБЦХ, ЛБЛ УДЕМБФШ ФПОЛХА ОБУФТПКЛХ (tune) ДМС ДЧХИ ХЪМПЧ
ЛМБУФЕТБ? Ч РТПГЕУУЕ ЛПФПТПК MOSIX РПМХЮБЕФ ЙОЖПТНБГЙА П УЛПТПУФСИ РТПГЕУУПТПЧ
Й УЕФЙ:

ъБРПНОЙФЕ ТБЪ Й ОБЧУЕЗДБ — tune НПЦОП ЧЩРПМОСФШ
ФПМШЛП Ч single-mode. йОБЮЕ ЧЩ МЙВП РПМХЮЙФЕ ОЕ УПЧУЕН ЛПТТЕЛФОЩК ТЕЪХМШФБФ,
МЙВП ЧБЫБ НБЫЙОБ НПЦЕФ РТПУФП ЪБЧЙУОХФШ.

йФБЛ, ЧЩРПМОСЕН tune. рПУМЕ РЕТЕЧПДБ ПРЕТБГЙПООПК УЙУФЕНЩ Ч single
— mode ОБРТЙНЕТ ЛПНБОДПК init 1 ЙМЙ init S ЪБРХУЛБЕН УЛТЙРФ prep_tune,
ЛПФПТЩК РПДОЙНЕФ cЕФЕЧЩЕ

ЙОФЕТЖЕКУЩ Й ЪБРХУФЙФ MOSIX. рПУМЕ ЬФПЗП ОБ ПДОПК ЙЪ НБЫЙО ЪБРХУЛБЕН
tune, ЧЧПДЙН ЕНХ ОПНЕТ ДТХЗПЗП ХЪМБ ДМС ОБУФТПКЛЙ Й ЦДЕН ТЕЪХМШФБФБ — ХФЙМЙФБ
ДПМЦОБ ЧЩДБФШ ЪБРТПУ ОБ ЧЧПД ЫЕУФЙ ЮЙУЕМ, РПМХЮЕООЩИ ПФ ЧЩРПМОЕОЙС ЛПНБОДЩ
tune -a <ХЪЕМ> ОБ ДТХЗПН ХЪМЕ. уПВУФЧЕООП ПРЕТБГЙА РТЙДЕФУС РПЧФПТЙФШ
ОБ ДТХЗПН ХЪМЕ ЛПНБОДПК tune -a <ХЪЕМ>, Б ТЕЪХМШФБФ ЙЪ ЫЕУФЙ ЮЙУЕМ ЧЧЕУФЙ
ОБ РЕТЧЩК ХЪЕМ. рПУМЕ РПДПВОПЗП ФАОЙОЗБ Ч ЧБЫЕК УЙУФЕНЕ ДПМЦЕО РПСЧЙФУС
ЖБКМ /etc/overheads, УПДЕТЦБЭЙК ЙОЖПТНБГЙА ДМС MOSIX Ч ЧЙДЕ ОЕЛЙИ ЮЙУМПЧЩИ
ДБООЩИ. ч УМХЮБЕ, ЕУМЙ РП ЛБЛЙН-ФП РТЙЮЙОБН tune ОЕ УНПЗ УДЕМБФШ ЕЗП, РТПУФП
УЛПРЙТХКФЕ ЙЪ ФЕЛХЭЕЗП ЛБФБМПЗБ ЖБКМ mosix.cost Ч /etc/overheads. ьФП РПНПЦЕФ;-).

рТЙ ФАОЙОЗЕ ЛМБУФЕТБ ЙЪ ВПМЕЕ ЮЕН ДЧХИ НБЫЙО ОХЦОП
ЙУРПМШЪПЧБФШ ХФЙМЙФХ, ЛПФПТБС ФБЛЦЕ РПУФБЧМСЕФУС У MOSIX — tune_kernel.
дБООБС ХФЙМЙФБ РПЪЧПМСЕФ

ЧБН Ч ВПМЕЕ РТПУФПН Й РТЙЧЩЮОПН ЧЙДЕ ОБУФТПЙФШ ЛМБУФЕТ, ПФЧЕФЙЧ ОБ
ОЕУЛПМШЛП ЧПРТПУПЧ Й РТПЧЕДС ФАОЙОЗ У ДЧХНС НБЫЙОБНЙ ЛМБУФЕТБ.

лУФБФЙ, РП УПВУФЧЕООПНХ ПРЩФХ НПЗХ УЛБЪБФШ, ЮФП
РТЙ ОБУФТПКЛЕ ЛМБУФЕТБ С ТЕЛПНЕОДХА ЧБН ОЕ ЪБЗТХЦБФШ УЕФШ, Б ОБПВПТПФ —
РТЙПУФБОПЧЙФШ ЧУЕ БЛФЙЧОЩЕ ПРЕТБГЙЙ Ч МПЛБМШОПК УЕФЙ.

5. хРТБЧМЕОЙЕ ЛМБУФЕТПН

дМС ХРТБЧМЕОЙС ХЪМПН ЛМБУФЕТБ УХЭЕУФЧХЕФ ОЕВПМШЫПК ОБВПТ
ЛПНБОД, УТЕДЙ ЛПФПТЩИ:

mosctl

— ЛПОФТПМШ ОБД ХЪМПН. рПЪЧПМСЕФ ЙЪНЕОСФШ РБТБНЕФТЩ
ХЪМБ — ФБЛЙЕ, ЛБЛ block, stay, lstay, delay Й Ф.Д

дБЧБКФЕ ТБУУНПФТЙН ОЕУЛПМШЛП РБТБНЕФТПЧ ЬФПК ХФЙМЙФЩ:

stay

— РПЪЧПМСЕФ ПУФБОБЧМЙЧБФШ НЙЗТБГЙА РТПГЕУУПЧ ОБ
ДТХЗЙЕ ХЪМЩ У ФЕЛХЭЕК НБЫЙОЩ. пФНЕОСЕФУС РБТБНЕФТПН nostay ЙМЙ -stay

lstay

— ЪБРТЕЭБЕФ ФПМШЛП МПЛБМШОЩН РТПГЕУУБН НЙЗТБГЙА,
Б РТПГЕУУЩ У ДТХЗЙИ НБЫЙО НПЗХФ РТПДПМЦБФШ ЬФП ДЕМБФШ. пФНЕОСЕФУС РБТБНЕФТПН
nolstay ЙМЙ -lstay.

block

— ЪБРТЕЭБЕФ ХДБМЕООЩН/ЗПУФЕЧЩН РТПГЕУУБН ЧЩРПМОСФУС
ОБ ЬФПН ХЪМЕ. пФНЕОСЕФУС РБТБНЕФТПН noblock ЙМЙ -block.

bring

— ЧПЪЧТБЭБЕФ ПВТБФОП ЧУЕ РТПГЕУУЩ У ФЕЛХЭЕЗП ХЪМБ
ЧЩРПМОСЕНЩЕ ОБ ДТХЗЙИ НБЫЙОБИ ЛМБУФЕТБ. ьФПФ РБТБНЕФТ НПЦЕФ ОЕ УТБВБФЩЧБФШ,
РПЛБ НЙЗТЙТПЧБЧЫЙК РТПГЕУУ ОЕ РПМХЮЙФ РТЕТЩЧБОЙЕ ПФ УЙУФЕНЩ.

setdelay

ХУФБОБЧМЙЧБЕФ ЧТЕНС, РПУМЕ ЛПФПТПЗП РТПГЕУУ
ОБЮЙОБЕФ НЙЗТЙТПЧБФШ.

чЕДШ УПЗМБУЙФЕУШ — Ч УМХЮБЕ, ЕУМЙ ЧТЕНС ЧЩРПМОЕОЙС РТПГЕУУБ НЕОШЫЕ
УЕЛХОДЩ УНЩУМ РЕТЕОПУЙФШ ЕЗП ОБ ДТХЗЙЕ НБЫЙОЩ УЕФЙ ЙУЮЕЪБЕФ. йНЕООП ЬФП
ЧТЕНС Й ЧЩУФБЧМСЕФУС ХФЙМЙФПК mosctl У РБТБНЕФТПН setdecay. рТЙНЕТ:

mosctl setdecay 1 500 200

ХУФБОБЧМЙЧБЕФ ЧТЕНС РЕТЕИПДБ ОБ ДТХЗЙЕ ХЪМЩ 500 НЙММЙУЕЛХОД Ч УМХЮБЕ,
ЕУМЙ РТПГЕУУ ЪБРХЭЕО ЛБЛ slow Й 200 НЙМЙУЕЛХОД ДМС fast РТПГЕУУПЧ. пВТБФЙФЕ
ЧОЙНБОЙЕ, ЮФП РБТБНЕФТ slow ЧУЕЗДБ ДПМЦЕО ВЩФШ ВПМШЫЕ ЙМЙ ТБЧЕО РБТБНЕФТХ
fast.

mosrun

— ЪБРХУЛБЕФ РТЙМПЦЕОЙЕ Ч ЛМБУФЕТЕ. ОБРТЙНЕТ mosrun
-e -j5 make ЪБРХУФЙФ make ОБ 5-ПН ХЪМЕ ЛМБУФЕТБ, РТЙ ЬФПН ЧУЕ ЕЗП ДПЮЕТОЙЕ
РТПГЕУУЩ ВХДХФ ФБЛЦЕ ЧЩРПМОСФУС ОБ 5-ПН ХЪМЕ. рТБЧДБ ЪДЕУШ ЕУФШ ПДЙО ОАБОУ,
РТЙ ЮЕН ДПЧПМШОП УХЭЕУФЧЕООЩК:

Ч УМХЮБЕ, ЕУМЙ ДПЮЕТОЙЕ РТПГЕУУЩ ЧЩРПМОСАФУС ВЩУФТЕЕ ЮЕН ХУФБОПЧМЕООБС
ХФЙМЙФПК mosctl ЪБДЕТЦЛБ (delay) ФП РТПГЕУУ ОЕ ВХДЕФ НЙЗТЙТПЧБФШ ОБ ДТХЗЙЕ
ХЪМЩ ЛМБУФЕТБ. Х mosrun ЕЭЕ ДПЧПМШОП НОПЗП ТБЪМЙЮОЩИ ЙОФЕТЕУОЩИ РБТБНЕФТПЧ,
ОП РПДТПВОП ХЪОБФШ

П ОЙИ ЧЩ УНПЦЕФЕ ЙЪ ТХЛПЧПДУФЧБ РП ЬФПК ХФЙМЙФЕ. (man mosrun)

mon

— ЛБЛ НЩ ХЦЕ ЪОБЕН, ЬФП НПОЙФПТ ЛМБУФЕТБ, ЛПФПТЩК
Ч РУЕЧДПЗТБЖЙЮЕУЛПН ЧЙДЕ ПФПВТБЦБЕФ ЪБЗТХЪЛХ ЛБЦДПЗП ТБВПЮЕЗП ХЪМБ ЧБЫЕЗП
ЛМБУФЕТБ, ЛПМЙЮЕУФЧП УЧПВПДОПК Й ЪБОСФПК РБНСФЙ ХЪМПЧ Й ЧЩДБЕФ НОПЗП ДТХЗПК,
ОЕ НЕОЕЕ ЙОФЕТЕУОПК ЙОЖПТНБГЙЙ.

mtop

— НПДЙЖЙГЙТПЧБООБС ДМС ЙУРПМШЪПЧБОЙС ОБ ХЪМБИ ЛМБУФЕТБ
ЧЕТУЙС ЛПНБОДЩ top. пФПВТБЦБЕФ ОБ ЬЛТБОЕ ДЙОБНЙЮЕУЛХА ЙОЖПТНБГЙА П РТПГЕУУБИ,
ЪБРХЭЕООЩИ ОБ ДБООПН ХЪМЕ, Й ХЪМБИ, ЛХДБ НЙЗТЙТПЧБМЙ ЧБЫЙ РТПГЕУУЩ.

mps

— ФПЦЕ НПДЙЖЙГЙТПЧБООБС ЧЕТУЙС ЛПНБОДЩ ps. дПВБЧМЕОП
ЕЭЕ ПДОП РПМЕ — ОПНЕТ ХЪМБ, ОБ ЛПФПТЩК НЙЗТЙТПЧБМ РТПГЕУУ.

чПФ ОБ НПК ЧЪЗМСД Й ЧУЕ ПУОПЧОЩЕ ХФЙМЙФЩ. оБ УБНПН ДЕМЕ ЛПОЕЫОП НПЦОП
ПВПКФЙУШ ДБЦЕ ВЕЪ ОЙИ. оБРТЙНЕТ ЙУРПМШЪХС ДМС ЛПОФТПМС ОБД ЛМБУФЕТПН /proc/mosix.

фБН ЛТПНЕ ФПЗП, ЮФП НПЦОП ОБКФЙ ПУОПЧОХА ЙОЖПТНБГЙА П ОБУФТПКЛБИ ХЪМБ,
РТПГЕУУБИ ЪБРХЭЕООЩИ У ДТХЗЙИ ХЪМПЧ Й Ф.Д.,Б ФБЛЦЕ РПНЕОСФШ ЮБУФШ РБТБНЕФТПЧ.

6. ьЛУРЕТЕНЕОФЙТХЕН.

л УПЦБМЕОЙА, НОЕ ОЕ ХДБМПУШ ЪБУФБЧЙФШ ЧЩРПМОСФУС ЛБЛПК-ФП
ПДЙО РТПГЕУУ ПДОПЧТЕНЕООП ОБ ОЕУЛПМШЛЙИ ХЪМБИ. нБЛУЙНХН, ЮЕЗП С ДПУФЙЗ
Ч РТПГЕУУЕ ЬЛУРЕТЙНЕОФПЧ У ЛМБУФЕТПН-ЙУРПМШЪПЧБОЙЕ ДМС ЧЩРПМОЕОЙС ТЕУХТУПЕНЛЙИ
РТПГЕУУПЧ ОБ ДТХЗПН ХЪМЕ.

дБЧБКФЕ ТБУУНПФТЙН ПДЙО ЙЪ РТЙНЕТПЧ:

дПРХУФЙН, ЮФП Х ОБУ Ч ЛМБУФЕТЕ ТБВПФБАФ ДЧЕ НБЫЙОЩ (ДЧБ ХЪМБ), ПДЙО
ЙЪ ЛПФПТЩИ У ОПНЕТПН 1 (366 Celeron), ДТХЗПК — У ОПНЕТПН 5(PIII450). ьЛУРЕТЙНЕОФЙТПЧБФШ
НЩ ВХДЕН ОБ 5-ПН ХЪМЕ. 1-К ХЪЕМ Ч ЬФП ЧТЕНС РТПУФБЙЧБМ.

йФБЛ, ЪБРХУЛБЕН ОБ 5-Н ХЪМЕ ХФЙМЙФХ crark ДМС РПДВПТБ
РБТПМС Л rar БТИЙЧХ.еУМЙ ЛФП ЙЪ ЧБУ РТПВПЧБМ ТБВПФБФШ У РПДПВОЩНЙ ХФЙМЙФБНЙ,
ФП ПО ДПМЦЕО ЪОБФШ, ЮФП РТПГЕУУ РПДВПТБ РБТПМС «ЛХЫБЕФ» ДП 99 РТПГЕОФПЧ
РТПГЕУУПТБ. оХ ЮФП ЦЕ — РПУМЕ ЪБРХУЛБ НЩ ОБВМАДБЕН, ЮФП РТПГЕУУ ПУФБЕФУС
ОБ ЬФПН, 5-ПН ХЪМЕ. тБЪХНОП — ЧЕДШ ЙНЕООП Х ЬФПЗП ХЪМБ РТПЙЪЧПДЙФЕМШОПУФШ
РТЕЧЩЫБЕФ 1-К ХЪЕМ РПЮФЙ Ч ДЧБ ТБЪБ.

дБМЕЕ НЩ РТПУФП ЪБРХУФЙМЙ УВПТЛХ kde 2.0. уНПФТЙН ФБВМЙГХ РТПГЕУУПЧ
Й ЧЙДЙН, ЮФП crark ХУРЕЫОП НЙЗТЙТПЧБМ ОБ 1-К ХЪЕМ, ПУЧПВПДЙЧ РТПГЕУУПТ
Й РБНСФШ (ДБ, ДБ — РБНСФШ ФПЮОП ФБЛЦЕ ПУЧПВПЦДБЕФУС) ДМС make. б ЛБЛ ФПМШЛП
make ЪБЛПОЮЙМ УЧПА ТБВПФХ — crark ЧЕТОХМУС ПВТБФОП, ОБ ТПДОПК ЕНХ 5-К ХЪЕМ.

йОФЕТЕУОЩК ЬЖЖЕЛФ РПМХЮБЕФУС, ЕУМЙ crark ЪБРХУЛБФШ ОБ ВПМЕЕ НЕДМЕООПН
1-Н ХЪМЕ.

фБН НЩ ОБВМАДБЕН РТБЛФЙЮЕУЛЙ РТПФЙЧПРПМПЦОЩК ТЕЪХМШФБФ — РТПГЕУУ УТБЪХ-ЦЕ
НЙЗТЙТХЕФ ОБ 5-К, ВПМЕЕ ВЩУФТЩК ХЪЕМ. рТЙ ЬФПН ПО ЧПЪЧТБЭБЕФУС ПВТБФОП,
ЛПЗДБ ИПЪСЙО РСФПЗП ЛПНРШАФЕТБ ОБЮЙОБЕФ ЛБЛЙЕ-ФП ДЕКУФЧЙС У УЙУФЕНПК.

7. йУРПМШЪПЧБОЙЕ

дБЧБКФЕ Ч ЛПОГЕ ТБЪВЕТЕНУС, ЪБЮЕН Й ЛБЛ НЩ НПЦЕН ЙУРПМШЪПЧБФШ
ЛМБУФЕТ Ч УЧПЕК РПЧУЕДОЕЧОПК ЦЙЪОЙ.

дМС ОБЮБМБ ОХЦОП ТБЪ Й ОБЧУЕЗДБ ЪБРПНОЙФШ — ЛМБУФЕТ
ЧЩЗПДЕО ФПМШЛП Ч ФПН УМХЮБЕ, ЛПЗДБ Ч ЧБЫЕК УЕФЙ ЕУФШ ЬООПЕ ЛПМЙЮЕУФЧП НБЫЙО,
ЛПФПТЩЕ ЮБУФЕОШЛП РТПУФБЙЧБАФ Й ЧЩ ИПФЙФЕ ЙУРПМШЪПЧБФШ ЙИ ТЕУХТУЩ ОБРТЙНЕТ
ДМС УВПТЛЙ KDE ЙМЙ ДМС МАВЩИ УЕТШЕЪОЩИ РТПГЕУУПЧ. чЕДШ ВМБЗПДБТС ЛМБУФЕТХ
ЙЪ 10 НБЫЙО НПЦОП ПДОПЧТЕНЕООП

ЛПНРЙМЙТПЧБФШ ДП 10 ФСЦЕМЩИ РТПЗТБНН ОБ ФПН-ЦЕ C++. йМЙ РПДВЙТБФШ ЛБЛПК-ФП
РБТПМШ,

ОЕ РТЕЛТБЭБС ОЙ ОБ УЕЛХОДХ ЬФПЗП РТПГЕУУБ ОЕЪБЧЙУЙНП ПФ ОБЗТХЪЛЙ ОБ
ЧБЫ ЛПНРШАФЕТ.

дБ Й ЧППВЭЕ — ЬФП РТПУФП ЙОФЕТЕУОП;-).

8. ъБЛМАЮЕОЙЕ

ч ЪБЛМАЮЕОЙЕ ИПЮХ УЛБЪБФШ, ЮФП Ч ЬФПК УФБФШЕ ОЕ ТБУУНПФТЕОЩ
ЧУЕ ЧПЪНПЦОПУФЙ MOSIX, Ф.Л. С РТПУФП ДП ОЙИ ЕЭЕ ОЕ ДПВТБМУС. еУМЙ ДПВЕТХУШ
— ЦДЙФЕ РТПДПМЦЕОЙС.

Сегодня бизнес-процессы многих компаний полностью завязаны на информационных
технологиях. С ростом такой зависимости организаций от работы вычислительных
сетей доступность сервисов в любое время и под любой нагрузкой играет большую
роль. Один компьютер может обеспечить лишь начальный уровень надежности и
масштабируемости, максимального же уровня можно добиться за счет объединения в
единую систему двух или нескольких компьютеров — кластер.

Для чего нужен кластер

Кластеры применяют в организациях, которым нужна круглосуточная и
бесперебойная доступность сервисов и где любые перерывы в работе нежелательны и
недопустимы. Или в тех случаях, когда возможен всплеск нагрузки, с которым может
не справиться основной сервер, тогда ее помогут компенсировать дополнительные
хосты, выполняющие обычно другие задачи. Для почтового сервера, обрабатывающего
десятки и сотни тысяч писем в день, или веб-сервера, обслуживающего
онлайн-магазины, использование кластеров очень желательно. Для пользователя
подобная система остается полностью прозрачной — вся группа компьютеров будет
выглядеть как один сервер. Использование нескольких, пусть даже более дешевых,
компьютеров позволяет получить весьма существенные преимущества перед одиночным
и шустрым сервером. Это равномерное распределение поступающих запросов,
повышенная отказоустойчивость, так как при выходе одного элемента его нагрузку
подхватывают другие системы, масштабируемость, удобное обслуживание и замена
узлов кластера, а также многое другое. Выход из строя одного узла автоматически
обнаруживается, и нагрузка перераспределяется, для клиента все это останется
незамеченным.

Возможности Win2k3

Вообще говоря, одни кластеры предназначены для повышения доступности данных,
другие — для обеспечения максимальной производительности. В контексте статьи нас
будут интересовать MPP (Massive Parallel Processing)
— кластеры, в
которых однотипные приложения выполняются на нескольких компьютерах, обеспечивая
масштабируемость сервисов. Существует несколько технологий, позволяющих
распределять нагрузку между несколькими серверами: перенаправление трафика
,
трансляция адресов
, DNS Round Robin
, использование специальных
программ
, работающих на прикладном уровне, вроде веб-акселераторов. В
Win2k3, в отличие от Win2k, поддержка кластеризации заложена изначально и
поддерживается два типа кластеров, отличающихся приложениями и спецификой
данных:

1. Кластеры NLB (Network Load Balancing)
— обеспечивают
масштабируемость и высокую доступность служб и приложений на базе протоколов TCP
и UDP, объединяя в один кластер до 32 серверов с одинаковым набором данных, на
которых выполняются одни и те же приложения. Каждый запрос выполняется как
отдельная транзакция. Применяются для работы с наборами редко изменяющихся
данных, вроде WWW, ISA, службами терминалов и другими подобными сервисами.

2. Кластеры серверов
– могут объединять до восьми узлов, их главная
задача — обеспечение доступности приложений при сбое. Состоят из активных и
пассивных узлов. Пассивный узел большую часть времени простаивает, играя роль
резерва основного узла. Для отдельных приложений есть возможность настроить
несколько активных серверов, распределяя нагрузку между ними. Оба узла
подключены к единому хранилищу данных. Кластер серверов используется для работы
с большими объемами часто изменяющихся данных (почтовые, файловые и
SQL-серверы). Причем такой кластер не может состоять из узлов, работающих под
управлением различных вариантов Win2k3: Enterprise или Datacenter (версии Web и
Standart кластеры серверов не поддерживают).

В Microsoft Application Center 2000
(и только) имелся еще один вид
кластера — CLB (Component Load Balancing)
, предоставляющий возможность
распределения приложений COM+ между несколькими серверами.

NLB-кластеры

При использовании балансировки нагрузки на каждом из хостов создается
виртуальный сетевой адаптер со своим независимым от реального IP и МАС-адресом.
Этот виртуальный интерфейс представляет кластер как единый узел, клиенты
обращаются к нему именно по виртуальному адресу. Все запросы получаются каждым
узлом кластера, но обрабатываются только одним. На всех узлах запускается
служба балансировки сетевой нагрузки (Network Load Balancing Service)
,
которая, используя специальный алгоритм, не требующий обмена данными между
узлами, принимает решение, нужно ли тому или иному узлу обрабатывать запрос или
нет. Узлы обмениваются heartbeat-сообщениями
, показывающими их
доступность. Если хост прекращает выдачу heartbeat или появляется новый узел,
остальные узлы начинают процесс схождения (convergence)
, заново
перераспределяя нагрузку. Балансировка может быть реализована в одном из двух
режимов:

1) unicast
– одноадресная рассылка, когда вместо физического МАС
используется МАС виртуального адаптера кластера. В этом случае узлы кластера не
могут обмениваться между собой данными, используя МАС-адреса, только через IP
(или второй адаптер, не связанный с кластером);

В пределах одного кластера следует использовать только один из этих режимов.

Можно настроить несколько NLB-кластеров
на одном сетевом адаптере,
указав конкретные правила для портов. Такие кластеры называют виртуальными. Их
применение дает возможность задать для каждого приложения, узла или IP-адреса
конкретные компьютеры в составе первичного кластера, или блокировать трафик для
некоторого приложения, не затрагивая трафик для других программ, выполняющихся
на этом узле. Или, наоборот, NLB-компонент может быть привязан к нескольким
сетевым адаптерам, что позволит настроить ряд независимых кластеров на каждом
узле. Также следует знать, что настройка кластеров серверов и NLB на одном узле
невозможна, поскольку они по-разному работают с сетевыми устройствами.

Администратор может сделать некую гибридную конфигурацию, обладающую
достоинствами обоих методов, например, создав NLB-кластер и настроив репликацию
данных между узлами. Но репликация выполняется не постоянно, а время от времени,
поэтому информация на разных узлах некоторое время будет отличаться.

С теорией на этом закончим, хотя о построении кластеров можно рассказывать
еще долго, перечисляя возможности и пути наращивания, давая различные
рекомендации и варианты конкретной реализации. Все эти тонкости и нюансы оставим
для самостоятельного изучения и перейдем к практической части.

Настройка NLB-кластера

Для организации NLB-кластеров
дополнительное ПО не требуется, все
производится имеющимися средствами Win2k3. Для создания, поддержки и мониторинга
NLB-кластеров используют компонент «Диспетчер балансировки сетевой нагрузки»
(Network Load Balancing Manager)
, который находится во вкладке
«Администрирование» «Панели управления» (команда NLBMgr). Так как компонент
«Балансировка нагрузки сети» ставится как стандартный сетевой драйвер Windows,
установку NLB можно выполнять и при помощи компонента «Сетевые подключения», в
котором доступен соответствующий пункт. Но лучше использовать только первый
вариант, одновременное задействование диспетчера NLB и «Сетевых подключений»
может привести к непредсказуемым результатам.

Диспетчер NLB позволяет настраивать и управлять из одного места работой сразу
нескольких кластеров и узлов.

Возможна также установка NLB-кластера на компьютере с одним сетевым
адаптером, связанным с компонентом «Балансировка нагрузки сети», но в этом
случае при режиме unicast диспетчер NLB на этом компьютере не может быть
использован для управления другими узлами, а сами узлы не могут обмениваться
друг с другом информацией.

Теперь вызываем диспетчер NLB. Кластеров у нас пока нет, поэтому появившееся
окно не содержит никакой информации. Выбираем в меню «Кластер» пункт «Новый» и
начинаем заполнять поля в окне «Параметры кластера». В поле «Настройка
IP-параметров кластера» вводим значение виртуального IP-адреса кластера, маску
подсети и полное имя. Значение виртуального МАС-адреса устанавливается
автоматически. Чуть ниже выбираем режим работы кластера: одноадресный или
многоадресный. Обрати внимание на флажок «Разрешить удаленное управление» — во
всех документах Microsoft настоятельно рекомендует его не использовать во
избежание проблем, связанных с безопасностью. Вместо этого следует применять
диспетчер или другие средства удаленного управления, например инструментарий
управления Windows (WMI). Если же решение об его использовании принято, следует
выполнить все надлежащие мероприятия по защите сети, прикрыв дополнительно
брандмауэром UDP-порты 1717 и 2504.

После заполнения всех полей нажимаем «Далее». В окне «IP-адреса кластера» при
необходимости добавляем дополнительные виртуальные IP-адреса, которые будут
использоваться этим кластером. В следующем окне «Правила для портов» можно
задать балансировку нагрузки для одного или для группы портов всех или
выбранного IP по протоколам UDP или TCP, а также блокировать доступ к кластеру
определенным портам (что межсетевой экран не заменяет). По умолчанию кластер
обрабатывает запросы для всех портов (0–65365); лучше этот список ограничить,
внеся в него только действительно необходимые. Хотя, если нет желания возиться,
можно оставить все, как есть. Кстати, в Win2k по умолчанию весь трафик,
направленный к кластеру, обрабатывал только узел, имевший наивысший приоритет,
остальные узлы подключались только при выходе из строя основного.

Например, для IIS потребуется включить только порты 80 (http) и 443 (https).
Причем можно сделать так, чтобы, например, защищенные соединения обрабатывали
только определенные серверы, на которых установлен сертификат. Для добавления
нового правила нажимаем «Добавить», в появившемся диалоговом окне вводим
IP-адрес узла, или если правило распространяется на всех, то оставляем флажок
«Все». В полях «С» и «По» диапазона портов устанавливаем одно и то же значение –
80. Ключевым полем является «Режим фильтрации» (Filtering Mode) — здесь
задается, кем будет обработан этот запрос. Доступно три поля, определяющие режим
фильтрации: «Несколько узлов», «Один узел» и «Отключить этот диапазон портов».
Выбор «Один узел» означает, что трафик, направленный на выбранный IP (компьютера
или кластера) с указанным номером порта, будет обрабатываться активным узлом,
имеющим наименьший показатель приоритета (о нем чуть ниже). Выбор «Отключить…»
значит, что такой трафик будет отбрасываться всеми участниками кластера.

В режиме фильтрации «Несколько узлов» можно дополнительно указать вариант
определения сходства клиентов, чтобы направлять трафик от заданного клиента к
одному и тому же узлу кластера. Возможны три варианта: «Нет», «Одно» или «Класс
C». Выбор первого означает, что на любой запрос будет отвечать произвольный
узел. Но не следует его использовать, если в правиле выбран протокол UDP или
«Оба». При избрании остальных пунктов сходство клиентов будет определяться по
конкретному IP или диапазону сети класса С.

Итак, для нашего правила с 80-м портом остановим свой выбор на варианте
«Несколько узлов — класс C». Правило для 443 заполняем аналогично, но используем
«Один узел», чтобы клиенту всегда отвечал основной узел с наименьшим
приоритетом. Если диспетчер обнаружит несовместимое правило, будет выведено
предупреждающее сообщение, дополнительно в журнал событий Windows будет внесена
соответствующая запись.

Далее подключаемся к узлу будущего кластера, введя его имя или реальный IP, и
определяем интерфейс, который будет подключен к сети кластера. В окне «Параметры
узла» выбираем из списка приоритет, уточняем сетевые настройки, задаем начальное
состояние узла (работает, остановлен, приостановлен). Приоритет одновременно
является уникальным идентификатором узла; чем меньше номер, тем выше приоритет.
Узел с приоритетом 1 является мастер-сервером, в первую очередь получающим
пакеты и действующим как менеджер маршрутизации.

Флажок «Сохранить состояние после перезагрузки компьютера» позволяет в случае
сбоя или перезагрузки этого узла автоматически ввести его в строй. После нажатия
на «Готово» в окне Диспетчера появится запись о новом кластере, в котором пока
присутствует один узел.
Следующий узел добавить также просто. Выбираем в меню «Добавить узел» либо
«Подключить к существующему», в зависимости от того, с какого компьютера
производится подключение (он уже входит в кластер или нет). Затем в окне
указываем имя или адрес компьютера, если прав для подключения достаточно, новый
узел будет подключен к кластеру. Первое время значок напротив его имени будет
отличаться, но когда завершится процесс схождения, он будет такой же, как и у
первого компьютера.

Так как диспетчер отображает свойства узлов на момент своего подключения, для
уточнения текущего состояния следует выбрать кластер и в контекстном меню пункт
«Обновить». Диспетчер подключится к кластеру и покажет обновленные данные.

После установки NLB-кластера
не забудь изменить DNS-запись, чтобы
разрешение имени теперь показывало на IP-кластера.

Изменение загрузки сервера

В такой конфигурации все серверы будут загружены равномерно (за исключением
варианта «Один узел»). В некоторых случаях необходимо перераспределить нагрузку,
большую часть работы возложив на один из узлов (например, самый мощный).
Применительно к кластеру правила после их создания можно изменить, выбрав в
контекстном меню, появляющемся при щелчке на имени, пункт «Свойства кластера».
Здесь доступны все те настройки, о которых мы говорили выше. Пункт меню
«Свойства узла» предоставляет несколько больше возможностей. В «Параметрах узла»
можно изменить значение приоритета для конкретно выбранного узла. В «Правилах
для портов» добавить или удалить правило нельзя, это доступно только на уровне
кластера. Но, выбрав редактирование конкретного правила, мы получаем возможность
скорректировать некоторые настройки. Так, при установленном режиме фильтрации
«Несколько узлов» становится доступным пункт «Оценка нагрузки», позволяющий
перераспределить нагрузку на конкретный узел. По умолчанию установлен флажок
«Равная», но в «Оценке нагрузки» можно указать другое значение нагрузки на
конкретный узел, в процентах от общей загрузки кластера. Если активирован режим
фильтрации «Один узел», в этом окне появляется новый параметр «Приоритет
обработки». Используя его, можно сделать так, что трафик к определенному порту
будет в первую очередь обрабатываться одним узлом кластера, а к другому – другим
узлом.

Журналирование событий

Как уже говорилось, компонент «Балансировка нагрузки сети» записывает все
действия и изменения кластера в журнал событий Windows. Чтобы их увидеть,
выбираем «Просмотр событий – Система», к NLB относятся сообщения WLBS (от
Windows Load Balancing Service, как эта служба называлась в NT). Кроме того, в
окне диспетчера выводятся последние сообщения, содержащие информацию об ошибках
и обо всех изменениях в конфигурации. По умолчанию эта информация не
сохраняется. Чтобы она записывалась в файл, следует выбрать «Параметры –>
Параметры журнала», установить флажок «Включить ведение журнала» и указать имя
файла. Новый файл будет создан в подкаталоге твоей учетной записи в Documents
and Settings.

Настраиваем IIS с репликацией

Кластер кластером, но без службы он смысла не имеет. Поэтому добавим IIS (Internet
Information Services)
. Сервер IIS входит в состав Win2k3, но, чтобы свести к
минимуму возможность атак на сервер, он по умолчанию не устанавливается.

Инсталлировать IIS можно двумя способами: посредством «Панели управления» или
мастером управления ролями данного сервера. Рассмотрим первый. Переходим в
«Панель управления – Установка и удаление программ» (Control Panel — Add or
Remove Programs), выбираем «Установку компонентов Windows» (Add/Remove Windows
Components). Теперь переходим в пункт «Сервер приложений» и отмечаем в «Службах
IIS» все, что необходимо. По умолчанию рабочим каталогом сервера является Inetpubwwwroot.
После установки IIS может выводить статические документы.

Пресс-центр

Создание кластера на базе Windows 2000/2003. Шаг за шагом

Кластер — это группа из двух или более серверов, действующих совместно для обеспечения безотказной работы набора приложений или служб и воспринимаемых клиентом как единый элемент. Узлы кластера объединяются между собой с помощью аппаратных сетевых средств, совместно используемых разделяемых ресурсов и серверного программного обеспечения.

Microsoft Windows 2000/2003 поддерживает две технологии кластеризации: кластеры с балансировкой нагрузки (Network Load Balancing) и кластеры серверов.

В первом случае (кластеры с балансировкой нагрузки) служба Network Load Balancing придает службам и приложениям свойства высокого уровня надежности и масштабируемости за счет объединения до 32 серверов в единый кластер. Запросы от клиентов в данном случае распределяются среди узлов кластера прозрачным образом. При отказе узла кластер автоматически изменяет свою конфигурацию и переключает клиента на любой из доступных узлов. Этот режим конфигурации кластера также называется active-active режимом, когда одно приложение работает на нескольких узлах.

Кластер серверов распределяет свою нагрузку среди серверов кластера, причем каждый сервер несет свою собственную нагрузку. Если происходит отказ узла в кластере, то приложения и службы, настроенные на работу в кластере, прозрачным образом перезапускаются на любом из свободных узлов. Кластеры серверов используют разделяемые диски для обмена данными внутри кластера и для обеспечения прозрачного доступа к приложениям и службам кластера. Для них требуется специальное оборудование, но данная технология обеспечивает очень высокий уровень надежности, поскольку сам кластер не имеет какой-либо единственной точки отказа. Этот режим конфигурации кластера также называется active-passive режимом. Приложение в кластере работает на одном узле с общими данными, расположенными на внешнем хранилище.

Кластерный подход к организации внутренней сети дает следующие преимущества:

Высокий уровень готовности
То есть, если происходит сбой службы или приложения на каком-то узле кластера, настроенного на совместную работу в кластере, кластерное программное обеспечение позволяет перезапустить это приложение на другом узле. Пользователи при этом ощутят кратковременную задержку при проведении какой-то операции либо вообще не заметят серверного сбоя.
Масштабируемость
Для приложений, работающих в кластере, добавление серверов к кластеру означает увеличение возможностей: отказоустойчивости, распределение нагрузки и т. д.
Управляемость
Администраторы, используя единый интерфейс, могут управлять приложениями и службами, устанавливать реакцию на сбой в узле кластера, распределять нагрузку среди узлов кластера и снимать нагрузку с узлов для проведения профилактических работ.

В этой статье я попытаюсь собрать свой опыт по созданию кластерных систем на базе Windows и дать небольшое пошаговое руководство по созданию двухузлового кластера серверов с разделяемым хранилищем данных.

Требования к программному обеспечению

• Microsoft Windows 2000 Advanced (Datacenter) Server или Microsoft Windows 2003 Server Enterprise Edition, установленные на всех серверах кластера.
• Установленная служба DNS. Немного поясню. Если вы строите кластер на основе двух контроллеров домена, то намного удобнее использовать службу DNS, которую вы в любом случае устанавливаете при создании Active Directory. Если вы создаете кластер на основе двух серверов, членов Windows NT домена, то вам придется использовать либо службу WINS, либо заносить соответствие имен и адресов машин в файл hosts.
• Terminal Services для удаленного управления серверами. Не обязательно, но при наличии Terminal Services удобно управлять серверами со своего рабочего места.

Требования к аппаратному обеспечению

• Аппаратное обеспечение для узла кластера лучше подбирать, основываясь на Cluster Service Hardware Compatible List (HCL). По рекомендациям Microsoft аппаратное обеспечение должно быть протестировано на совместимость с Cluster Services.
• Соответственно вам понадобятся два сервера, имеющих по два сетевых адаптера; SCSI-адаптер, имеющий внешний интерфейс для подключения внешнего массива данных.
• Внешний массив, имеющий два внешних интерфейса. Каждый из узлов кластера подключается к одному из интерфейсов.

Замечание:
для создания двухузлового кластера совсем не обязательно иметь два абсолютно одинаковых сервера. После сбоя на первом сервере у вас будет немного времени, чтобы проанализировать и восстановить работу основного узла. Второй же узел будет работать на безотказность системы в целом. Однако это не означает, что второй сервер будет простаивать. Оба узла кластера могут спокойно заниматься своими делами, решать разные задачи. А вот некий критический ресурс мы и можем настроить на работу в кластере, увеличив его (этого ресурса) отказоустойчивость.

Требования к сетевым настройкам

• Уникальное NetBIOS имя для кластера.
• Пять уникальных статических IP-адресов. Два для сетевых адаптеров на кластерную сеть, два для сетевых адаптеров на общую сеть и один для кластера.
• Доменная учетная запись для кластерного сервиса (Cluster service).
• Все узлы кластера должны быть либо member server в домене, либо контроллерами домена.
• Каждый сервер должен иметь два сетевых адаптера. Один для подключения в общую сеть (Public Network), второй для обмена данными между узлами кластера (Private Network).

Замечание:
по рекомендациям Microsoft ваш сервер должен иметь два сетевых адаптера, один для общей сети, второй для обмена данными внутри кластера. Можно ли строить кластер на одном интерфейсе — наверное, да, но я не пробовал.

Установка кластера

При проектировании кластера вы должны понимать, что, используя одну физическую сеть как для кластерного обмена, так и для локальной сети, вы увеличиваете процент отказа всей системы. Поэтому крайне желательно для кластерного обмена данными использовать одну подсеть, выделенную в отдельный физический элемент сети. А для локальной сети стоит использовать другую подсеть. Тем самым вы увеличиваете надежность всей системы в целом.

В случае построения двухузлового кластера один коммутатор используется общей сетью. Два сервера кластера можно связать между собой кросс-кабелем напрямую, как показано на рисунке.

Установка двухузлового кластера может быть разделена на 5 шагов

• Установка и настройка узлов в кластере.
• Установка и настройка разделяемого ресурса.
• Проверка дисковой конфигурации.
• Конфигурирование первого узла кластера.
• Конфигурирование второго узла в кластере.

Это пошаговое руководство позволит вам избежать ошибок во время установки и сэкономить массу времени. Итак, начнем.

Установка и настройка узлов

Мы немного упростим задачу. Поскольку все узлы кластера должны быть либо участниками домена, либо контроллерами домена, то корневым держателем каталога AD (Active Directory) сделаем 1-й узел кластера, на нем же будет работать DNS-служба. 2-й узел кластера будет полноправным контроллером домена.

Установку операционной системы я готов пропустить, полагая, что в этом у вас не должно быть каких-то проблем. А вот конфигурацию сетевых устройств хочется пояснить.

Сетевые настройки

Перед началом установки кластера и Active Directory необходимо выполнить сетевые настройки. Все сетевые настройки хочется разделить на 4 этапа. Для распознавания имен в сети желательно иметь DNS-сервер с уже существующими записями о серверах кластера.

Каждый сервер имеет по две сетевые карты. Одна сетевая карта будет служить для обмена данными между узлами кластера, вторая будет работать на клиентов в нашей сети. Соответственно первый назовем Private Cluster Connection, второй назовем Public Cluster Connection.

Настройки сетевых адаптеров для одного и для другого сервера идентичны. Соответственно я покажу, как настроить сетевой адаптер и дам табличку с сетевыми настройками всех 4 сетевых адаптеров на обоих узлах кластера. Для настройки сетевого адаптера необходимо выполнить следующие шаги:

• My Network Places
  →
  Properties

Private Cluster Connection
→
Properties
→
Configure
→
Advanced

Этот пункт требует пояснений. Дело в том, что по настоятельным рекомендациям Microsoft на всех сетевых адаптерах узлов кластера должна быть установлена оптимальная скорость работы адаптера, как показано на следующем рисунке.

• Internet Protocol (TCP/IP)
  →
  Properties
  →
  Use the following IP: 192.168.30.1
  

  (Для второго узла используйте адрес 192.168.30.2). Введите маску подсети 255.255.255.252 . В качестве адреса DNS-сервера для обоих узлов используйте адрес 192.168.100.1 .

• Дополнительно на вкладке Advanced
  →
  WINS
  выберите пункт Disabled NetBIOS over TCP/IP
  . Для настроек сетевых адаптеров общей (Public) сети этот пункт опустите.
• Проделайте то же самое с сетевой картой для локальной сети Public Cluster Connection. Используйте адреса, приведенные в таблице. Единственная разница в конфигурации двух сетевых плат состоит в том, что для Public Cluster Connection
  не требуется выключения режима WINS — NetBIOS over TCP/IP
  .

Картинка с сайта: windoro.ru

Для конфигурирования всех сетевых адаптеров на узлах кластера используйте следующую табличку:

Узел	Сетевое имя	IP address	MASK	DNS Server
1	Public Cluster Connection	192.168.100.1	255.255.255.0	192.168.100.1
1	Private Cluster Connection	192.168.30.1	255.255.255.252	192.168.100.1
2	Public Cluster Connection	192.168.100.2	255.255.255.0	192.168.100.1
3	Private Cluster Connection	192.168.30.2	255.255.255.252	192.168.100.1

Установка Active Directory

Поскольку моя статья не преследует цель рассказать об установке Active Directory, то этот пункт я опущу. Всевозможных рекомендаций, книг об этом написано достаточно много. Выберете доменное имя, вроде mycompany.ru, установите Active Directory на первом узле, добавьте второй узел в домен в качестве контроллера домена. Когда все сделаете, проверьте конфигурации серверов, Active Directory.

Установка Cluster User Account

• Start
  →
  Programs
  →
  Administrative Tools
  →
  Active Directory Users and Computers
  
• Добавьте нового пользователя, например, ClusterService.
• Установите флажки на: User Cannot Change Password
  и Password Never Expires
  .
• Также добавьте этого пользователя в группу администраторов и дайте ему права Log on as a service

  (права назначаются в Local Security Policy
  и Domain Controller Security Policy
  ).

Настройка внешнего массива данных

Для настройки внешнего массива данных в кластере необходимо помнить, что перед установкой Cluster Service на узлах вы должны сначала сконфигурировать диски на внешнем массиве, только потом устанавливать службу кластера сначала на первом узле, только потом на втором. В случае нарушения порядка установки у вас произойдет сбой, и вы не достигнете цели. Можно ли будет исправить — наверное, да. Когда появится ошибка, у вас будет время, чтобы поправить настройки. Но Microsoft столь загадочная штука, что совсем не знаешь, на какие грабли наступишь. Проще иметь перед глазами пошаговую инструкцию и не забывать нажимать на кнопки. По шагам конфигурирование внешнего массива выглядит так:

1. Оба сервера должны быть выключены, внешний массив включен, подсоединен к обоим серверам.
2. Включаем первый сервер. Получаем доступ к дисковому массиву.
3. Проверяем, чтобы внешний дисковый массив был создан как Basic. Если это не так, то переведем диск с помощью опции Revert to Basic Disk
   .
4. Создаем на внешнем диске через Computer Manage-ment
   →
   Disk Management
   небольшой раздел. По рекомендациям Microsoft он должен быть не менее 50 Мб. Я рекомендую создать раздел в 500 Мб. или чуть больше. Для размещения кластерных данных этого вполне достаточно. Раздел должен быть отформатирован в NTFS.
5. На обоих узлах кластера этот раздел будет назван одной буквой, например, Q. Соответственно при создании раздела на первом сервере выберем пункт Assign the following drive letter — Q
   .
6. Оставшуюся часть диска вы можете разметить по своему желанию. Конечно, крайне желательно использовать файловую систему NTFS. Например, при настройке служб DNS, WINS основные базы служб будут перенесены на общий диск (не системный том Q, а второй, созданный вами). И по соображению безопасности вам будет удобнее использовать именно NTFS-тома.
7. Закрываем Disk Management
   и проверяем доступ к вновь созданному разделу. Например, можно создать на нем текстовый файл test.txt , записать и удалить. Если все прошло нормально, то с конфигурацией внешнего массива на первом узле мы закончили.
8. Теперь выключаем первый сервер. Внешний массив должен быть включен. Включаем второй сервер и проверяем доступ к созданному разделу. Также проверим, чтобы буква, назначенная первому разделу, была идентична выбранной нами, то есть Q.

На этом конфигурация внешнего массива завершена.

Установка Cluster Service Software

Конфигурация первого узла кластера

Перед началом установки Cluster Service Software все узлы кластера должны быть выключены, все внешние массивы должны быть включены. Перейдем к конфигурации первого узла. Внешний массив включен, первый сервер включен. Весь процесс установки происходит с использованием Cluster Service Configuration Wizard:

Конфигурация второго узла кластера

Для установки и конфигурирования второго узла кластера необходимо, чтобы первый узел был включен, все сетевые диски были включены. Процедура настройки второго узла очень напоминает ту, что я описал выше. Однако есть небольшие изменения. Для этого используйте следующую инструкцию:

1. В диалоговом окне Create or Join a Cluster
   выберите The second or next node in the cluster
   и нажмите далее.
2. Введите имя кластера, которое мы задали ранее (в примере это MyCluster), и нажмите далее.
3. После подключения второго узла к кластеру Cluster Service Configuration Wizard автоматически заберет все установки с основного узла. Для запуска службы Cluster Service используйте имя, которые мы создавали ранее.
4. Введите пароль вашей учетной записи и нажмите далее.
5. В следующем диалоговом окне нажмите Finish для завершения установки.
6. Cluster service будет запушен на втором узле.
7. Закройте окно Add/Remove Programs
   .

Для установки дополнительных узлов кластера используйте эту же инструкцию.

Постскриптум, благодарности

Чтобы вам не запутаться со всеми этапами установки кластера, приведу небольшую табличку, в которой отражены все основные этапы.

Шаг	Узел 1	Узел 2	Внешний массив