Содержание
- это вики, что означает, что многие статьи написаны несколькими авторами. Для создания этой статьи 18 человек, некоторые из которых были анонимными, участвовали в ее издании и его совершенствовании с течением времени.Вам нужен компьютер, который должен выполнять сотни миллиардов вычислений с плавающей запятой в секунду? Вам нужна история, чтобы объяснить, как ваш суперкомпьютер в подвале взорвал выключатель? Создание кластера (или кластера) высокопроизводительных компьютеров - это задача, которую любой специалист может решить в выходные дни с соответствующим бюджетом. С технической точки зрения современный многопроцессорный суперкомпьютер - это сеть компьютеров, работающих параллельно для решения проблемы. Выполнив простые шаги по установке оборудования и установке необходимого программного обеспечения, вы также можете получить суперкомпьютер.
этапы
-
Определите необходимое оборудование и ресурсы. Вам понадобится головной узел, как минимум двенадцать других идентичных узлов, коммутатор Ethernet, блок питания и полка. Определите ваши потребности в электричестве, охлаждении и пространстве. Вам также необходимо решить, какой IP-адрес вы хотите использовать для своих частных сетей, имена узлов, программное обеспечение, которое вы хотите установить, и технологию, которую вы хотите использовать для вычислительных возможностей (мы вернемся к этому позже).- Даже если аппаратное обеспечение будет дорого стоить, все программное обеспечение, представленное в этой статье, бесплатное, а большинство - без прав.
- Если вы хотите получить представление о том, как быстро может работать суперкомпьютер, вы можете использовать этот инструмент: http://hpl-calculator.sourceforge.net/.
-
Установите узлы. Вам придется собирать узлы или получать предварительно собранные серверы.- Выберите серверное шасси с достаточным пространством, подходящей системой охлаждения и оптимизацией энергопотребления.
- Вы также можете использовать дюжину старых серверов, сумма которых будет превышать мощность отдельных устройств, и вы сэкономите много денег. Все процессоры, сетевые адаптеры и материнские платы должны быть идентичными, чтобы вся система работала бесперебойно. Конечно, не стоит забывать оперативную память и хранилище для каждого из узлов, а также хотя бы один дисковод для головы.
-
Установите серверы на полке. Начните с нижней части, если верхняя часть полки не взвешена. Вам также понадобится друг, чтобы помочь вам, серверы могут быть тяжелыми, и будет трудно направлять их по направляющим полки. -
Установите коммутатор Ethernet в верхней части корпуса. Найдите минутку, чтобы настроить его. Разрешите большой размер кадра 9000 байт, установите IP-адреса на статические адреса, которые вы выбрали на первом шаге, и отключите ненужные протоколы, такие как SMTP snooping. -
Установите текущий блок. В зависимости от того, какой ток понадобится узлам, вам, вероятно, понадобится 220-вольтный блок. -
Настройте оборудование. После того, как вы установили все, вы можете приступить к настройке оборудования. Linux является операционной системой по умолчанию для кластеров HPC не только потому, что это лучшая среда для научных расчетов, но и потому, что она полностью бесплатна для установки на сотнях или тысячах узлов. Представьте себе цену, которую вы заплатите, если бы вам пришлось устанавливать Windows на каждом из этих узлов.- Начните с установки последней версии прошивки BIOS и материнской платы, которая должна быть одинаковой для всех материнских плат.
- Установите предпочтительный дистрибутив Linux на каждом из узлов и дистрибутив с графическим интерфейсом на головном узле. CentOS, OpenSuse, Scientific Linux, RedHat или SLES часто используются.
- Для этой статьи мы настоятельно рекомендуем Rocks Cluster. В дополнение к установке всех инструментов, необходимых для правильной работы кластеров, Rocks использует отличный метод для быстрого «распределения» множества своих экземпляров по узлам с помощью загрузки PXE и процедуры быстрого запуска Red Tea Tree Oil.
-
Установите программное обеспечение. Установите интерфейс для передачи, управления ресурсами и других необходимых библиотек. Если вы не установили Rocks на предыдущем шаге, вам придется вручную настроить все необходимое программное обеспечение для активации механизмов параллельных вычислений.- Во-первых, вам понадобится система управления bash, такая как Torque Resource Manager, которая позволяет распределять и распределять различные задачи по нескольким машинам.
- Крутящий момент Крутящий момент с Maui Cluster Scheduler для завершения настройки.
- Затем вам нужно будет установить интерфейс отправителя, который необходим процессам на разных компьютерах для совместного использования одних и тех же данных. Установите OpenMP, он очень прост в использовании.
- Не забудьте многопоточные библиотеки и компиляторы для создания программ параллельных вычислений. Еще раз, Скалы - лучшее решение.
-
Подключите узлы в сети. Головной узел отправляет задачи для выполнения другим вычислительным узлам, которые будут возвращать результаты при отправке сообщений друг другу. Чем быстрее, тем лучше.- Используйте частную сеть Ethernet, чтобы связать все эти узлы в кластер.
- Головной узел также может выступать в качестве сервера NFS, PXE, DHCP, TFTP и NTP в сети, которую вы создаете.
- Вы должны отделить эту сеть от общедоступных сетей, чтобы гарантировать, что пакеты, которыми обмениваются серверы, не мешают пакетам, которыми обмениваются по остальной сети.
-
Проверьте кластер. Последнее, что вам нужно сделать перед тем, как отключить всю мощь вашего суперкомпьютера, это проверить его работоспособность. Тест производительности High Performance Lynpack (HPL) является популярным выбором для измерения скорости вычислений компьютерного кластера. Вам придется скомпилировать его из исходного кода со всеми оптимизациями, которые предлагает ваш компилятор, в соответствии с выбранной вами архитектурой.- Очевидно, что вы должны скомпилировать его из источника, который дает вам больше возможностей для оптимизации вашей платформы. Например, если вы используете процессоры AMD, скомпилируйте его с Open64, выбрав -0 быстрый уровень оптимизации.
- Сравните результаты на TOP500.org, чтобы увидеть, может ли ваш суперкомпьютер конкурировать с 500 самыми мощными суперкомпьютерами в мире!
- Чтобы достичь действительно высоких скоростей в сети, узнайте об интерфейсах InfiniBand. Однако, будьте готовы разбить копилку.
- IPMI может упростить администрирование в больших масштабах, предоставляя вам KVM-over-IP, отдельный цикл питания и многое другое.
- Используйте Ganglia для отслеживания вычислительных нагрузок на узлы.
- Убедитесь, что ваша инфраструктура может выдержать нагрузку.