В данном разделе представлена пошаговая инструкция для установки программного комплекса Интеллект с типом установки Сервер/Удаленное рабочее место администратора.
Примечание.
При установке программного комплекса Интеллект необходимо учитывать следующие особенности:
- Установку программного комплекса Интеллект необходимо производить на чистую операционную систему Windows (см. раздел Требования к операционной системе).
- Для установки программного комплекса Интеллект необходимо наличие прав администратора ОС Windows.
Для установки программного комплекса Интеллект необходимо выполнить следующие действия:
- Распаковать архив, загруженный с официального веб-сайта компании, в соответствии с инструкцией в разделе Подготовка к установке ПК Интеллект. В папке назначения отобразится содержимое дистрибутивного комплекта.
-
Запустить исполняемый файл Setup.exe, предназначенный для запуска программы установки Интеллект.
В результате будет выведено диалоговое окно выбора языка программы установки.Примечание.
Для работы ПК Интеллект нужен установленный Microsoft.Net Framework 4.0 или новее. Он обычно идёт в комплекте с ОС Windows и отдельной установки не требует. Если его нет, то появится окно с предложением установить − необходимо согласиться на автоматическую установку. Подробнее про Microsoft.Net Framework см. официальную документацию https://learn.microsoft.com/ru-ru/dotnet/framework/.
- Выбрать язык программы установки из списка и нажать кнопку Установить.
В результате будет выведено диалоговое окно выбора типа установки.
- Выбрать тип установки Сервер/Удаленное рабочее место администратора.
-
Установить флажок Включить полное логирование (увеличивает время установки продукта), если требуется записать все события установки продукта в log-файл.
-
Нажать кнопку Далее.
Будет выведено диалоговое окно с выбором компонентов для установки.
-
Установить флажки напротив тех компонентов, которые необходимо установить (списки можно раскрыть, нажав на ). Важные особенности, которые необходимо учитывать при выборе компонентов:
- Рекомендуется установить все предложенные компоненты − установщик ПК Интеллект по умолчанию ставит флажки напротив всего необходимого для правильной работы.
-
Если установка производится при помощи комплексного пакета установки, включающего модули вертикальных решений, на данном этапе будет предоставлена возможность выбрать устанавливаемые вертикальные решения. Следует выбрать только те из них, которые в действительности будут использоваться на данном компьютере, необязательно устанавливать все. Установка вертикальных решений будет выполняться после завершения установки базового ПК Интеллект. Процесс установки описан в документации на соответствующее вертикальное решение (см. ссылки внизу страницы Документация для программного комплекса Интеллект 4.11.0-4.11.3).
- Для работы ПК Интеллект нужен установленный Microsoft.Net Framework 4.0 или новее. Он обычно идёт в комплекте с ОС Windows и отдельной установки не требует. Если его нет, то в Пререквизитах будет предложен к установке .Net 4.6 −флажок необходимо обязательно оставить. Подробнее про Microsoft.Net Framework см. официальную документацию https://learn.microsoft.com/ru-ru/dotnet/framework/.
-
На данном этапе можно отказаться от установки сервера баз данных MS SQL Express. В таком случае на шаге 16 необходимо будет настроить подключение к удаленной базе данных. После завершения установки ПК Интеллект параметры подключения к БД можно будет изменить с помощью утилиты idb.exe – см. Подключение базы данных программного комплекса Интеллект. Следует обратить внимание, что без подключения к какому-либо источнику баз данных работа ПК Интеллект невозможна.
- Для установки драйверов Guardant в ОС Windows должна быть выключена «Целостность памяти» (см. в документации Microsoft Включение функции защиты целостности кода на основе виртуализации). Если «Целостность памяти» предварительно не выключить, то при установке драйверов появится предупреждение о необходимости её выключения и откроются настройки безопасности Windows. Если в этот момент в процессе установки в появившемся окне нажать OK без изменения настроек ОС Windows, то установка продолжится успешно, но драйверы Guardant не установятся (их можно будет установить позднее, см. Использование Product.msi и Redist.exe для установки программного комплекса Интеллект):
-
Если установка осуществляется не с CD-диска, на данном этапе также можно выбрать устанавливаемые языки. Для этого перед началом установки следует загрузить языковой пакет LanguagePack с официального сайта ITV http://www.itv.ru/ и вложить имеющиеся в архиве файлы в папку languages, находящуюся в директории инсталлятора. В результате в окне Выбор компонентов установки в предлагаемых Компонентах для установки будет список Дополнительные языки и из них можно будет выбрать те, которые нужно установить.
Примечание.
Если данный способ установки языков не подходит, каждый язык можно будет в дальнейшем установить отдельно (см. раздел Установка языка). После установки переключение языка осуществляется с помощью утилиты tweaki.exe (см. раздел Переключение языка в ПК Интеллект).
-
Нажать кнопку Установить.
После этого будет выполнена автоматическая установка выбранных компонентов, кроме Сервера баз данных Microsoft SQL Server Express 2014 (необходимого для работы с базами данных программного комплекса Интеллект), который устанавливается вручную (см. документацию Microsoft).
Внимание!
Установка необходимых пререквизитов может занимать длительное время (более 10 минут).
После установки пререквизитов будет выведено диалоговое окно приветствия программы установки ПК Интеллект.
- Нажать кнопку Далее.
Будет выведено диалоговое окно с лицензионным договором.
- Ознакомиться с лицензионным договором и подтвердить согласие с его условиями, установив переключатель в положение Я принимаю условия Лицензионного договора, в противном случае установка программного комплекса будет прекращена.
- Нажать кнопку Далее.
Будет выведено диалоговое окно выбора вида установки.
- Выбрать вид установки.
-
Нажать кнопку Далее.
При выборе вида установки Выборочная откроется окно выбора пути установки, а затем окно выбора компонентов ПК Интеллект для установки. При выборе вида установки Обычная эти этапы пропускаются.
Примечание.
Описание компонента отображается в окне инсталлятора при его выделении.
Будет выведено диалоговое окно указания пути к файлу с ключом активации.
Примечание.
Оставьте поле незаполненным, если ключ активации будет скопирован позднее.
-
Нажать кнопку Далее.
Будет выведено диалоговое окно выбора установки программного комплекса Интеллект как Сервиса.
Примечание.
64-битная версия ПК Интеллект недоступна при установке в качестве Сервиса. Если установлен данный флажок, то после установки ПК Интеллект как Сервиса будут запускаться 32-битные модули.
- Если требуется запускать программный комплекс Интеллект до авторизации пользователя в операционной системе Windows и до запуска приложений Windows (в том числе приложения Explorer (Проводник), используемого для запуска интерфейсов как ОС Windows, так и различных установленных на Сервере приложений), установить флажок Установить Интеллект как сервис (см. раздел Работа со службами ОС Windows для управления ПК Интеллект, установленным как Сервис).
-
Нажать кнопку Далее.
Будет выведено окно, в котором требуется выбрать Сервер баз данных MS SQL Server и указать параметры авторизации при подключении к нему.
Внимание!
Если установка ПК Интеллект осуществляется Администратором компьютера и для проверки подлинности SQL сервера используются учетные сведения Windows, доступ к базе данных любого другого пользователя не будет возможен без дополнительной настройки утилиты idb.exe и знания логина и пароля Администратора. В связи с этим настоятельно не рекомендуется использовать данный способ проверки подлинности SQL сервера.
-
Выбрать SQL-сервер, воспользовавшись раскрывающимся списком Сервер базы данных.
Примечание.
При необходимости использования SQL-сервера, установленного на данном (локальном) компьютере, следует выбрать пункт (local)\SQLEXPRESS (задан по умолчанию).
Внимание!
Подключение разных Серверов к одной базе данных не допускается.
Использование Сервером удаленной базы данных возможно, но влечет за собой повышенные требования к сети и другим ресурсам и может вызвать появление задержек при передаче событий и состояний между ядрами, что негативно скажется на качестве работы системы.
-
Задать параметры авторизации, которые будут использованы программным комплексом Интеллект при подключении к SQL-серверу.
Примечание.
В случае, если ПК Интеллект будет установлен как Сервис, необходимо выбрать вариант проверки подлинности SQL-сервера, т.е. установить переключатель в положение Использовать следующие имя пользователя и пароль и ввести логин и пароль для авторизации на сервере базы данных в соответствующие поля. Если все же требуется подключаться к БД с использованием учетных сведений Windows, то для корректной работы ПК Интеллект под любым другим пользователем будет необходимо, чтобы этот пользователь обладал соответствующими правами на SQL-сервер.
Способы авторизации, реализуемые в диалоговом окне:
Методы аутентификации
Учетные сведения Windows
Проверка подлинности SQL-сервера с использованием следующего имени пользователя и пароля (Рекомендуется)
Случаи использования
SQL-сервер из дистрибутива ПК Интеллект (или из дистрибутива стороннего производителя) и ПК Интеллект устанавливаются на один компьютер
SQL-сервер из дистрибутива ПК Интеллект и ПК Интеллект устанавливаются на один компьютер. При этом подключение к SQL-серверу с заданными именем пользователя (логин) и паролем может быть выполнено с любого удаленного компьютера, находящегося в том же сетевом домене TCP/IP сети, что и компьютер на который производится установка SQL-сервера
SQL-сервер и ПК Интеллект устанавливаются на различных компьютерах, соединенных по TCP/IP сети и находящихся в одном сетевом домене. При этом в ОС Windows на компьютере с установленным MS SQL сервером должна быть создана учетная запись для пользователя, авторизированного в текущий момент в ОС Windows на компьютере, на котором производится установка ПК Интеллект
SQL-сервер из дистрибутива ПК Интеллект и ПК Интеллект устанавливаются на различных компьютерах, соединенных по TCP/IP сети и находящихся в одном сетевом домене. При этом задаваемые имя пользователя (логин) и пароль должны соответствовать имени пользователя (логину) и паролю, используемого для доступа к SQL-серверу
Полнофункциональный SQL-сервер (устанавливается дополнительно) и ПК Интеллект устанавливаются на различных компьютерах, соединенных по TCP/IP сети и находящихся в одном сетевом домене. При этом на удаленном SQL-сервере должна быть создана учетная запись для пользователя, авторизированного в текущий момент в ОС Windows на компьютере, на котором производится установка ПК Интеллект
Полнофункциональный SQL-сервер (устанавливается дополнительно) и ПК Интеллект устанавливаются на одном или различных компьютерах, соединенных по TCP/IP сети и находящихся в одном сетевом домене. При этом задаваемые имя пользователя (логин) и пароль должны соответствовать имени пользователя (логину) и паролю, используемого для доступа к SQL-серверу
Примечание.
Для SQL-сервера, установленного из дистрибутива ПК Интеллект, по умолчанию используется имя пользователя «sa», пароль «Intellect_default_DB_4». При установке Сервера баз данных Microsoft SQL Server Express 2014 можно изменить пароль на любой другой.
- Для продолжения процесса установки нажать кнопку Далее.
Появится окно, в котором необходимо задать имена создаваемых баз данных или выбрать уже существующие базы.
- По умолчанию в качестве основной базы данных Интеллект используется база данных intellect. Если требуется использовать другую базу данных, то необходимо выбрать её в списке Существующие базы данных и нажать на кнопку рядом с полем Основная база данных.
- По умолчанию в качестве базы данных титров используется база данных titles. Если требуется использовать другую базу данных, то необходимо выбрать её в списке Существующие базы данных и нажать на кнопку рядом с полем База данных титров.
-
Нажать кнопку Далее.
Примечание.
Если при установке системой выведено сообщение Недостаточно прав на создание и редактирование таблицы баз данных, необходимо прервать процесс инсталляции и заново запустить установку.
Будет выведено диалоговое окно дополнительных настроек.
- При необходимости создать ярлык программного комплекса Интеллект на рабочем столе установить соответствующий флажок.
- При необходимости создать иконку программного комплекса Интеллект в панели быстрого запуска установить соответствующий флажок.
- При необходимости добавить ПК Интеллект и все его компоненты в исключения брандмауэра Windows установить соответствующий флажок.
- Нажать кнопку Далее.
-
Будет выведено диалоговое окно готовности к установке.
Примечание.
Для изменения настроек необходимо нажать кнопку Назад.
-
Нажать кнопку Установить.
Далее будет выведено диалоговое окно процесса установки программного комплекса Интеллект.
- Будет выведено диалоговое окно завершения процесса установки программного комплекса Интеллект.
- Установить флажок Новые возможности для построения Ваших решений для просмотра документа, содержащего информацию о нововведениях установленной версии ПК Интеллект.
-
Нажать кнопку Завершить.
Примечание.
После этого будет произведена установка пакета драйверов Driver Pack.
Начиная с версии Driver Pack 3.51 для работы данного пакета драйверов требуется установленное обновление Windows KB2999226. Если это обновление не установлено в системе, будет выведено соответствующее предупреждение. Для продолжения установки необходимо установить обновление с официального сайта Microsoft:
https://www.microsoft.com/en-us/download/details.aspx?id=49093Если обновление KB2999226 установлено, но нет программной возможности идентифицировать его, следует запустить установку пакета драйверов Driver Pack из командной строки с параметром SOFT_INSTALL=»yes».
Будет выведено диалоговое окно мастера установки, содержащее информацию о состоянии (установлен или не установлен) компонентов ПК Интеллект.
-
Нажать кнопку Завершить.
Будет выведено диалоговое окно с предложением перезагрузки системы.
Для корректного завершения установки ПК Интеллект перезагрузка компьютера обязательна. Если не выбрать перезагрузку сейчас, то её нужно будет сделать самостоятельно после установки.
Установка программного комплекса Интеллект с типом установки Сервер завершена.
1. ЗАПУСК ПК «ИНТЕЛЛЕКТ»
ПО «ИНТЕЛЛЕКТ» версия 4.10.x
.
2. Запуск ПО «Интеллект»
Запуск системы «Интеллект» можно осуществить несколькими способами :
Ручной запуск
Ручной запуск из меню программ, вызываемого при нажатии кнопки «Пуск»
(«Start») в панели задач ОС Windows ;
C помощью команды «Выполнить» («Run») кнопки «Пуск“(«Start») в панели задач
ОС Windows , выбрав исполняемый файл системы “Intellect» в папке установки.
Автоматический запуск
Поместив ярлык в меню Автозагрузка;
Вместо стандартной оболочки OC Windows;
Установка ПО «Интеллект» в качестве сервиса.
3. Автозагрузка
4. Запуск shell-ом (вместо оболочки Explorer)
Возможность запуска Интеллекта в
качестве оболочки Windows
5. Запуск ПО службой
6. НАЧАЛО И ЗАВЕРШЕНИЕ РАБОТЫ С ПО «ИНТЕЛЛЕКТ»
7. Запуск
8. Возможные проблемы при запуске системы
9. Возможные проблемы при запуске системы
10. Возможные проблемы при запуске системы
11. Отображение и скрытие главной панели управления
Информационное окно, или окно
подсказки. Посредством данного
окна на экран монитора
выводятся
названия элементов интерфейса
при наведении
на них курсора, и сообщения об
ошибках
Кнопка «Экраны». Кнопка
предназначена для начала
и завершения работы с
пользовательскими
экранами
Кнопка «Выполнить». Служит
для начала
и завершения работы
с панелью настройки
системы, ручного выполнения
макрокоманд и завершения
работы программы
12. Функциональные отличия главной панели управления в режиме администратора и оператора
Режим администратора
Режим оператора
13. Вызов и закрытие панели настроек системы
14. Интерфейс панели настроек
15. Операции с объектами
16. Панель настроек объекта
Отображение ID,
названия,
принадлежности разделу
системы и указание
родительского объекта
Настройки выделенного
объекта в системе
Кнопки принятия или
отмены сделанных
изменений в настройках
17.
Перечень элементов панели настроек
Изображение элемента
Название элемента
Поле ввода численного значения параметра
Поле ввода строкового значения параметра
Флажок
Переключатель
Ползунок
Раскрывающийся список
Таблица
Информационное поле
Кнопка
18. Создание списка
19. Завершение работы
- Введение
- Зачем запускать нейросети на ПК или сервере?
- Общие требования к системе
- LLAMA 3.2*
- LLAMA 3.2 3B*
- LLAMA 3.2 11B*
- Stable Diffusion 3.5 Large
- Pixtral 12B
- T5
- CLIP
- Falcon LLM
- GPT-4ALL 3.0.0
- Платформы и библиотеки
- Hugging Face
- TensorFlow Hub
- Заключение
Введение
Искусственный интеллект — это одна из самых передовых технологий современности, которая уже прочно вошла во все сферы жизни, при этом пользоваться ей могут абсолютно все желающие, так как множество разработчиков уже выпустили в общей доступ собственные языковые модели для выполнения различных задач. Однако, если ранее пользователям были доступны только облачные модели ИИ, то теперь любой желающий может развернуть собственную нейросеть на базе мощностей собственного железа. В этой статье мы расскажем о 9-ти моделях нейросетей, которые можно запустить на потребительском ПК или мощном сервере, а также подробно распишем их характеристики и требования для развертывания.
Зачем запускать нейросети на ПК или сервере?
У запуска локальных нейросетей на собственных вычислительных устройствах есть множество плюсов: контроль над данными и их безопасность, снижение затрат на облачные вычисления и возможность использования мощных локальных ресурсов для ускорения обучения и инференса. Локальный запуск обеспечивает гибкость и возможность кастомизации моделей, позволяя исследователям настраивать архитектуры и экспериментировать с параметрами без ограничений облачных платформ. Кроме того, локальная среда удобна для разработки и тестирования, позволяет быстро вносить изменения и проводить эксперименты, а также исключает зависимость от интернет-соединения, что особенно полезно в условиях ограниченного доступа к сети.
Общие требования к системе
Для локального запуска большинства представленных ниже нейросетей важно учесть несколько общих системных требований. К таким требованиям относится наличие быстрого диска с интерфейсом NVMe, а также современные процессоры с высокой тактовой частотой и количеством ядер от 8-ми и более. Диски NVMe потребуются для ускорения загрузки больших массивов данных, а CPU будут выполнять host-функцию, проводя операции инференса и обучения моделей. В остальном вся нагрузка для развертывания ИИ будет ложиться на графические процессоры, поэтому большинство представленных нейросетей требуют мощных GPU с большим объемом видеопамяти.
Оптимальным выбором для развертывания нейронных сетей будет производительная система на процессорах Intel Xeon или AMD EPYC, где ввиду обилия PCI-E линий можно установить сразу несколько графических адаптеров.
LLAMA 3.2*
LLAMA 3.2* — это последняя версия семейства языковых моделей от Meta** AI, разработанная для выполнения сложных задач обработки естественного языка (NLP) и обработки визуального контента. Модели LLAMA 3.2* имеют улучшенную архитектуру ИИ-трансформеров по сравнению с предыдущими версиями, что позволяет ей работать с большими объемами данных и выполнять такие задачи, как генерация текста, анализ контекста, и машинный перевод, при этом проводя такие операции с высокой точностью. Модель LLAMA* предназначена для коммерческих и исследовательских проектов, однако, доступны четыре версии, которые можно запустить на локальных серверах и ПК:
LLAMA 3.2 3B*
LLAMA 3.2 3B* — одна из базовых версий семейства LLAMA*, оптимальная для небольших задач обработки естественного языка, таких как генерация текста и изображений. LLAMA 3.2 3B* поддерживает французский, испанский, итальянский, русский, китайский, румынский и японский языки. Модель можно установить локально на ПК или сервере с минимальными требованиями к аппаратному обеспечению, сохраняя при этом хорошую производительность и точность для такого небольшого количества параметров.
LLaMA 3.2 3B* является легковесной моделью, поэтому в требованиях указаны только предельные значения видеопамяти, достигнутые при работе в режиме полной точности.
Требования для инференса и обучения:
- Потребление памяти в инференсе (FP32) — 6 ГБ VRAM;
- Потребление памяти в обучении (FP32) — 12 ГБ VRAM.
LLAMA 3.2 11B*
LLAMA 3.2 11B* — более продвинутая версия нейросети в семействе LLAMA*, которую можно развернуть локально на собственных вычислительных устройствах. Как и предыдущие версии LLAMA 3.2*, эта версия, имеющая 11 миллиардов параметров, способна выполнять такие задачи, как генерация текстов и их обработка, создание изображений, анализ данных, графиков и диаграмм. За счет большего числа параметров, для развертывания этой нейросети на локальных серверах и ПК понадобится значительно больше памяти, чем версия LLAMA 3.2 1B*, однако ее результаты гораздо более точны, а запросы выполняются в разы быстрее.
Сразу хотим отметить, что LLAMA 3.2 11B* является достаточно «тяжелой» моделью. Поэтому мы будем предоставлять характеристики с указанием уровня квантизации, чтобы вы могли лучше понять, в каком режиме вычислений целесообразно запускать эту модель. Это поможет вам оптимизировать её производительность в зависимости от ваших задач и доступных ресурсов.
Требования для инференса:
- Инференс c “полной” точностью (FP32) — 22 ГБ VRAM;
- Инференс с половинной точностью (FP16) — 11 ГБ VRAM;
- Инференс с низкой точностью (FP8) — 5.5 ГБ VRAM;
- Инференс с целочисленной точностью (INT8) — 2.75 ГБ VRAM.
Требования для обучения:
- Обучение c “полной” точностью (FP32) — 44 ГБ VRAM;
- Обучение с половинной точностью (FP16) — 22 ГБ VRAM;
- Обучение с низкой точностью (FP8) — 11 ГБ VRAM;
- Обучение с целочисленной точностью (INT8) — 5.5 ГБ VRAM.
Stable Diffusion 3.5 Large
Stable Diffusion 3.5 Large — это актуальная генеративная модель ИИ от разработчика Stability.ai, которая использует текстовые описания для создания высококачественных изображений. Особенностью Stable Diffusion 3.5 Large является поэтапная генерация изображений, благодаря которой нейросеть с каждым этапом удаляет лишние детали из контента, в конечном результате предоставляя наиболее качественное и точное изображение. Stable Diffusion является одной из самых популярных моделей генерации изображений и может эффективно работать на потребительском оборудовании с меньшими требованиями, чем другие модели, такие как DALL-E.
Для понимания требований мы будем использовать топовую версию Stable Diffusion 3.5 Large 8B, способную генерировать наиболее детализированные и фотореалистичные изображения. Эта версия позволяет достигать высочайшего качества генерируемых изображений и демонстрирует лучшие результаты в своей категории.
Требования для инференса:
- Инференс c “полной” точностью (FP32) — 16 ГБ VRAM;
- Инференс с половинной точностью (FP16) — 8 ГБ VRAM;
- Инференс с низкой точностью (FP8) — 4 ГБ VRAM;
- Инференс с целочисленной точностью (INT8) — 2 ГБ VRAM.
Требования для обучения:
- Обучение c “полной” точностью (FP32) — 32 ГБ VRAM;
- Обучение с половинной точностью (FP16) — 16 ГБ VRAM;
- Обучение с низкой точностью (FP8) — 8 ГБ VRAM;
- Обучение с целочисленной точностью (INT8) — 4 ГБ VRAM.
Pixtral 12B
Pixtral 12B — последняя версия популярной языковой модели, основанной на архитектуре Mistral и предназначенной для таких задач, как обработка и генерация текста, создание изображений и прочих операций. Pixtral 12B оптимизирована для эффективного выполнения пользовательских запросов и предлагает баланс точности и ресурсозатратности, поэтому Pixtral является отличным примером нейросетей, которые можно без проблем развернуть на собственных вычислительных системах в локальном формате.
Требования для инференса:
- Инференс c “полной” точностью (FP32) — 24 ГБ VRAM;
- Инференс с половинной точностью (FP16) — 12 ГБ VRAM;
- Инференс с низкой точностью (FP8) — 6 ГБ VRAM;
- Инференс с целочисленной точностью (INT8) — 3 ГБ VRAM.
Требования для обучения:
- Обучение c “полной” точностью (FP32) — 48 ГБ VRAM;
- Обучение с половинной точностью (FP16) — 24 ГБ VRAM;
- Обучение с низкой точностью (FP8) — 12 ГБ VRAM;
- Обучение с целочисленной точностью (INT8) — 6 ГБ VRAM.
T5
T5 (Text-to-Text Transfer Transformer) — это языковая модель, разработанная Google Research, которая представляет собой универсальное решение для обработки естественного языка (NLP). T5 основана на архитектуре ИИ-трансформера и использует подход «Text-to-Text», что позволяет формулировать все задачи NLP, такие как перевод, классификация и генерация текста, при этом выполняя все это в едином формате с высокой точностью. Модель была обучена на обширном наборе данных C4, что делает ее способной выполнять широкий спектр задач с высокой точностью и качеством. T5 отличается гибкостью и эффективностью, обеспечивая отличные результаты в различных приложениях.
Ниже мы рассмотрим требования для топовой версии T5 с 11 миллиардами параметров, способной генерировать тексты высочайшего качества.
Требования для инференса:
- Инференс c “полной” точностью (FP32) — 22 ГБ VRAM;
- Инференс с половинной точностью (FP16) — 11 ГБ VRAM;
- Инференс с низкой точностью (FP8) — 5.5 ГБ VRAM;
- Инференс с целочисленной точностью (INT8) — 2.75 ГБ VRAM.
Требования для обучения:
- Обучение c “полной” точностью (FP32) — 44 ГБ VRAM;
- Обучение с половинной точностью (FP16) — 22 ГБ VRAM;
- Обучение с низкой точностью (FP8) — 11 ГБ VRAM;
- Обучение с целочисленной точностью (INT8) — 5.5 ГБ VRAM.
CLIP
CLIP (Contrastive Language-Image Pretraining) — это нейросеть, разработанная OpenAI, предназначенная для связывания текстовых описаний с изображениями. CLIP может понимать и анализировать изображения на основе текстовых запросов и наоборот, что делает ее полезной для широкого спектра приложений, таких как классификация изображений, поиск по изображениям и генерация визуального контента на основе текстовых инструкций. CLIP объединяет текстовые и визуальные данные в единое пространство признаков, что позволяет ему эффективно решать задачи, связанные с многоязычным и мультимодальным искусственным интеллектом.
В качестве примера возьмем модель ViT-L/14, которая способна классифицировать изображения с разрешением 14×14 мегапикселей, генерировать тексты на основе этих изображений, а также осуществлять поиск изображений по текстовым запросам. Эта модель содержит около 307 миллионов параметров и требует следующие ресурсы для запуска:
Требования для инференса:
- Инференс c “полной” точностью (FP32) — 12 ГБ VRAM;
- Инференс с половинной точностью (FP16) — 6 ГБ VRAM;
- Инференс с низкой точностью (FP8) — 3 ГБ VRAM;
- Инференс с целочисленной точностью (INT8) — 1.5 ГБ VRAM.
Требования для обучения:
- Обучение c “полной” точностью (FP32) — 24 ГБ VRAM;
- Обучение с половинной точностью (FP16) — 12 ГБ VRAM;
- Обучение с низкой точностью (FP8) — 6 ГБ VRAM;
- Обучение с целочисленной точностью (INT8) — 3 ГБ VRAM.
Falcon LLM
Falcon LLM — высокопроизводительная языковая модель, созданная технологическим институтом инноваций Абу-Даби и предназначенная для обработки и генерации текстов, а также написания кода на различных популярных языках программирования. Falcon LLM отличается высокой скорость обработки пользовательских запросов и высокой точностью выдаваемых результатов, что делает модель подходящей для широкого круга задач в сфере NLP, от создания чат-ботов различной сложности до генерации контента и его анализа. Falcon LLM доступна по лицензии Apache License Version 2.0.
Сегодня мы рассмотрим одну из самых передовых моделей Falcon Mamba 7B. Она основана на базе State Space Language Models (SSLM). В отличие от традиционных трансформеров, которые используют механизм внимания, Mamba использует состояния пространства для обработки последовательностей, что значительно ускоряет инференс, снижает потребление памяти улучшает масштабируемость модели.
Требования для инференса:
- Инференс c “полной” точностью (FP32) — 14 ГБ VRAM;
- Инференс с половинной точностью (FP16) — 7 ГБ VRAM;
- Инференс с низкой точностью (FP8) — 3.5 ГБ VRAM;
- Инференс с целочисленной точностью (INT8) — 1.75 ГБ VRAM.
Требования для обучения:
- Обучение c “полной” точностью (FP32) — 28 ГБ VRAM;
- Обучение с половинной точностью (FP16) — 14 ГБ VRAM;
- Обучение с низкой точностью (FP8) — 7 ГБ VRAM;
- Обучение с целочисленной точностью (INT8) — 3.5 ГБ VRAM.
GPT-4ALL 3.0.0
GPT-4ALL 3.0.0 — одна из мощнейших языковых моделей, разработанная компанией OpenAI для генерации и обработки текста и представляющую собой нейросеть GPT-4, оптимизированную под локальное развертывание на ПК или сервере. GPT-4ALL 3.0.0 может использоваться для широкого спектра мультимодальных задач, например, для написания текстов, выполнения задач NLP, перевода и создания визуального контента. Возможность локального запуска позволяет гибко настраивать модель и хранить данные на собственных серверах.
Модель GPT-4ALL 3.0.0 включает в себя 13 миллиардов параметров, что делает её ещё более ресурсоемкой по сравнению с LLaMA*. В связи с этим, по аналогии, мы укажем потребление памяти в различных режимах вычислений, чтобы вам было легче определить оптимальные настройки для использования этой модели.
Требования для инференса:
- Инференс c “полной” точностью (FP32) — 20 ГБ VRAM;
- Инференс с половинной точностью (FP16) — 10 ГБ VRAM;
- Инференс с низкой точностью (FP8) — 5 ГБ VRAM;
- Инференс с целочисленной точностью (INT8) — 2.5 ГБ VRAM.
Требования для обучения:
Обучение c “полной” точностью (FP32) — 40 ГБ VRAM;
Обучение с половинной точностью (FP16) — 20 ГБ VRAM;
Обучение с низкой точностью (FP8) — 10 ГБ VRAM;
Обучение с целочисленной точностью (INT8) — 5 ГБ VRAM.
Платформы и библиотеки
Существует несколько популярных библиотек, которые предоставляют доступ к разнообразным нейронным сетям и упрощают их установку и развертывание на локальном ПК. Вот две наиболее популярные платформы для установки нейросетей:
Hugging Face
Hugging Face — крупнейшая платформа с открытым доступом к тысячам предобученных моделей для выполнения задач, связанных с обработкой естественного языка и генеративного ИИ, а также другими, более узконаправленными моделями, вроде ИИ для машинного зрения. Платформа поддерживает популярные NLP-модели, такие как BERT, GPT, LLaMA*, и специализированные генеративные модели, такие как Stable Diffusion и другие нейросети для работы с визуальным контентом. Hugging Face объединяет сообщество разработчиков и пользователей ИИ, за счет чего комьюнити может удобно обмениваться, настраивать и обучать модели искусственного интеллекта, делясь друг с другом различными наблюдениями и наработками. В Hugging Face также доступны наборы данных и API для быстрой интеграции нейросети в ваши локальные системы.
TensorFlow Hub
TensorFlow Hub — платформа от компании Google, предоставляющая доступ к предобученным моделям ИИ на базе TensorFlow, которая позволяет быстро интегрировать ИИ-решения в различные приложения и сервисы — как коммерческие, так и пользовательские. TensorFlow Hub поддерживает передовые модели нейросетей для выполнения большого спектра задач, включая обработку изображений и звука, NLP и других задач. В библиотеке TensorFlow Hub представлены такие модели, как BERT для обработки текста, Stable Diffusion для распознавания изображений, а также множество других популярный моделей искусственного интеллекта от ведущих компаний-разработчиков нейросетей.
Заключение
На самом деле, существует множество нейросетей с открытым исходным кодом, которые также можно развернуть на своем вычислительным устройстве и пользоваться всеми возможностями искусственного интеллекта без доступа в интернет. Кроме того, за счет открытого кода, вы сможете оптимизировать свою нейросеть под выполнение конкретных операций под ваши требования. Однако, нейросети от известных разработчиков, о которых мы рассказали выше, считаются одними из самых лучших, поэтому лучше всего запускать именной эти модели в своей локальной сети. В зависимости от того, какую модель и версию нейросети вы выбрали, будут зависеть требования к запуску, а также функционал ИИ, поэтому заранее определитесь с вашими требованиями и при необходимости оптимизируйте вашу инфраструктуру новым, более производительным оборудованием, чтобы пользоваться всеми возможностями искусственного интеллекта.
*LLAMA — проект Meta Platforms Inc.**, деятельность которой в России признана экстремистской и запрещена
**Деятельность Meta Platforms Inc. в России признана экстремистской и запрещена
На хостинге UltraVDS есть готовая для заказа конфигурация виртуальной машины, стоимость которой составляет всего 99 рублей в месяц. Этот VPS работает под управлением операционной системы Windows Server 2019 Core. По умолчанию на сервере отсутствует привычная графическая оболочка, поэтому данная статья посвящена тому, как установить GUI на Windows Server Core.
Метод первый — запуск Explorer++
В Windows Server Core изначально отсутствует привычный проводник Explorer. Исходя из этого первым шагом необходимо загрузить Explorer++, который вполне может послужить заменой оригинального explorer.exe. В данном контексте мы рассматриваем Explorer++, но применяться может практически любой файловый менеджер, включая FAR Manager, Total Commander или что-либо ещё.
Во-первых, необходимо загрузить на свою локальную рабочую станцию дистрибутив браузера. Сделать это можно, например, отсюда.
Далее, подключитесь к вашему VDS и создайте там директорию, которую будете использовать как общую папку для обмена файлами. Для чего из командной строки откройте PowerShell при помощи команды:
powershell
После чего создайте директорию:
New-Item -Path 'C:\xchange_catalog\' -ItemType Directory
И предоставьте директории общий доступ:
New-SmbShare -Path 'C:\xchange_catalog\' -FullAccess Administrator -Name SHARED_DIR
Здесь:
C:\xchange_catalog\— созданная на сервере папка;Administrator— пользователь, которому предоставлены права на полный доступ к папке;SHARED_DIR— имя расшаренного ресурса.
Теперь вы сможете подключиться к вашему удалённому серверу. Для чего в проводнике наберите соответствующий путь к каталогу на VPS. В нашем случае путь до общего каталога выглядит как:
\\176.58.60.160\shared_dir
Вы же должны использовать IP-адрес вашего виртуального сервера и имя вашего расшаренного ресурса.
Теперь необходимо найти загруженный ранее архив с дистрибутивом Explorer++, распаковать его и скопировать файл Explorer++.exe в общую папку на сервере.
После этого вы уже можете запустить Explorer++ из командной строки, перейдя в каталог с файлом Explorer++.exe и выполнив команду запуска приложения:
cd C:\xchange_catalog
Explorer++.exe
Но мы немного усложним задачу и сделаем так, чтобы не нужно было запускать Explorer++ при каждом входе в систему в ручную.
Для этого запустите из командной строки PowerShell и добавьте запуск браузера в планировщик:
$Act = New-ScheduledTaskAction -Execute 'C:\xchange_catalog\Explorer++.exe'
$Trg = New-ScheduledTaskTrigger -AtLogon
Register-ScheduledTask Explorer-Start -Action $Act -Trigger $Trg
При помощи данных команд мы создали задачу, которая называется Explorer-Start, и которая будет запускаться при каждом входе пользователя в систему.
То есть, если вы завершите сеанс подключения к VPS командой logoff, после чего снова войдёте на сервер, то Explorer++ откроется, когда произойдёт вход вашей учётной записи в систему.
Метод второй — установка родного браузера
В данном методе мы будем использовать дополнительный пакет компонентов, который необходимо будет добавить в установки основных серверных компонентов операционной системы. Речь идёт о Server Core App Compatibility Feature on Demand (FOD), который может вернуть в систему средство «Просмотр событий» (Eventvwr.msc), монитор ресурсов (Resmon,exe), Проводник (Explorer.exe) и даже Windows PowerShell (Powershell_ISE.exe).
Для установки пакета войдите в PowerShell и запустите следующую команду:
Add-WindowsCapability -Online -Name ServerCore.AppCompatibility~~~~0.0.1.0
После чего необходимо перезапустить сервер:
Restart-Computer
В результате у вас появится возможность запускать даже Microsoft Office, но при этом система потеряет порядка двухсот мегабайт оперативной памяти. Причём потеряны они будут навсегда, и даже если в вашей системе не будет активных пользователей.
Но вернёмся к графической оболочке. Чтобы запустить проводник из командной строки необходимо набрать:
explorer
Начинающим
Схема работы на кластере
Схема работы на кластере проиллюстрирована ниже на примере кластера «Уран» с использованием программ WinSCP и PuTTY (см. Программы удаленного доступа).
Для вычислений на компьютере или кластере нужен исполняемый файл программы и, как правило, исходные данные. Поскольку на компьютере пользователя обычно установлена операционная система Windows, а на кластере — Linux (разновидность UNIX), то для счета на кластере необходимо получить исполняемый файл с помощью одного из компиляторов кластера. Следовательно, на кластер должен быть переписан текст программы.
Для удаленного копирования файлов используется программа WinSCP.
Пользователь копирует файлы (текст программы, исходные данные) с персонального компьютера в свой домашний каталог на кластере:
на рисунке это копирование в /home/u9999, где u9999 — имя (идентификатор, login) пользователя на кластере.
Компиляция программ и запуск задач на счет осуществляются после входа на кластер через программу удалённого доступа PuTTY. Набирая в окне PuTTY соответствующие команды, пользователь выполняет на управляющей машине (хосте) нужные ему действия, в частности, компиляцию и запуск задач на кластере. При этом запуск задачи осуществляется с помощью постановки её в очередь на счет. Ведением очереди и стартом задач на вычислительных узлах занимается система SLURM. Во время счета параллельные вычислительные процессы задачи могут обмениваться данными по коммуникационной сети и имеют доступ к домашнему каталогу.
Пользователь в любой момент может получить информацию о своих задачах в очереди и о доступных ресурсах кластера.
Ускорение вычислений достигается лишь после преобразования последовательной программы в параллельную, обычно с применением стандартов MPI и OpenMP. Запуск задач на кластере осуществляется с учетом особенностей программ, в частности, с учетом использования MPI и/или OpenMP. Для отладки полезно запустить на кластере последовательный тестовый вариант программы. Так же как параллельные, последовательные (однопроцессные) программы должны запускаться путем постановки в очередь.
Для работы на кластере полезно ознакомиться с базовыми командами ОС UNIX.
Внимание! По правилам пользования вычислительным кластером «Уран» счетные задачи можно запускать лишь на вычислительных узлах кластера, используя команды системы SLURM srun, sbatch или упрощенную команду mqrun (см. раздел Запуск задач на кластере). Такое ограничение связано с тем, что исполняющиеся на хост-машине процессы счетного характера на длительное время занимают процессорные ядра хост-машины, затрудняя работу с кластером всех остальных пользователей.
Вход на кластер по секретному ключу
- Доступ по ключу
- Использование агента аутентификации
- Генерация ключей в UNIX
- Совместное использование ключа и пароля
- Основные ссылки
Для входа на кластер пользователь должен иметь логин (имя пользователя) и для аутентификации (подтверждения подлинности) ключ или пароль (password).
Поскольку использование ключа обеспечивает большую конфиденциальность и дает возможность избавиться от подтверждения пароля для операций типа scp (удалённого копирования файлов), доступ по ключу рассматривается в дальнейшем как более предпочтительный.
Поэтому первоначально, а также при утере пароля или ключа для обеспечения доступа к кластеру необходимо создать ключи, как это описано ниже.
Для входа на кластер из ОС Windows можно воспользоваться программой PuTTY (см. Программы удаленного доступа).
Доступ по ключу
Для организации доступа по ключу требуется выполнить следующую последовательность действий.
1. Сгенерировать и сохранить на своем компьютере приватный (секретный) и публичный ключи,
используя программу PuTTYgen из поставки PuTTY, как проиллюстрировано в инструкции [1]. При этом публичный ключ следует сохранить в файле Блокнота, копируя текст из PuTTYgen: начиная с типа ключа ‘ssh-rsa‘ и заканчивая знаками ‘==’ и комментарием с датой вида ‘rsa-key-20150421’.
Секретный ключ рекомендуется зашифровать кодовой фразой (паролем секретного ключа, passphrase) и хранить в безопасном месте.
2. Добавить публичный ключ в файл ~/.ssh.authorized_keys каталога на сервере ( ‘~’ обозначает домашний каталог пользователя). Пользователь может сделать это самостоятельно (если у него есть доступ на кластер по паролю или другому ключу, см. [1]) или отправить файл с публичным ключом администратору кластера на адрес parallel@imm.uran.ru. Администратор кластера установит публичный ключ и сообщит об этом пользователю.
3. Создать в PuTTY именованную сессию (Session) для работы на кластере с доступом по ключу, для чего вставить путь к секретному ключу в разделе Connection->SSH->Auth, вернуться в раздел Session и, заполнив поля Host Name и Saved Sessions значениями, например umt.imm.uran.ru и umt, сохранить настройки (см. [1]).
После этого работа с кластером может быть инициирована двойным нажатием на имени созданной сессии.
Использование агента аутентификации
Если секретный ключ защищён кодовой фразой (passphrase), то запуск агента аутентификации, программы Pageant из поставки PuTTY (см. инструкцию [2]), избавляет от ввода passphrase при повторном соединении по ключу с кластером на период времени до завершения работы агента.
Pageant можно запустить, например, двойным кликом на секретном ключе и набором его кодовой фразы (если есть). В результате в системной области панели задач (внизу справа ) появится иконка Pageant.
Далее (при каждом входе на кластер) правой кнопкой мыши открываем меню и выбираем для запуска нужную сессию (umt).
Генерация ключей в UNIX
В UNIX-системах для генерации ключей используется утилита ssh-keygen,
создающая два файла: ~/.ssh/id_rsa и ~/.ssh/id_rsa.pub (имена по умолчанию),
агент аутентификации запускается с помощью утилиты ssh-agent.
Совместное использование ключа и пароля
Имея доступ по ключу, пользователь при необходимости может запросить пароль у администратора кластера. Администратор создает пароль (password) и кладет его в домашний каталог пользователя, сообщая ему об этом.
Пользователь всегда может изменить пароль командой passwd.
Надо иметь в виду, что при входе на кластер сначала делается попытка пройти аутентификацию по ключу, а в случае неудачи — по паролю.
В PuTTY удобнее иметь разные сессии для доступа по ключу или паролю.
При доступе по паролю вводить password требуется всегда. В случае использования ключа кодовая фраза (passphrase) запрашивается (если есть), но возможно только один раз и возможно для доступа ко многим системам. Поэтому кодовая фраза может быть более сложной, что повышает безопасность, не слишком усложняя работу пользователя.
Основные ссылки
1. Настройка аутентификации по ключу в PuTTY
2. Работа с агентом аутентификации в PuTTY
Программы удаленного доступа
Для работы на суперЭВМ с персонального компьютера пользователю необходимо установить программы на компьютере, которые обеспечат
удаленный доступ к командной строке сервера для компиляции программ и запуска задач,
возможность обмена файлами между компьютером и сервером
и позволят использовать удобный графический интерфейс.
1. Удаленный доступ к командной строке сервера
Доступ к серверам осуществляется через протокол SSH (собственно SSH – « secure shell »). Для работы с командной строкой рекомендуется программа PuTTY. Эта программа позволяет единожды ввести адрес сервера и, в дальнейшем, выбирать его из списка сессий. В настройках PuTTY необходимо указать протокол SSH. При первом соединении с сервером программа выдает предупреждение о том, что ключ шифрования сервера ранее не использовался, и предлагает его сохранить или отвергнуть (продолжить сеанс или прервать). Естественно надо выбрать продолжение сеанса.
Полезно более подробно ознакомиться с установкой и некоторыми настройками программы PuTTY.
Пример диалога при входе на сервер UM16 с именем xxxxx с компьютера ada.imm.uran.ru:
login as: xxxxx Password: (ввести пароль) Last login: Tue Sep 6 16:31:23 2005 from ada.imm.uran.ru
Вы можете изменить свой пароль в любое время, набрав команду passwd, например:
[~@um16]:passwd Password for xxxxx@IMM.URAN.RU: (наберите здесь свой текущий пароль) Enter new password: (наберите новый пароль) Enter it again: (повторите новый пароль) Password changed. (успешная смена пароля)
Для того чтобы защитить свою учетную запись, придерживайтесь следующих рекомендаций:
— используйте пароль не менее, чем из 6 букв и цифр и храните его в секрете;
— один раз в полгода меняйте свой пароль;
— никогда не оставляйте активный терминал без внимания, всегда выходите (logout) со своего терминала (заканчивайте сеанс) прежде, чем покинуть его;
— обязательно сообщайте о любом неправильном использовании или злоупотреблении системному администратору, иначе доступ к серверу будет закрыт.
Для того, чтобы завершить сеанс работы на сервере, выполните команду logout.
2. Обмен файлами между компьютером и сервером
Для обмена файлами между компьютером и сервером рекомендуется использовать программу WinSCP.
При копировании файлов (протоколы SCP – “secure copy ” и SFTP – “ secure ftp ”) в настройках WinSCP рекомендуется выбрать протокол SFTP. Программа WinSCP позволяет сохранить имя пользователя и пароль. При первом соединении с сервером программа выдает предупреждение о том, что ключ шифрования сервера ранее не использовался, и предлагает его сохранить или отвергнуть (продолжить сеанс или прервать). Естественно, надо выбрать продолжение сеанса. Программа WinSCP может использоваться как самостоятельное приложение и как плагин для других программ проводников, например для Far Commander.
Тексты программ и данные для задачи можно записать в отдельный каталог на сервере, тогда вся информация по этой задаче будет сохраняться в этом каталоге (объектные модули после трансляции текстов программ, файл с сообщениями об ошибках, выходные файлы).
На сервере существует понятиe домашнего каталога, это каталог с именем /home/имя_пользователя. При работе с командной строкой этот каталог становится текущим после установления терминального соединения. Программа WinSCP может запоминать последний посещенный в предыдущей сессии каталог. Поэтому важно следить, в какой каталог производится копирование.
После копирования необходимо перейти в рабочий каталог, выполнить компиляцию программы и ее запуск.
Полезно ознакомиться с информацией об установке и некоторых настройках программы WinSCP.
3. Графический интерфейс
Для работы с сервером удобно использовать графический интерфейс. В настоящее время предпочитаемой программой для подключения к рабочему столу кластера в графическом режиме является X2Go Client (замена программы NX Client, которая больше недоступна для скачивания с сайта производителя).
Для удалённого запуска графических Linux программ с использованием протокола X-Window предназначена и программа MobaXterm_vx.x.exe.
Установка и настройка программы PuTTY
Для установки программы PuTTY на свой компьютер воспользуйтесь ресурсами http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html
Чтобы войти на нужный кластер, необходимо:
- Запустить программу PuTTY.
- В открытом окне ввести имя кластера(Host Name).
- Выполнить команду OPEN.
Откроется окно , в котором после ввода логина и пароля пользователь может работать на кластере из командной строки или используя Midnight Commander.
В начале сеанса выдается информация о кластере .
Для удобства работы можно выполнить некоторые настройки и сохранить их для дальнейших сеансов.
Например, чтобы при входе на кластер пользователь мог прочитать вводный текст на русском языке, необходимо выбрать кодировку UTF – 8 и сохранить данную настройку, проделав следующие шаги.
Открыть окно PuTTY
Выбрать раздел Translation.
Выбрать кодировку UTF – 8.
Перейти к разделу Session.
Ввести имя кластера в окнах Host Name и Saved Sessions.
Нажать клавишу Save (сохранить)
и затем Open .
В дальнейшем для начала сеанса на кластере достаточно выделить нужную сессию и нажать Load, затем Open или выполнить двойной клик на имени сессии.
ВНИМАНИЕ!
Чтобы настроить нужную кодировку при работе на другом кластере, необходимо повторить все шаги заново для этого кластера.
В итоге при запуске PuTTY будет открываться окно
Пользователю достаточно выбрать нужный кластер и начать работу.
Желаем удачи!
Установка и некоторые настройки программы WinSCP
Программа WinSCP предназначена для удаленной работы с файлами на компьютерах/серверах.
Скачать программу можно с сайта разработчиков
Стиль графического интерфейса, выбранный в процессе установки, в дальнейшем можно изменить.
По окончании работы мастера установки на рабочем столе будет создан ярлык
и откроется окно,
Можно заново выбрать привычный для работы интерфейс.
Ввести необходимую информацию для подключения к выбранному серверу. Пароль лучше не вводить и не сохранять.
Сохранить эти настройки.
Аналогично можно выполнить и сохранить настройки для входа на другие серверы/кластеры.
Теперь остается выбрать сессию и выполнить ВОЙТИ.
Во время первого сеанса выдается диагностика,
выбрать ДА и продолжить работу.
Если пароль не был сохранен, то надо будет его ввести в новом окне.
Далее можно работать с файлами исходного компьютера и сервера, используя настроенный интерфейс.
Однопанельный в стиле «Проводника»:
Либо двухпанельный в стиле «Командера»:
При закрытии окна рабочего инерфейса можно закончить сеанс работы.
Желаем удачи!
Mosh (Mobile Shell)
Одним из средств удаленного доступа к кластеру «Уран» является Mosh (Mobile Shel — мобильная оболочка). Mosh является альтернативой для интерактивного терминала SSH. Реализации Mosh — доступны для Windows, Linux, Android и iOS. Особенностью Mosh — является то, что она позволяет получить доступ к серверу с мобильного телефона при плохом качестве связи. Mosh поддерживает кратковременные перерывы связи и позволяет вводить команды в командной строке даже тогда, когда связь временно отсутствует. После восстановления связи, команды передаются на сервер, а экран обновляется, чтобы показать последние сообщения.
В Linux клиентская часть Mosh устанавливается стандартными средствами установки программ. Для Android необходимо установить эмулятор командной строки — termux, и выполнить в нем команду apt install mosh. В Windows и ChromeOS Mosh устанавливается как расширение браузера Chtome.
ВНИМАНИЕ. Закрытие окна приложения Mosh в любой ОС, не завершает сеанс на сервере, но делает его недоступным. Для корректного завершения работу используйте команду exit. Удаление незавершенных сеансов на сервере описано ниже.
Описание установки Mosh из браузера Google Chrome по шагам:
Шаг № 1.
Вызываем Google Chrome и входим в настройки через кнопку «Настройки и управление Google Chrome»
Шаг № 2
В открывшемся окне выбираем «Дополнительные инструменты/Расширения» или «Настройки/Расширения» (в зависимости от версии Chrome);
Шаг № 3.
Вызвав «Расширения» и не обнаружив MOSH, идем в «Интернет магазин Chrom»
Шаг № 4.
Mosh появился в «Расширения».
Вы можете работать прямо в браузере, если дважды щелкните на иконке с изображением Mosh , или установить приложение в «Главное меню» компьютера и запускать Mosh из меню кнопки «Пуск».
Шаг № 5.
Произошел вызов Mosh.
Заполните текстовые поля для Username (ваш логин) и Hostname (имя хоста umt.imm.uran.ru), затем нажмите Connect.
Шаг № 6
После ввода пароля и появления приглашения командной строки можно начинать работать!
Несколько полезны советов.
Как добавить закрытый ключ.
Закрытый ключ добавляется при запуске Mosh по ссылке «Add ssh key». После задания ключа работа с Mosh будет происходить без запроса пароля. В диалоговое окно вставляется текст секретного ключа, который можно взять из файла ~/.ssh/id_rsa на сервере. Кнопка Save сохраняет ключ в постоянном хранилище браузера.
Если повторно выбрать «Add ssh key», то поле для ключа будет содержать напоминание о том, что ключ уже был задан. Если ключ ещё нужен, то можно закрыть окно крестиком. Если нажать кнопку Save не вводя новый ключ, то текущий ключ удалится из памяти.
Как задать отображение русских букв в сеансе работы с Mosh.
Чтобы правильно отображать русские буквы необходимо в Preferences, в текстовом поле для «font-family» выбрать шрифт «monospase» (из списка удалить все кроме «monospase.
Как выбросить все сеансы работы c Mosh.
В командной строке выполните команду:
killall -KILL mosh-serverОсторожно. Если вы работаете через Mosh, то закроется и текущий сеанс.
Использование MobаXterm
Программа MobaXterm_vx.x.exe объединяет в себе текстовый терминал и средства для удалённого запуска графических Linux программ с использованием протокола X-Window.
Программа распространяется в виде переносимой (portable) версии в архиве с именем MobaXterm_Portable_vx.x.zip ( x.x — это номер версии), или в виде архива с инсталлятором MobaXterm_Installer_vx.x.zip, которые можно бесплатно получить на сайте разработчика.
Запустите MobaXterm_vx.x.exe :
Рисунки №1 и №2 демонстрируют вызов программы MobaXterm_vx.x.exe, которая открывает терминал.
В командной строке наберите ssh umt.imm.uran.ru и введите имя пользователя и пароль. Теперь можно запускать графические приложения, например matlab. При запуске в конец строки можно добавить символ &, что позволит освободить командную строку для ввода последующих команд:
matlab &
Переключение русской раскладки в графических приложениях
На графические приложения XWindow переключение раскладки в текстовой консоли никак не влияет. Чтобы в графических приложениях можно было переключать раскладку надо до их запуска в консоли на удалённой машине выполнить команду, которая назначит переключение на сочетание Левый Alt+ Shift.
setxkbmap -layout us,ru -variant winkeys -option grp:alt_shift_toggle
Для удобства можно вставить эту команду на автовыполнение, например, добавив команду в файл ~/.bash_profile В версии MobaXterm Pro в расширенных настройках ssh-соединений команду можно прописать в поле Advanced SSH Settings -> Execute conmmand.
Программное обеспечение кластеров
Программное обеспечение кластера (трансляторы, библиотеки, пакеты прикладных программ и т. д.) обновляется и пополняется при выходе новых версий и по запросам пользователей (на адрес parallel@imm.uran.ru). Для компиляции программ доступны Intel компиляторы (бесплатно для некоммерческого использования в версиях Linux), свободно распространяемые компиляторы серии GCC (GNU Compiler Collection) и компиляторы Portland Group (PGI) с языков C , C++ , Fortran:
Intel (icc, icpc, ifort) GNU (gcc, g++, gfortran, g77) PGI (pgcc, pgcpp, pgf77, pgf90, pgf95)
Для трансляции Паскаль-программ можно воспользоваться Free Pascal Compiler (fpc).
Для организации межпроцессного взаимодействия можно использовать следующие библиотеки обмена сообщениями, реализующие стандарт MPI:
MVAPICH2 OpenMPI MPICH2
MPI (Message Passing Interface) ориентирован, прежде всего, на системы с распределенной памятью. Возможно распараллеливание программ и с помощью стандарта OpenMP (Open Multi-Processing), ориентированного на системы с общей памятью (см. Компиляция и запуск задач с OpenMP), а также стандартов CUDA (см. Использование CUDA) и OpenACC (Open Accelerators), нацеленных на использование графических процессоров (GPU). В компиляторах Portland Group реализованы как OpenMP, так и OpenACC (см. PGI Accelerator и OpenACC).
На кластере установлено программное обеспечение (ПО) фирмы Intel для профилировки и отладки – Intel Parallel Studio XE. Это ПО позволяет находить наиболее нагруженные места в приложении, подсчитывать степень параллельности программы, находить тупики и гонки в параллельных программах и т.д. Основные инструменты Advisor XE, Inspector XE и Vtune Amplifier XE находятся в соответствующих папках в каталоге /opt/intel (см. Инструменты Intel для профилировки и отладки).
Для смены компиляторов и библиотеки MPI, а также выбора других пакетов прикладных программ используйте модули установки переменных окружения .
Доступные пакеты
Имеются академические лицензии на пакеты Matlab и ANSYS CFX Academic Research.
Информация о запуске программ из этих пакетов находится на страницах:
- Запуск параллельного Matlab — краткая инструкция
- Параллельный Matlab — полная инструкция
- Запуск программ из пакета ANSYS
Установлены по запросам и используются пакеты OpenFOAM, GAMESS, SIESTA, VASP и др.
Компиляция программ на кластере
Выбор среды компиляции
По умолчанию на каждом кластере установлен определенный набор компиляторов и библиотек. При входе на вычислитель каждому пользователю на экран выдается информация о некоторых установках по умолчанию, а также дополнительная служебная информация. Для выбора другого доступного ПО (компилятора, библиотеки обмена сообщениями, пакета прикладных программ) необходимо использовать модули установки переменных окружения. Для быстрого доступа к настройкам основных модулей можно воспользоваться командой mpiset (эта команда без параметров выдает текущие установки). В дальнейшем, при запуске задачи на счет, необходимо следить, чтобы выставленная конфигурация (например, через mpiset) совпадала при компиляции и при запуске.
О компиляции
Компиляция (в расчете на использование MPI) выполняется утилитами (командами):
mpiccдля программ на Сиmpicxxдля программ на C++mpif77для программ на Фортране 77mpif90для программ на Фортране 90
Они запускают компилятор, передавая ему дополнительные флаги, специфичные для MPI (ключ -show у этих утилит покажет, какая команда будет выполнена). Заметим, что компиляция программы (например исходной) без MPI может быть выполнена и обычными средствами со ссылкой на используемый компилятор (icc, gcc, pgcc, …).
Для файлов на Си и C++ важно расширение имени файла: для языка Си это .c, для языка С++ это .cxx.
В командной строке задается список файлов, которые надо откомпилировать, и имя выходного файла. Для удобства желательно сообщения об ошибках компиляции перенаправить в файл. Например, если наш исполняемый файл должен называться outprog и собирается из файлов in1.c и in2.c, находящихся в каталоге proj, то необходимо выполнить следующие действия:
cd proj
mpicc –o outprog in1.c in2.c 2>errors.log
Сообщения об ошибках компиляции попадут в файл errors.log. В командной строке файл можно пролистать командой:
less errors.log
При пролистывании используются клавиши <Пробел> — следующая страница, b — предыдущая страница, q — выход из просмотра.
Подключение дополнительных библиотек обеспечивается добавлением опции –l<имя_библиотеки> в строку компиляции. Например, библиотека BLAS подключается так:
mpicc -o mytest mytest.c -L /usr/lib64/atlas -lcblas Если программа скомпилирована успешно, создастся файл mytest. Это можно посмотреть в WinSCP, не забыв обновить список файлов в окне, или в командной строке командой ls, которая выдает список файлов.
Компиляция программ, использующих для распараллеливания стандарты OpenMP, CUDA и OpenACC, а также особенности запуска таких программ рассмотрены в отдельных инструкциях, а именно:
- Компиляция и запуск приложений с OpenMP
- Использование CUDA
- PGI Accelerator и OpenACC
Базовые команды ОС UNIX
Полная информация по UNIX командам и их параметрам выдается с помощью справочной командыman <имя команды> (q или Q — выход из man).
Далее под именем файла понимается простое, полное или относительное имя файла.
Простое имя файла — это имя файла в текущем (рабочем) каталоге (директории), например, mytest.
Полное (абсолютное) имя файла включает путь от корневого каталога, обозначаемого символом слеш (/), до каталога, содержащего файл, например, /home/u9999/dir/mytest
(слеш используется и как разделитель подкаталогов). Заметим, что /home/u9999 называется домашним каталогом пользователя u9999, домашний каталог обозначается тильдой (~).
Относительное имя файла содержит путь, который отсчитывается от текущего каталога и, следовательно, не начинается со слеша, например, dir1/mytest1.
Аналогичные пояснения относятся и к именам каталогов.
Следует иметь в виду, что большие и малые буквы в UNIX различаются.
При наборе команд и путей к файлу можно нажимать клавишу Tab для автодополнения имен; с помощью стрелок вверх и вниз можно выбрать ранее выполнявшуюся команду.
Ниже перечислены основные команды, с которыми полезно ознакомиться для работы в ОС UNIX:
pwd— выдать полный путь текущего каталога;mkdir <имя каталога>— создать каталог;cd <имя каталога> — сменить текущий каталог;cd .. — перейти в каталог уровнем выше ;cd— перейти в домашний каталог ;ls— распечатать содержимое текущего каталога;ls <имя каталога>— распечатать содержимое заданного каталога;rm -R <имя каталога>— удалить каталог со ВСЕМИ (опция-Rили-r) подкаталогами и файлами в нем;rm <имя файла>— удалить файл. Удалённый файл или каталог восстановить невозможно;cp <имя копируемого файла> <имя каталога, в который копируем>— копировать файл, напримерcp /home/u9999/mytest /home/u9999/dirmv <имя исходного файла> <имя каталога, в который перемещаем|имя файла, в который переименовываем>— переместить (переименовать) файл;cat <имя файла>— выдать содержимое файла на консоль;more, less— команды просмотра текста;gzip <имя файла>— сжать файл;gunzip <имя файла>.gz— расжать файл;tar <опции> <имя архива>.tar <имена файлов и каталогов>— работа с архиватором tar;size <имя файла с исполняемой программой>— выдать размер исполняемой программы в байтах, например$ size mytest text data bss dec hex filename 423017 12016 2128658400 2129093433 7ee76339 mytestгде
text— размер выполняемого кода,data— размер области инициализированных данных,bss— размер области неинициализированных данных,dec— общий размер программы,hex— общий размер программы в шестнадцатеричной системе,filename— имя программы. Если имя не указано, то будет использоваться a.out ;quotacheck(добавленная команда) позволяет узнать назначенный пользователю лимит дискового пространства и текущий объем его данных на диске, например$ quotacheck User: u9999 Used: 25.18GB Limit: 100.00GBdu <опции> <имя файла или каталога>— оценка места на диске, занимаемого файлом или каталогом, напримерdu -h mytestопция
-hиспользуется для более удобной формы выдачи (например, 1K 234M 2G), иначе по умолчанию в K, т.е. в Kбайтах (1 Кбайт=1024 байт); опция--siкак-h, но использует степень 1000, а не 1024.du -sh /home/u9999опция
-sиспользуется для выдачи суммарного места на диске, занимаемого пользователем u9999.
При отсутствии аргумента-имени выдается информация для текущего каталога:
du -sh— размер текущего каталога;
du -h— размер каталога и подкаталогов.find <имя каталога> -mtime <количество суток>— выдать имена всех файлов из <имя каталога> и его подкаталогов, которые изменялись в последние 24*(1+<количество суток>) часов;passwd— сменить пароль;uptime— получить время непрерывной работы сервера;exit— выйти из оболочки (или отключиться от машины).
Работа с архиватором tar
tar <опции> -f <имя архива.tar> <имена файлов и каталогов>Опции:
-
-f— указать имя файла архива. По умолчанию архив читается со стандартного ввода.-f -— явное задание чтения архива со стандартного ввода. -
-c— создать архив и записать в него файлы; -x— извлечь файлы из архива;-
-t— просмотреть содержимое архива; формат вывода аналогичен командеls –l; если имена файлов не указаны, то выводятся сведения обо всех файлах архива; -
-z— использовать программуgzipдля сжатия при архивировании файлов и для обратной распаковки архива перед извлечением из него файлов. Файлу сжатого архива принято давать с расширением.tar.gzили сокращённо.tgz; -
-j— аналогично-zтолько для программыbzip2и архивов с расширением.tar.bz2или.tbz;
В современных версияхtarопции вызова программы сжатия-z,-jи т.п. указывать не обязательно — формат архива распознаётся автоматически. -
-p— при извлечении сохранить права доступа к файлам (по умолчанию сбрасываются права указанные в маскеumask); -v— выводить имена всех файлов, которые обрабатываются; если выбрана и опцияt, тоvдает больше информации о сохраненном файле, а не просто его имя.
При использовании нескольких опций знак «-» перед опциями не ставится.
Примеры
tar cf myarch.tar file1 file2 … filen — создание архива myarch.tar и запись в него перечисленных файлов;
tar cf myarch.tar mydir — создание архива из содержимого каталога mydir и всех его подкаталогов в файле myarch.tar;
tar xvpf myarch.tar— извлечение файлов из архива; при извлечении формируются и все подкаталоги; (f — ссылается на архивный файл, данная опция ставится последней в списке опций; p — заархивированные файлы будут восстановлены с изначальными правами доступа; v — выводятся имена извлекаемых файлов);
tar tf myarch.tar — выдача списка всех файлов, хранящихся в архиве myarch.tar;
tar cfz myarch.tgz mydir — архивация файлов с последующим сжатием архива программой gzip;
tar xfz myarch.tgz — вызов gzip для распаковки архива перед извлечением файлов;
zcat myarch.tgz | tar xf - — вызов внешней программы распаковки и передача распакованного архива через перенаправление стандартного ввода.
Архив
Установка и настройка NX клиента для Windows
- Дистрибутив NX клиента для Windows (nxclient-x.x.x-x.exe, где x.x.x-x — это номер версии) можно бесплатно получить на сайте разработчика www.nomachine.com в разделе
DOWNLOAD->Legacy NX 3.5.0 products (NX Client for Windows в списке NX Client products).ВНИМАНИЕ! Версия 3 была полностью заменена версией 4, коммерческой.
Вместо программы NX Client можно использовать программу X2Go Client, а также MobaXterm_vx.x.exe.Чтобы начать процедуру установки запустите скаченный файл и проделайте весь путь инсталляции до добавления NX Client for Windows в меню:
-
Запустите NX Connection Wizard (мастера настройки NX) для установки вашей сессии
Диалоговое окно настройки сессии:
Далее:- • Host — имя сервера, к которому планируется подключение. Для кластера «Уран» это имя umt.imm.uran.ru .
- • Port— номер порта, на котором сервер ждет подключений — 22.
- • Ползунок с подписями «Modem», «ISDN», «ADSL», «WAN» и «LAN» — меняет степень сжатия данных в канале между сервером и клиентом и позволяет снизить объем трафика в канале связи «клиент <-> сервер». Выбор левой отметки означает меньшую нагрузку на сеть и большую на процессор, а правой отметки — большую нагрузку на сеть и меньшую на процессор.
Итак, задав имя сервера, порт, имя сессии вам необходимо задать параметры рабочего стола:
• Desktop — выбор параметров рабочего стола. В одном выпадающем списке выбирается ОС, запущенная на сервере, к которому планируется подключение. Во втором выпадающем списке выбирается графическая оболочка (Gnome, KDE, пр.), вход в которую будет осуществлен автоматически. Рекомендуем задавать KDE.
• Display — установка размеров экрана. Можно выбрать конкретные значения (например, «640х480» или «800х600» и т.д.), можно выбрать полноэкранный (Fullscreen) или пользовательский (Custom) размеры…
Следующее диалоговое окно будет завершающим настройку соединения. - В дальнейшем вызвав NX Client for Windows и задав сессию
вы можете увидеть примерно следующее:
Примечание:
Сессия считается завершенной только после выключения компьютера. Закрыв окно сессии, вы можете вернутся к истории ваших команд, если повторно закажите сессию.
Настройка русской клавиатуры в NX клиенте
Для настройки русской клавиатуры в NX клиенте используются стандартные механизмы Linux. В графической среде, установленной на кластере «Уран», настройка выполняется следующим образом:
Нажимаем на кнопку «Пуск» в левом нижнем углу Linux’овского рабочего стола.
Выбираем меню «System settings»->»Regional & language»
Выбираем подпункт «Keyboard layout» и на вкладке «Layouts» ставим галочку в «Enable keyboard layouts»
Добавляем русский язык в «Active layouts»
На вкладке «Switching options» и «Advanced» выбираем сочетание клавиш для переключения раскладок и объекты на которые распространяется действие переключения. На скриншотах переключение настроено по сочетанию клавиш «Alt+Пробел» одновременно для всех запущенных программ.
