Гибрид vs Бездиск в компьютерном клубе: личный опыт

Пока в чатиках регулярно обсасывается теория про превосходство того или иного решения, в нашем стане появились практики, сравнившие обе эти системы.

Андрей Михальченко и Александр Оленев, в чьём ведении находятся тюменские eSports Central Arena и МЯТА Cyber, не только опробовали гибрид и бездиск в своих клубах, но и описали для нас с вами этот опыт в большую статью.

Огромное им спасибо за этот труд от лица LANGAME. А если вы хотите поддержать подобные начинания нашего коммьюнити, просто прочитайте статью до конца.

Пользовательский опыт системы CCboot и переход на TrueNAS от лица управляющего и ИТ-специалиста

« Чтобы избежать большого количества вопросов, а также возможного недоумения более компетентных коллег, сообщаю сразу: на момент старта проекта мы являлись новичками в этом виде бизнеса, нам некому было подсказать, как делать правильно, предостеречь от ошибок. Данная статья не говорит о том, как надо делать или, наоборот, не надо. Это, скорее, повествование о личном опыте и о лично принятых решениях, без оценки их правильности. Прочитав статью, каждый сам решит, что ему стоит из нее почерпнуть или просто отправит ее в корзину с мыслью: «Как это развидеть?».

В начале 2020 годы мы начали планировать открытие клуба. Клуб планировался большой, 75 ПК и, соответственно, встал вопрос: «Какую систему выбрать?». Начали изучение, смотрели местные клубы, читали форумы, по возможности общались с людьми, клубы которых уже работают, и пытались получить обратную связь о той или иной системе. Даже посмотрели передачу «Теперь я Босс», с Дмитрием Лукиным в главной роли. В поле нашего внимания попали три системы: классическая на HDD/SSD, система CCboot и гибридная система. Последнюю мы сразу отмели, т.к. не нашли клубы, где она реально была применена, посчитав, что если бы она была лучше, то имела бы большее распространение. Да, согласен, подход был дилетантский)))

По итогу, на тот момент мы выбрали ССboot по следующим причинам:

1️⃣ Планировалось 75 ПК, и обновлять игры вручную было бы очень трудозатратно;

2️⃣ При выборе CCboot виделась существенная экономия на HDD/SSD, но понимали, что большую часть этих средств мы потратим на закупку сервера;

3️⃣ Большая часть клубов нашего города использовали HDD, и мы считали, что получим конкурентное преимущество при использовании CCboot;

4️⃣ Местный поставщик компьютерной техники, а также тех. поддержка CCboot заверили нас, что раз в ПК нет HDD/SSD, то не надо закупать Windows (Это, наверное, самое смешное).

Ну, выбор сделан, пора переходить к закупкам. Под нужды CCboot мы закупили 2 одинаковых сервера. Планировали использовать один как основной, второй, как резервный при выходе из строя первого. Соответственно резервный настраивался как полная копия основного. При подборе сервера консультировались с тех. поддержкой CCBoot.
 

По итогу приобрели сервер вот в такой конфигурации: i7-9700K / 64Gb ОЗУ / SSD 250Gb – 3шт. / SSD 2Tb – 3шт. / SSD M2 250Gb – 1шт. / Сетевая карта на 4 порта по 1Gb / Стоечный корпус на 4U. 

Сетевое оборудование выбрали такое:

- Входящий интернет 1 Гигабит/с;

- Коммутаторы Zyxel GS1100-24;

- Маршрутизатор Mikrotik RB3011UiAS-RM; 

- Сеть строили таким образом, чтобы из серверного шкафа, из коммутатора шел отдельный провод до каждого ПК;

- Сетевая карта была настроена с агрегацией, чтобы увеличить скорость между сервером и коммутатором. 

Все настроили, провели тестирование, все работает, запустили клуб!

По началу всем все нравилось, но постепенно загрузка клуба росла, нагрузки на сервер и сетевое оборудование тоже росли. Со временем гости клуба начали жаловаться на долгую загрузку игр. Также гости начали ловить лаги, если кто-то в клубе начинал что-то качать, или приходила компания и они всей толпой запускали Варзон. Обработав эту информацию, мы приняли решение, что нужно пойти на риск, убрать резервный сервер, но разделить клуб пополам и «повесить» каждую половину клуба на отдельный сервер. Очевидно, мы ожидали двукратного снижения нагрузки на сервер и сетевую инфраструктуру. В реале, да, нагрузка снизилась, но не в два раза. Тем не менее на какое-то время это решило наши проблемы.

Но время шло, загрузка клуба росла, и мы снова столкнулись с этими же проблемами, плюс к ним еще добавилась проблема с ВАК-ошибками, после которых приходилось перезагружать ПК. А после перезагрузки гости не могли подключиться обратно к своей «катке», за что получали бан на полчаса / час / два, а то и на сутки. Меня, как Управляющего, это очень сильно бесило, ведь мне вместе с админами приходилось решать обоснованные претензии моих гостей. Соответственно у меня становилось много вопросов к моему ИТ-Специалисту, а так как я не особо силен в сетевом оборудовании и серверах, все мою эмоции и вопросы сводились к одной фразе:

«Саша, какого хера??? Где решение???» 

А Саша – молодец! Не реагировал на мои выпады, настойчиво ковырял интернет и взрывал мозг тех. поддержке CCboot. Снова ковырял, снова взрывал. К слову сказать, он и переустанавливал CCboot заново, и перепиливал образы. Это помогало, но ненадолго. Через какое-то рандомное время проблемы возвращались, возвращался и особо ненавистный ВАК. Тогда мы еще не были знакомы ни с LANGAME и их чатами, ни с другими компьютерными чатами.

Летом 2021 года мы были вынуждены перейти с CCboot Classic на его облачную версию по причине того, что Classic не поддерживал актуальные сборки Windows, а нам требовалось ее обновить для стабильной работы Faceit. Но после перехода мы лишились функции балансировки нагрузки между серверами, и нам пришлось вернуться к одному серверу на клуб, что сказалось на производительности системы и усугубило ситуацию с прочими ошибками.

Затем мы пришли к тому, что нам нужно заменить сетевые карты в серверах, уйти от сетевой карты четырьмя Гигабитными RJ портами и перейти на 1 порт SFP+ 10Гб, чтобы соединить сервер и коммутатор на 10Гб скорости. Что мы и сделали! Это закрыло много проблем. Но ВАК остался, хоть стал вылазить значительно реже. Но даже эти 5-9 ошибок в неделю все равно доставляли кучу неудобств.

Так мы прожили чуть больше года с момента открытия нашего клуба.

К этому времени мы уже вступили в чаты LANGAME и компьютерный чат от NVIDIA. Там мы увидели, что мы не одни боремся с такими проблемами. Начали изучать вопрос шире: общаться в чате, продолжать ковырять интернет, взрывать тех. поддержку CCboot и т.д. и т.п. Помимо пересборки образов и перезаливки CCBoot, мы по рекомендации коллег из чатов еще начали прописывать ссылки mklink, но это не помогало, а тех. поддержка CCboot продолжала «разводить руками». Именно в этот момент мы уже начали поглядывать в  сторонугибридной системы. Но информации было мало, людей с опытом ее использования тоже было крайне мало, да и реально отпугивала стоимость перехода, ведь нам нужно было покупать SSD в каждый ПК (а их 75шт) + менять SSD в сервере.

Время шло, проблемы не исчезали. Вернее так, после наших манипуляций они сильно минимизировались, но со временем и ростом загрузки клуба, возвращались и продолжали доставлять существенные неудобства. А мы тем временем уже сменили и роутер, а спустя еще какое-то время и коммутаторы (за что отдельное и огромное спасибо @DVKSN – купил и отправил их нам из Казахстана по очень лояльной цене):

• Роутер MikroTik CCR2004-16G-2S+
• Коммутаторы MikroTik CSS326-24G-2S+RM

Пришла весна 2022 и мы с моим ИТ-Специалистом Александром поехали на Конференцию LANGAME. Там нам удалось переговорить с Дмитрием Лукиным о гибридной системе, которую они используют у себя в сети клубов F5 Центр киберспорта. Из разговора стало понятно, что нам все-таки тоже придется переходить на гибридную систему, чтобы решить наши проблемы, которые к тому моменту сидели уже в печенках. А чтобы описать все внутренние ощущения от них, не хватило бы Великого и Могучего языка.

Вернувшись в Тюмень, мы начали делать расчет, в какую сумму все-таки нам обойдется этот переход, как его наиболее безболезненно провести, сколько это может занять времени, как во всем этом разобраться и настроить? И много чего еще. Хотелось предусмотреть все.

По итогу, для перехода нам потребовалось:

• 75шт. SSD drive Kingston A400 SA400M8/120G 120GB, M.2
• 5шт. SSD drive SAMSUNG 2.5" 870 QVO 4000 GB SATA III V-NAND 4bit MLC (QLC) (MZ-77Q4T0BW)

Магазины компьютерной техники нам предлагали этот комплект за 430т.р. Мы очень задумались и на какое-то время отложили этот вопрос. Но в течение недели нам порекомендовали человека, который занимается закупками в Китае и транспортировкой этих товаров в Россию. У него требуемый нам товар по стоимости выходил в 305 т.р. Такая сумма уже для нас оказалась приемлема, и мы сделали заказ. Спустя месяц ожидания мы наконец получили наш заказ, все, как и заказывали. 
 

Затем мы приступили к подготовительным работам.

В первую очередь Саша начал пересборку одного из наших серверов. Вытащил старые диски и установил новые. Установил TrueNAS, произвел его настройку. Здесь хотели бы поблагодарить ребят из LANGAME, в частности @freemy за неоценимую помощь при настройке сервера, а также очень подробные объяснения о том, что и как нужно делать.

В процессе изучения и настройки TrueNAS, выяснилось, что одним из способов обновлений игр на сервере является использование ПК «из зала». Такой расклад нас не устраивал, так как ограничивал возможность удаленного обновления, а также не хотелось лишний раз занимать свободные ПК, особенно в час пик. К счастью, за долго до сборки сервера, мы заметили, что в функционале TrueNAS присутствует возможность создания «виртуальной машины», что значительно облегчает процесс обновления и сокращает количество ситуаций, в которых у гостя во время начала сессии будут стоять не актуальные версии игр.

Было принято решение не оставлять данный функционал без внимания. Настроили «виртуалку», удаленный доступ к ней, подключили ее к «reference»версии игрового диска, установили все необходимые лаунчеры и настроили в них приоритет на автоматическое обновление.

Из плюсов: мы имеем всегда актуальные версии игр, благодаря виртуальной машине, которая в «live» режиме обновляет большинство игр автоматически, а также доступ к ручному обновлению из любой точки мира.

Из минусов: есть небольшой список игр, который требует большей производительности, чем способна дать «виртуалка», чтобы произвести обновления. В связи с этим пару игр все же приходится обновлять с игровых ПК.

После настройки сервера, Саша сделал образ на одном из SSD, которые необходимо было устанавливать в ПК, а затем расклонировал его с помощью программы Акронис. Но итогу столкнулся с проблемой, что затем Акронис очень проблематично вычистить с образа, которую он всё-таки победил. Затем мы запустили сервер и начали по одному ПК переносить с сервера CCboot на гибридный сервер. Уж очень нам не хотелось закрывать клуб на период перехода.

Весь процесс у нас занял около 2 недель.

И вот мы уже месяц как работаем на гибридной систем и готовы сделать некоторые выводы. Для начала хотели бы вспомнить основной перечень проблем, которые мы испытывали на CCboot:

1️⃣ Ошибки VAC;

2️⃣ Медленная загрузка системы. В сравнении с дисковой и гибридной системой, разница порядка 50-90 секунд, в зависимости от нагрузки на сеть и количества используемых гостями ПК;

3️⃣ Проблемы с обновлением драйверов NVIDIA. Вероятнее всего из-за разных вендоров видеокарт в рамках одного образа. Когда устанавливаешь актуальную версию и при этом ставишь галочку установить GeForce Experience, после сохранения образа и запуска его на другом ПК, система показывает, что драйвера отсутствуют.

4️⃣ На Cloud версии CCBoot, более длительный отклик на любое действие, чем на classic. Иногда одну и туже функцию нужно нажать 5-10-15-20 раз… 

5️⃣ При параллельном запуске обновлений нескольких приложений или отключении ПК с кнопки в режиме изменений, сохранить образ и запустить его - приложения могут удалиться или отмениться все произведенные изменения;

6️⃣ Faceit часто требует актуально обновленную версию Windows. CCBoot же не дает возможности обновить ее, из-за чего приходится в подобных ситуациях переделывать образ. А это достаточно ёмкая работа.

7️⃣ Часто, когда обновляется Faceit, он способен «убить» образ, некорректно внеся изменения в файл faceit.sys. Из-за этого Windows перестаёт запускаться.

Что мы получили, перейдя на гибридную систему TrueNAS:

☑️ Скорость работы системы. ПК загружаются максимально быстро, не успеваешь досчитать до 10;

☑️ Скорость запуска игр;

☑️ Стабильность работы ОС не зависит от нагрузки на локальную сеть;

☑️ Полное отсутствие VAC-ошибок;

☑️ Система бесплатна, в отличие от CCboot;

☑️ Есть возможность обновить Windows, не обновляя образ;

☑️ Система менее требовательна к сетевой инфраструктуре;

☑️ В случае, когда Faceit будет требовать обновление Windows, это можно исправить более оперативно, чем создавать новый образ на CCBoot.

Но это только пока месяц использования. Саша все еще занимается настройкой и доработкой системы. Возможно, через полгода мы сможем более широко изучить функционал системы и настроить ее до безупречного состояния.

На данный моментв всё же есть определенные нюансы, которые нам не нравятся:
 

1. Любое изменение в ОС, требуется производить на каждом ПК по отдельности;

2. Часть игр можно обновлять на созданной виртуальной машине, внутри TrueNAS. Но те игры, что требуют запуск игры для установки обновления, приходится обновлять с игровых ПК;

3. В случае отсутствия скриптов, пересоздающих образ игрового диска после каждой перезагрузки, чтобы обновления были видны на каждом ПК, придётся вручную создавать снапшоты после каждого обновления игр.

Также в чате просили ответить на вопрос о сохранении пользовательских настроек ПК, а также по сохранениям не сетевых игр при отсутствии облачного сохранения.
Что касается пользовательских настроек – мы их не сохраняем. Все зависит от того, есть ли установленная система заморозки. В нашем случае, так как она присутствует, все настройки также откатываются после перезагрузки. Но в исключениях системы заморозки у нас настроены такие приложения как Faceit, Discord, античит Vanguard и т.п., требующие возможность сохранения изменений. В случае если бы у нас не было системы заморозки, у пользователей бы сохранялись все подобные настройки
 

Что касается сохранений – мы это еще не настраивали, т.к. не было подобных запросов от гостей. Но, в теории, можно внести папки с сохранением в исключения системы заморозки, и тогда они будут сохраняться на конкретном ПК. В этом случае гостю нужно будет всегда играть именно за этим ПК.

Спасибо всем, кто дочитал текст до этих строк. Надеемся, что наш опыт все-таки пригодится коллегам по цеху» 

В соавторстве:

Андрей Михальченко – Управляющий, совладелец.
Александр Оленев – ИТ-Специалист.
Клубы eSports Central Arena и МЯТА Cyber, г. Тюмень.