🛠 Советы бывалых. Как клуб MITSAR переехал на гибрид

Всем привет, на связи LANGAME.

Одно из обещаний, которое мы дали в Новом Году, — публиковать больше пользовательского контента. Благодаря Александру Федосову, управляющему клубов MITSAR (Серпухов, Подольск и Чехов), у нас нарисовалась остросюжетная история, которой мы хотим с вами поделиться. В ней есть все: ненависть, внезапные повороты сюжета, предательство (не топ-10 аниме, но все же) и, конечно, хэппи-энд. А всего-то стоило податься не в те серверные степи. Передаем коллеге слово (далее текст идет от первого лица) и наслаждаемся чтением. 

От редактора: мы немного сгладили некоторые острые моменты. Таков путь. 

Начну с небольшого предисловия.

Я администратор и управляющий двух клубов MITSAR в Серпухове и Подольске на протяжении последних двух лет.

Наши клубы с 2019 года работали на дисковой системе SSD + HDD. Годы эксплуатации сказались на дисках не лучшим образом: наработка свыше 40 000 часов, куча битых секторов. И, конечно, все это влияло на уровень гостевого сервиса. Компьютеры зависали, синие экраны у нас прописались на ПМЖ, диски начали умирать. Остро встал вопрос обновления, и я начал думать, как решить данную проблему.

Этап 1. Налево пойдешь — сервер потеряешь…

Рассматривали следующие варианты: 

• замена дисков; 
• CCBoot; 
• TrueNas.

Первый вариант я сразу отмел. Я работаю в клубе уже более 5 с половиной лет, прошел путь от гостя до управляющего. Всю боль работы с дисковой системой я прочувствовал с обеих сторон. Со стороны гостя вас ждут вечные обновления компьютеров/игр/лаунчеров, и хорошо, если твоя игра в принципе будет установлена. Это значительно бьет по качеству сервиса. Со стороны управляющего вылезает другая боль: на оптимизации работы персонала в клубе можно ставить крест. Администраторы будут вынуждены помимо своих базовых задач обновлять ПК чуть ли каждую смену, а проконтролировать обновление игр и лаунчеров своевременно попросту невозможно. Если же вы эту задачу отдаете админам на «аутсорс», предоставляя им лишние доступы, такое решение может привести к очень печальным последствиям. То есть в первом варианте плюсов в принципе не наблюдается.

Дальше я сравнил второй и третий варианты и сделал очевидный выбор в пользу TrueNas. Я прекрасно понимал, что такую серьезную задачу лучше отдать на аутсорс компании, которая специализируется на подобных решениях, предоставляя техническую поддержку 24/7. Еще я проконсультировался с Николаем Быняевым и Андреем Михальченко, которые рассказали мне о возможных проблемах с CCBoot (синие экраны, зависания и дропы фпс). Так что лично для себя вариант с ним я исключил.

Этап 2. В дело включается владелец клуба

Тут-то и начинается наше приключение. Нашего владельца переход на премиум поддержку и гибридный сервер отпугнул своей ценой, из-за чего он сам включился в решение вопроса. А дальше в его жизни случилась роковая консультация с «товарищем», у которого клуб работает на связке «Gizmo + CCBoot». Услышав, что есть «топовый мастер по настройке ссбута!!!!! все работает как часы и единоразово стоит дешево!!!!», он соблазнился этими ценниками. А кого бы не заинтересовали такие лозунги? 

Свой выбор владелец клуба обсудил в другом профильном чате (далее по тексту — ДПЧ; тут было более экспрессивное название, однако его отобрали на таможне, — прим. редактора), там его одобрили, и дело было решено. Я спорил с ним около пары месяцев, и, к сожалению, у меня так и не хватило аргументов, почему мы должны перейти на премиум и гибрид. В ДПЧ считают, что это неоправданно дорого, Gizmo с ценником 100 рублей за устройство работает не хуже, а админы и сами в состоянии обновлять образы. В общем, битву я проиграл (но не войну, об этом дальше) 😏

Этап 3. День Х и приезд специалиста

Поскольку я «сижу на дорогом и бессмысленном ЛГС», мне оставалось смириться с тем, что консультироваться со мной по техническим вопросам больше не будут. ДПЧ считает, что чем дешевле, тем лучше, а админы — лошади, которые сами вспашут все необходимое. Ну что ж, мне просто скинули конфиг сервера (прикреплю скрин), с которого орала чайками вся техподдержка LGS, а также назначили дату и время, когда я должен встретить «самого топового специалиста всея CCBoot». До конца не зная, кто ко мне приедет, я дождался дня Х (к слову, это был выходной).

Директор попросил меня встретить «специалиста» вечером часов в 7-8. Я сидел себе и спокойно залипал в сериал (напомню, это был мой выходной), как вдруг в 2 часа дня раздается звонок: 

— Здрасьте, я уже приехал, мне заселиться в отель надо. 

А я живу в часе езды от клуба. Бросаю сериал, спешно бегу собираться, прогревать машину и встречать. Приехав, я получил ключ-карту от номера, в который должен был заселяться специалист, и пошел на парковку, где он меня ждал.

Самым топовым настройщиком CCBoot, по мнению другого чата, оказался Акакий (на самом деле имя у него менее экзотическое, это просто конспиративный псевдоним для блога — прим. редактора). Он должен был привезти полную сборку сервера и 4 новых коммутатора (2 в Серпухов на «здесь и сейчас» и еще 2 в Подольск на будущее). Я протянул руку, чтобы поприветствовать дорогого гостя, но он меня благополучно проигнорировал. Ну да ладно, устал человек с дороги, может, не заметил. Бывает. Дальше Акакий предложил взять коммутаторы и отнести их в клуб. Я согласился, думая, что мы понесем их вместе. Но спец постарался загрузить на меня все 4 коммутатора сразу. Я физически не совсем Арнольд, и мне уже с 2 коммутаторами было «весело». Однако Акакий отказался нести оставшиеся два и, закинув рюкзак на плечо, пошел в номер. Не царское это дело — коммутаторы носить. Как говорили классики, «я все это хаваю, у меня нет выбора».

Отправляемся в номер на 13 этаж, и случается форс-мажор: ключ-карта не срабатывает. 15 минут насилия над дверью ни к чему не привели, и я предложил сбегать и поменять ключ-карту. Акакий согласился, всем своим видом выражая недовольство ситуацией. Я спустился на первый этаж на ресепшн и поменял ключ. В этот раз номер выдали не на 13, а на 11 этаже. Я позвонил спецу и попросил его спуститься на 11 этаж. Прошло 15-20 минут, на этаже никого. Опять позвонил Акакию и спросил, где он.

— Я на 12 этаже, — отвечает спец и начинает мне доказывать, что я ошибся и отправил его на 12 этаж. Я уже не стал спорить, заселил спеца и предложил спуститься на 2 этаж в клуб. 

— Сейчас запомните дорогу от лифта: ТЦ сложный, но на нашем этаже все довольно просто, — сказал я спецу. 

— Ты думаешь, я настолько маленький мальчик, что заблужусь в ТЦ? — ответил Акакий. Я понял, что мне лучше молчать: хочу как лучше — получается как всегда.

Этап 4. Знакомство специалиста с клубом

И вот мы в клубе. 

— У вас действительно терминал самообслуживания? — это был первый вопрос от спеца. — Это же бесполезно и дорого!

Мы с моим админом аргументированно объяснили, что терминал действительно позволяет разгрузить персонал в пиковые часы и хоть как-то облегчить работу. И спец даже вроде как внял этим аргументам. Далее последовал очевидный второй вопрос:

— Вы на LGS? Серьезно? Это же дорого и бессмысленно! Вы платите за лишний функционал и техподдержку, которая не отвечает ночью!

Уже не помню, какие аргументы я приводил, но благо у меня прямо в эту ночь администратор обращался в ТП (причем базовую), и ему ответили за 10 минут в 3 часа ночи. Тут же полетели аргументы в пользу Gizmo, главный из которых — «ОНОЖДЕШЕВЛЕ», а если перейти на связку «Gizmo + ССBoot», можно лихо сэкономить (как неожиданно, да?). Я быстро понял, с кем имею дело, и не собирался с персонажем спорить: бессмысленно.

Этап 5. Приступаем к работе!

Вечером в день заезда Акакий уже занял 1 ПК для накатки образа. Какие работы в ту ночь он проделывал, описать не смогу: это была моя последняя ночь перед недельным трипом, благо я выспался. Приехав в клуб, узнаю от спеца, что у нас нарисовалась масштабная проблема: поврежденные провода витой пары Cat5e. По совету Акакия нужно срочно покупать витую пару Cat6 с коннекторами RJ45, чтобы CCBoot работал идеально. Ну, раз специалист советует, надо решать вопрос. 

Начали искать витую пару Cat6, в Серпухове ее нет нигде. Звоню владельцу, и он чудом находит ее в Подольске. Бросив все дела в клубе, я прыгнул в машину и помчался 60 км в одну сторону за кабелем. Вернувшись через 2 часа с витой парой Cat6 и коннекторами RJ45, узнаю прекрасное: КАБЕЛЬ CAT6 НЕ ПОМЕЩАЕТСЯ В КОННЕКТОР RJ45. ШТА? Я что, просто так потерял деньги, бензин, нервы и силы? Что же делать? Неужели клуб будет долго простаивать? Тут приходит очередная охренитительная идея от Акакия: 

— А давайте мы все-таки купим Cat5 и прокинем уже новые провода? Заменим старые и будем молиться на максимальную скорость передачи данных на Cat5!

И что нам остается? Начали искать бухту Cat5 поблизости. Оказалось, что такая есть только в Пущино. Надо ехать. Собираюсь на небольшой перекур перед новыми покатушками, и спец увязывается за нами. Слово за слово, и у нас зашел разговор про закрытый чат LGS и его руководство. 

— А почему вы в бане во всех чатах LGS? — спросили мы.

— Потому что Дима (Лукин, основатель LANGAME, — прим. редактора) поймал звезду. 

Мчим по М2 в сторону Пущино по мосту, который ремонтируют полвека. Естественно, встали в пробку. Возвращаемся, оставляем бухту и уезжаем отдыхать в надежде, что специалист займется этими проводами. В день наших покатушек он просто сидел и скачивал игры на образ, а также попросил меня вытащить все HDD из компов.

— А это прям срочно? — спросил я, задолбавшись в край. 

— Нет, я их просто форматну, и все будет работать как надо. 

Ну, раз специалист сказал, что все будет работать «как надо», значит, так и будет. Ведь так?

Проходит ночь. Я приезжаю в клуб, окрыленный надеждой, что все четко и мы можем начинать работу. Но что я вижу? Кабели, которые мы купили, не готовы, а все, что Акакий сделал за ночь, — это перепрошил на всех ПК BIOS! Показав мне пару скриптов по работе с CCBoot, он заявил, что его работа закончена.

— На связи! — сказал он и отчалил. 

Я в шоке. Полклуба убито и не готово, в серверной бардак с кабелями, впереди выходные, и мы не понимаем, за что хвататься. Мы с моим админом начинаем наводить порядок в клубе, оставив не готовые ПК на потом, и продаем действующие рабочие компы.

Этап 6. Пошло говно по трубам!

Гости садятся за свои ПК. Они рассчитывают отлично поиграть и хорошо провести время, как вдруг... первый BSOD. Второй BSOD. Третий BSOD. Первое зависание. Второе зависание. Первый дроп фпс. Второй дроп фпс...

Я начинаю долбить во все колокола владельцу и настройщику, кричу о проблемах. Это заставило нашего спеца вернуться в клуб. Что же произошло? Почему все так плохо? Первая причина (со слов специалиста): сервер нагрелся до 150 градусов, кулер процессора зажевал кабель питания и перестал давать охлаждение. Стоп, что? Друг, ты же его собирал, как такое могло вообще произойти? Ау? Он пошел, купил новую башню, сказал, что у нас убогое охлаждение в серверном шкафу, что греются коммутаторы и-и-и-и... барабанная дробь... уехал! На этот раз с концами!

Он уехал, а проблемы остались. Компьютеры начали перезагружаться сами по себе, опять синие экраны, опять дропы фпс, опять зависания даже в приложении Telegram desktop! Опять пнули Акакия, он написал:

— Доеду до нормального интернета и постараюсь вам помочь. 

Один ПК вообще стал вечно перезагружаться, это я молчу про те, которые Cat5 «не поддерживают». Пытаюсь разобраться в проблеме вечного ребута и получаю восхитительный ответ:

— В этом ПК, скорее всего, сломана кнопка перезапуска на корпусе, почините ее. 

Кнопка. Перезапуска. КАРЛ! Я с истерическим смехом отключил кнопку перезагрузки от материнки и написал ему, что проблема не решена! И тут начинается самое интересное. Акакий начал требовать, чтобы я снял все HDD, так как это влияет на работу сервера, хотя ранее он заявил, что проблем с ними не будет, т.к. он просто их отформатирует. Далее он начал требовать доступ к микротику, хотя перед этим говорил, что решил все без него, а дальше... он уличил меня в некомпетентности.

Все проблемы, оказывается, во мне! Это я все неправильно делаю, хотя я просто открываю Telegram, и он виснет на ровном месте. Что тут добавить? Специалист обязан был все разжевать, и, если надо, раз 20 все повторно объяснить. Но это специалист. А наш персонаж заявил, что вернет деньги за сервер и не собирается работать со мной, потому что я якобы его не слушаю и делаю все неправильно. В чем была моя вина, я до сих пор не понимаю. Видимо, это я сервер до 150 градусов нагрел. Неужели Акакий не смог додуматься, что от таких температур банально мог отъехать процессор, что и вызвало все проблемы?

И тут мне звонит директор со словами:

— Саша, хочешь, я тебя расстрою? Я позвонил человеку, который мне сосватал CCBoot, и спросил, почему он меня не предупредил о синих экранах. На что он ответил, мол, разве это большая проблема? Они ее решают, просто отключая свободные ПК во время простоя.

Занавес.

Этап 7. Спасательная операция LANGAME

Ситуация пахнет безысходностью, а «советчики» явно кучу нюансов недоговаривают. Поэтому мы обращаемся к Николаю с просьбой о помощи. Для начала команда LGS хотела оптимизировать текущий сервер для более-менее адекватной работы клуба. Я предоставил ребятам доступ к нему и прислал его конфигурацию в накладной. 

— А где еще одна плашка оперативной памяти? — спрашивает меня Николай. 

Открываю корпус и замечаю, что вместо 4 плашек (как в накладной) там только 3. Пишу нашему Акакию с вопросом, где плашка, Лебовски, на что получаю великолепное: 

— Плашка оказалась браком, я вычел стоимость ее из своей работы, но это на работу сервера не влияет! 

Об этом он, конечно же, предупредил заранее (нет). Предположу, что нас просто постарались обсчитать.

Николай оперативно проконсультировал нас, что делать дальше. Данный сервер ни на что не годился. Поэтому по совету Николая мы купили новый, и уже через часов 7 он был в офисе LGS для накатки. К утру он был готов, я съездил к парням в офис, забрал сервер и привез в клуб. Чтобы нас спасти, ребята поставили нас в приоритет, а нам пришлось пожертвовать очень ценной по выручке субботой. Мы установили сервер и закрылись на сутки. Компы начали оживать. Мы получили подробные инструкции по дальнейшим действиям, при этом и техническая поддержка, и Николай были на связи 24/7. Вместо сна и выходных они спасали наш клуб.

И спасли.

Вывод

Никогда не доверяйте ваш клуб шарлатанам, у которых нет никакого серьезного опыта. Владелец посредственного клуба с маленьким рейтингом и полутора отзывами на Яндекс Картах — не самый лучший советчик. Переплатите, но доверьте ваш бизнес компании, которая будет на связи 24/7 и вас не бросит. Никто из «частников» не даст вам никаких гарантий, что он в моменте не исчезнет с радаров. А вы рискуете остаться один на один с вашими проблемами. Вам не нужны ответы формата «вот сейчас доеду до интернета и помогу». В офисе LGS интернет есть всегда, и ТП работает днем и ночью.

Я выражаю огромную благодарность всей команде LANGAME, а в особенности Николаю, который все дни был на связи и жертвовал своим личным временем, чтобы нам помочь.