Нужен ли среднему предприятию ЦОД, и какой? Международный магистральный оператор связи.

Cегодня мы решили обратить внимание на тему «жизненного цикла» центров обработки данных, рассказать о том, что это такое и как правильное управление им позволяет компаниям сократить не только текущие, но и капитальные затраты. Учитывая современные тенденции к внедрению все новых решений (включая гиперконвергентные системы) и сервисов, значительные трудности в этом процессе могут быть связаны с изменением и адаптацией физической инфраструктуры дата-центров.

Жизненный цикл ЦОДа включает в себя поэтапный процесс развития инженерной инфраструктуры в соответствии с задачами бизнеса и ИТ-процессами и может быть разделен на несколько этапов:

1. Подготовительный : понимание целей создания, формирование концепции решения, выбор площадки;
2. Проектирование в соответствии с выбранной концепцией и характеристиками площадки;
3. Строительство ;
4. Эксплуатация ;
5. Оценка соответствия и анализ эффективности.

Требования бизнеса к ИТ-сервисам постоянно меняются, и завершающая данный цикл оценка соответствия как раз и помогает понять, насколько эффективно ЦОД позволяет решать текущие задачи, и способен ли он справиться с новыми, готов ли он к росту. Далее следует планирование доработки или модернизации площадки под новые задачи и все последующие этапы – круг замыкается.

Проектирование и строительство

На российском рынке накоплена солидная компетенция в области проектирования и строительства ЦОДов, есть специалисты соответствующей квалификации, однако не всегда удается выполнить проект в соответствие с заданными клиентом KPI. Уже в ходе реализации проекта требования бизнеса могут измениться и далее некорректно сформулированы и отражены в техзадании. Как следствие, строительство площадки производится качественно, однако основная сложность на этапе проектирования – понять, какие задачи стоят перед объектом и как именно ЦОД должен быть сконструирован и оснащен, чтобы отвечать всем требованиям бизнеса, что удается сделать не всегда.

Сегодня требуется четко формировать техническое задание, описывая в нём корректные и оптимальные решения, отвечающие задачам бизнеса в перспективе как минимум 5-8 лет. Помочь в подготовке грамотных специалистов может Центр обучения вендора, обладающего соответствующей компетенцией. Так задачей Центра обучения Schneider Electri c является ознакомление партнеров и клиентов с технически сложной продукцией компании, особенностями ее применения, установки и эксплуатации в реальных условиях.
ЦОД, как правило, физически не привязан к потребителям его услуг, однако, важно учитывать, что размещение его в неподходящем здании радикально увеличивает стоимость инфраструктуры площадки. Стоит помнить и о том, что окружение ЦОДа может влиять на его надежность.

Типичные ошибки, совершаемые на подготовительном этапе:

1. Проектирование ЦОДа как офиса, в то время как это промышленный объект;
2. Ошибки в резервировании систем, компонентов, коммуникаций;
3. Ошибки в расчете размера выделяемой площади под инженерные системы и вспомогательные помещения, с оценкой веса оборудования и его габаритов, с обеспечением автономности объекта.

Важным является понимание ключевых метрик ЦОДа, перспектив его развития, так как инженерные системы должны «пережить» 2-3 поколения ИТ-оборудования. Службу эксплуатации редко вовлекают в проект на этапе строительства. Между тем специалисты по электроснабжению и системам охлаждения должны привлекаться еще на этапе проектных работ и присутствовать в рабочих группах.

Эксплуатация

Как бы хорошо не был продуман и грамотно реализован проект, на этапе эксплуатации возникает немало проблем. Одна из их носит организационный характер и касается взаимодействия между административно-хозяйственным и ИТ-департаментом. Когда такой связки нет, решение в целом может работать неэффективно или вовсе не функционировать.
На практике административно-хозяйственные подразделения порой оказываются крайне далеки от понимания, что такое дата-центр и каковы предъявляемые к нему требования, а иногда попросту становятся непреодолимым бюрократическим барьером, поэтому желательно показать этой службе концепцию построения дата-центра на их объекте, объяснить принципы работы инженерных систем и приблизительные параметры оборудования.

В ИТ-отделе могут быть и свои, внутренние проблемы. Когда разные ИТ-подразделения отвечают за разные компоненты (серверы, СХД, сетевое оборудование, системы охлаждения и пр.) и при этом не имеют четких регламентов и разделения зон ответственности, на площадке возникает хаос.

В этом случае проще «переехать» на новую площадку, чем проводить глубокую модернизацию старой, и уже потом переделывать имеющийся ЦОД, не нарушая работы функционирующих на новом месте ИТ-сервисов. Еще один вариант – на время «капремонта» арендовать площади в коммерческом ЦОДе. Оптимальное решение выбирается в каждом конкретном случае.
В современных ЦОДах за непрерывную и эффективную работу инфраструктуре, как правило, отвечает отдельная команда специалистов. Для автоматизации мониторинга, управления, ведения отчётности, управления перемещениями и контроля эффективности используют инструменты, которые принято обозначать аббревиатурой DCIM (Data Center Infrastructure Management).

Задачи мониторинга событий, состояния оборудования и среды зачастую решаются в первую очередь – для этого применяются такие средства, как контроллеры NetBotz и система мониторинга Data Center Expert. Но сейчас наиболее актуальными становятся задачи эффективного использования ресурсов - от электроэнергии до пространства в машинных залах. Своевременное внедрение эффективных регламентов и контроль использования электроэнергии позволяет не только снизить весьма значительные эксплуатационные затраты и вернуть инвестиции раньше, но и планировать новые приобретения или строительство с учётом оценки реальной, а не «бумажной» эффективности оборудования. В качестве платформы для организации такого подхода можно использовать Data Center Operation – модульное решение с набором всех необходимых функций.

Данное решение Schneider Electric позволяет операторам ЦОДов контролировать и эффективнее управлять центрами обработки данных и выполнять текущие задачи, а интеграция сторонних ИТ-сервисов позволяет обмениваться соответствующей информацией между системами разных вендоров, получая в результате более полное представление о производительности и доступности ЦОДа для повышения его надежности и эффективности эксплуатации.

Оценка и оптимизация

Оптимизация – улучшение параметров подсистем ЦОДа – требует предварительного проведения этапа оценки – аудита, анализа эффективности их работы, создания математической модели площадки и устранения проблемных точек на основе данных мониторинга.
Качественная система мониторинга, созданная специально для решения задач эксплуатации дата центра, система моделирования работы оборудования, позволяющая получить понятную модель функционирования ЦОДа, - важные инструменты, благодаря которым специалисты по эксплуатации могут отследить состояние ЦОДа в режиме реального времени.

Различные улучшения, такие как построение систем изоляции воздушных коридоров, реорганизация плит фальшпола, устранение в стойках мест с неправильной циркуляцией воздушных потоков с последующей перенастройкой систем кондиционирования, позволяет сократить энергопотребление ЦОДа в реальных проектах на 10-20%. Окупается такая оптимизация (если брать в расчет только энергопотребление) за 3-3,5 года.

Еще один эффект оптимизации – улучшение работы систем охлаждения, когда эффективнее используется установленное ранее оборудование , к примеру, становится возможной установка в стойку большего числа серверов. «Коэффициент полезного использования ЦОДа» можно довести с 70-75% до 90-95%. Такая оптимизация окупается примерно за полгода.

Аналитика данных помогает найти конкретное решение для снижения стоимости эксплуатации устройств на площадке заказчика, выбрать наиболее энергоэффективный режим или оптимизировать использование ресурсов. Или понять, что пришла пора модернизации.

Модернизация ЦОДа не всегда означает установку нового оборудования и в первую очередь представляет собой повышение КПД систем и эффективности их использования.

Оценка ситуации помогает понять, что нужно сделать, чтобы ЦОД вновь работал эффективно. У одного из заказчиков такая проблема была решена с помощью создания закрытых холодных коридоров и блокирования воздушных потоков там, где они снижали эффективность отвода тепла. Причем работа выполнялась без остановки систем дата-центра.

Во многих проектах работа ведется на стыке этапов эксплуатации и оценки. Сегодня у многих заказчиков появляются новые ИТ-задачи, идет информатизация, цифровизация бизнеса, приходится решать различные эксплуатационные проблемы. Справиться с ними помогает помощь экспертов на этапе оценки и проведение аудита ЦОДа. Созданный Schneider Electric в России Региональный центр разработки приложений (Regional Application Center) занимается комплексными решениями для дата-центров. Его основная задача – создание и поддержка устойчивого и эффективного функционирования ЦОДа на всех этапах его жизненного цикла.

Специалисты Schneider Electric принимают участие в проектировании, строительстве, комплексных испытаниях и вводе объектов в эксплуатацию, в последующей поддержке и модернизации дата-центра. На каждом этапе заказчику обеспечивается отказоустойчивость и эффективность работы ЦОДа. При росте масштабов и скорости цифровых технологий предлагаемые нами решения помогут компаниям, провайдерам облачных, телекоммуникационных сервисов и коммерческих площадок смотреть в будущее с уверенностью.

Международный магистральный оператор связи

Один из ключевых поставщиков услуг международной передачи данных.
Предоставление услуг IP-транзита и выделенных каналов связи международным и локальным Интернет-провайдерам.
Организация виртуальных частных сетей (VPN), доступа в Интернет и других услуг связи для крупных и средних предприятий из различных отраслей промышленности; банковских структур и финансовых институтов, а также государственных организаций
Обширное покрытие сети — 28 стран, 3 континента — и значимое присутствие в Восточной Европе и России.
Высокая пропускная способность сети, через которую проходят большие объемы международного трафика.
Высокая связность за счет прямых подключений к многочисленным ЦОДам и международным точкам обмена трафиком.

Крупнейший интернет-провайдер Москвы

Широкая зона покрытия — около 70 районов для корпоративных клиентов и 27 районов для физических лиц.
Инновационные технологии — постоянно совершенствует качество своих услуг, увеличивая мощность серверов и пропускных способностей каналов, смело внедряя инновационные технологии, предоставляя своим абонентам пользоваться новыми возможностями для работы, отдыха, общения и развития.
Starlink заботится о своих абонентах, предоставляя им Интернет нового поколения. Компания первой в России стала активно подключать своих пользователей к Сети, используя IPv6 — протокол нового поколения.

Для начала определимся с тем, что идея строить ЦОД не только посетила клиента, но и закрепилась, а ИТ-директор, которому требуется обеспечить надежное функционирование бизнес-приложений, понимает, что время «Ч» пришло. Бизнес понимает, что риски потери прибыли очень большие, требуется надежное функционирование ИТ и нужно инвестировать средства в нормальный ЦОД. Поэтому далее поговорим о самом процессе создания ЦОД не с тех-нической точки зрения, а организационной.

Итак, с чего начать? С идеи. А по--чему бы и нет? Интегратор здесь дол-жен выполнить роль психолога: приехать к клиенту и поговорить о том, что он в итоге хочет получить от ЦОДа. Здесь важны две вещи: не формализовать процесс и не зарыться в детали. Формализация процесса обычно сводится к отправке клиенту кучки опросников и таблиц. Безусловно, это нужно делать, но только не на первой или второй встрече. Поэтому лучше разбивать большой опросник на несколько небольших и передавать их профильным специалистам компании-клиента. Емкие опросные листы с множеством технических подробностей обычно просто не заполняются, и тут виной всему человеческий фактор. Увы, факты — вещь упрямая, и по собственному опыту скажу, что универсальный опросник, включающий в себя все-все-все, заполняют не более 1-3 % клиентов. Обычно это выглядит так: высылаете, неделя-две потерянного времени, приезжаете и начинаете беседовать. Живое общение позволяет значительно сэкономить время, которого обычно и так нет: почему-то решение строить ЦОД принимается «на вчера», и клиент обычно год думает, как построить ЦОД за два месяца:).

Предварительная работа с клиентом

Установочная встреча состоялась, и дальше — работа пресейл-специа-листов и ключевых специалистов клиента. Важно, чтобы пресейл умел говорить на двух языках — языке финансистов и языке технического персонала. Пресейл — это своеобразный переводчик, способный понять потребности клиента и оценить, на какую сумму потянет проект и будет ли это выгодно клиенту. Более того, такой специалист решает дилемму, помогая рабочей группе клиента защитить бюджет просчитанного решения перед финансовым директором. Расчет таких показателей, как окупаемость инвестиций (ROI), общая стоимость владения (TCO), внутренняя норма доходности (IRR), период окупаемости (PP), позволит обосновать топ-менеджерам, почемунужен именно 1 миллион и недостаточно 200 тысяч, «чтобы айтишники успокоились и наигрались», а также учесть особенности финансирования и этапность инвестирования. В идеале здесь клиенту нужно представить хотя бы укрупненный инвестиционный план для понимания конечности затрат ЦОД и выбора модели его использования: будет ли это свой ЦОД, арендуемый коммерческий или «облачный» сервис. Обычно для корпоративного клиента это будет некий гибрид, в котором будут все три типа. В этом случае топ-менеджер понимает смысл всей затеи, финансовый директор — конечность затрат, а ИТ-директор — насколько ЦОД будет соответствовать потребностям бизнеса.

Еще одна важная деталь на данном этапе — не следует слишком увлекаться резервированием и фактором надежности. Часто бывает так: строительный департамент выбирает дублирование источников электроснабжения и кондициониро-ва-ния. ИТ-департамент дублирует ли-нии свя-зи и ИТ-оборудование, специалис-ты по бизнес-приложениям делают синхронную репликацию и «горячее дублирование» работающих узлов… В итоге цена зашкаливает, хотя каждый департамент в отдельности поступил правильно и максимально проработал свою зону ответственности. Поэтому при сравнении вариантов бюджетирования и описании концепции нужно опираться именно на сравнение вариантов под ключ. К тому же не стоит забывать, что при прочих равных стоимостях две площадки Tier III всег-да бу--дут более надежными, чем Tier IV, ведь в этом случае уменьшает-ся стои-мость внешних рисков.

Выбор площадки

Клиенту хорошо бы понять простую истину: на этом этапе помощь интегратора нужна, пожалуй, больше, чем при проектировании. Ведь часто именно архитектура здания и площадки требует от проектировщиков технических решений, которые не всегда экономически обоснованы и ведут к превышению бюджета.

Особое внимание стоит уделить следующим вопросам:

1. Подвод коммуникаций.

Здесь стоит особо обратить внимание не просто на возможности подвода коммуникаций, а стоимос-ти проекта под ключ. Очень часто тех-ническая возможность есть, а вот стоимостная… То слаботочные ка-нализации надо копать или арендовать, то трансформаторную подстанцию (ТП) надо свою ставить и завязываться с 10 кВ. Поэтому не стоит соблазняться на разговоры и обещания, пока нет валидных технических условий на подключение. Они хотя бы позволят гарантировать, что в рамках временного промежутка (обычно одного года) затраты не вырастут. Отдельно желательно проинспектировать независимость энерговводов. Как показывает практика, велика вероятность во время этой процедуры получить неприятный сюрприз: узнать, например, что два ввода тянутся от одной подстанции. По каналам связи: учитывайте, что их должно быть несколько и тянуть их желательно разными трассами. Темное волокно идеально, но чрезвычайно дорого. Коммутируемые линии связи, которые проходят между разными провайдерами, — дешево, но сердито: в случае аварии время даунтайма может быть непрогнозируемо. Поэтому золотая середина — канал связи от одного провайдера, который владеет всей сетью из точки А в точку Б (особенно это касается связи между основным и резервным ЦОДами).

2. Расположение ЦОД.

Есть несколько важных моментов:

а) План заноса крупногабаритного оборудования. Важно понимать, что оборудование надо не просто занес-ти, и оно, естественно, должно пройти в дверные проемы, но и развернуть его, погрузить и снять с тележки.

б) Наличие достаточной нагрузки на перекрытие и конструкции стен. Стоит ли говорить, что оборудование на-до не просто занести и пос-та--вить — его еще нужно и довезти. Поэтому обращаем внимание на то, какая наг-рузочная способность перекрытий по путям транспортировки (прова-лен-ный фальшпол, раздробленная плит-ка и т. д. совсем не добавят удобства при эксплуатации, когда ЦОД уже будет построен). Наконец, тре-буется архитектурная экспертиза зда-ния «на сегодня». Часто она есть, но 15-летней давности. Конечно, мож-но экстраполировать и гадать на ко-фейной гуще, но стои-мость рисков зна-чительно выше, чем стоимость такой экспертизы. Что касается стен — здесь важно, сколько на них можно наг-рузить, ведь кабельные эстака-ды, на-весные щиты при проектировании для экономии площади проще повесить на стену.

в) Высота помещения. Не стоит забывать, что в ЦОД надо не просто поставить шкафы, а сделать еще и многоэтажные кабельные трассы элект-рики и слаботочки, поэтому высота лишней не бывает. Особенно если планируются шкафные кондиционеры с выдувом под фальшпол — решение простое, недорогое и при правильном расчете позволяющее отвести до 15 кВт со шкафа (в теории можно и больше, но жалко объема помещения). Так на какую же величину стоит ориентироваться? Эмпирика показала: 4,5 метра. Но уж точно не меньше трех метров.

г) Наличие вблизи поста охраны. Это позволит как минимум сократить затраты на организацию круглосуточной охраны и упростить задачу оперативного реагирования на нештатные ситуации (парадоксально, но никакая автоматизация по эффективности не справится если не описаны триггеры событий и процедуры для систем автоматизации). В противном случае придется оборудовать не просто помещение для людей, но и подумать о системах жизнеобеспечения для них (вентиляция, канализация, отопление, освещение и т. д.).

д) Организация подъезда к ЦОДу. Есть ли возможность прямого подъезда автопоезда к воротам ЦОД? Возможно ли организовать выгрузку напрямую из прицепа в здание?

е) Если уже имеется трансформаторная подстанция и планируется повышение мощности, следует уделить особое внимание состоянию и сечению подведенного высоковольтного кабеля и наличию транзитных подключений для других мощных соседей. В противном случае клиент рискует столкнуться с тем, что на его территории могут проводиться неплановые работы по ремонту высоковольтной трассы с раскапыванием территории. Это справедливо и для других транзитных коммуникаций, поэтому обязательно наличие актуального генплана, иначе с неприятными ситуациями можно столкнуться уже на этапе внедрения — когда экскаватор, по классике жанра, переби-вает кабель связи (а еще хуже - 10 кВ).

ж) Грунты и их состав. Владение данной информацией позволит понимать, как организовывать зазем-ление (глубоко ли бить штыри и сколько их понадобится) и защищать от коррозии баки хранилища горюче-смазочных материалов (ГСМ). Особо на этот пункт надо обращать внимание, если объект находится в промзоне, где грунт может оказаться химически активным.

Взаимодействие команд интегратора и клиента

Не будем дублировать PMBook — остановимся на основных моментах. Назначение людей, выделенных со стороны интегратора и клиента, должно быть закреплено приказами с соответствующей четкой документацией, в которой будут прописаны их зоны влияния и ответственности. Руководителю проекта со стороны интегратора крайне полезно создать устав проекта и на первой же встрече зафиксировать матрицу ответственности (часто ведь как бывает: принимают решения одни люди, а отвечают за эти решения другие). В этой матрице должны быть перечислены и контактные данные каждого участника, чтобы с ними было просто связаться. С одной стороны, аргумент, что «нам надо спешить, некогда тратить время на ерунду». Но устав проекта — достаточно полезная штука. В нем фиксируется формат документов, которыми будут обмениваться участники, периодичность встреч, порядок со-г-ласования принятых решений. Хороший устав проекта — это документ, который можно дать новому члену команды, и после его прочтения он сможет полноценно включиться в работу, зная свою роль в данном процессе.

Основные моменты, на которых стоит заострить внимание:

1. Найти нужных людей, определить реальные роли в проекте. Как найти нужного человека? Ответ прост. Попробуйте его мысленно убрать — что-то изменится? Если нет — этот человек не нужен. Проект ЦОД не требует большой постоянной команды, поэтому лучше не включать в основной состав более 5-7 человек с каждой стороны.

2. Человек противится переменам, пока не почувствует себя в безопасности. Поэтому не стоит удивляться, что, как правило, команда людей со стороны клиента более консервативно настроена. Это нормально, ибо их задача — не просто построить ЦОД, но еще и жить с ним, потому любые революционные решения встречаются настороженно: продукт сырой, статистики отказов нет, каков он в эксплуатации — непонятно... Это не значит, что новые продукты не стоит внедрять — просто их внедрение потребует более детальной проработки, в том числе с клиентом.

3. Доступные каналы для доставки плохих известий. Спорный момент, но он необходим, и особенно в команде интегратора. Часто менеджер проекта узнает об этих новостях, когда ничего изменить нельзя, а случившееся можно принять как факт, хотя многие и знали об этом, но скрывали, надеясь на «авось решится».

4. Формальные программы, направленные на улучшение существую-щего процесса (все возможные серти-фи-кации специалистов, оценка пер-со-нала), будут дорого стоить команде и во временном, и в денежном отношении. И даже если улучшение и прои-зойдет, оно вряд ли покроет затраты. Проект ЦОД — достаточно сложный в организационном плане из-за большого количества вех и ключевых точек стыковки этих самых вех. Поэтому обу-чение, разработка конфигураторов, шаблонов и т. д. — это та работа, которая может загрузить ключевых специалистов команды в самый неподходящий момент и затянуть работы, стоящие на критичном пути.

5. Чем сложнее проект, тем больше времени уходит на проектирование и меньше — на пусконаладку. К сожалению, проектирование на постсоветском пространстве является контрастным: либо это старая советская школа, когда проектирование выполняется фундаментально, неспешно и без привязки к финансовым затратам, либо это полный антипод советской школы — коммерческий подход, где во главу угла ставится составление спецификации, быстрая закупка с последующим монтажом на объекте («как-то сами ребята разберутся потом»). С учетом отечественных реалий — клиент всегда спешит, и ЦОД ему нужен «еще вчера»: на стадии проектирования всегда хотят ужать сроки. Можно долго говорить о неправильности такого подхода, но разумный максимум, как ускорить этот процесс, — это разработка концепции и эскизного проекта при двухстадийном проектировании (или утверждаемой части при одностадийном), согласование с заказчиком и закупка крупноузлового оборудования, имеющего длительный срок поставки. Материалы и более мелкие узлы можно детализировать в рабочих чертежах, которые и пойдут в монтаж. При этом срок проектирования тот же, но поставка материа-лов будет осуществлена раньше, соответственно, срок реализации ЦОД значительно уменьшится.

6. Люди не станут быстрее соображать, если руководство начнет на них давить. Чем больше сверхурочной работы, тем ниже производительность труда (только краткосрочная внеурочная работа). Не нужно этого делать постоянно. Наиболее сложные этапы — начальный и конечный. На начальном важно быстро сделать декомпозицию задач, загрузить всех специалистов исходными данными и начать работу, в конце — успеть все синхронизировать до окончания процессов и завершить проект точно в срок. Постоянные переработки говорят либо о несбалансированности команды, либо о плохом проектном менеджменте, либо о нереальных сроках.

7. Спецификацию, в которой нет спис-ка входящей и исходящей информации, даже не следует принимать во внимание. Поэтому работать по чьей-то спецификации или спе-цификации, посчитанной «одной известной компанией», не стоит, если нет понимания, какое техническое задание ставилось. Общий совет для руководителя проекта со стороны клиента: прежде чем заказывать проект у сторонней компании и после этого проводить тендер на внедрение, задайте вопрос, кто выступит аудитором качества такого проекта? Не будут ли это зря потраченные время и деньги? Общий совет для руководителя проекта со стороны интегратора: не утешайте себя тем, что вы просто поставите цены в специ-фикации чьего-то проекта, и весь риск ляжет на плечи клиента. Это не так, ведь, скорее всего, в договоре клиент захочет получить не расчет монтажа материалов, а работающую сис-тему, которая обладала бы рядом параметров. А значит, отвечать все равно будет интегратор, выполняющий внедрение.

8. Если в проекте участвует большая команда, это снижает эффективность самой ответственной части работы — определения концепции ЦОД (ведь всем надо побыстрее дать работу), что приводит к потере независимос-ти внутри команды, увеличению числа собраний и совещаний. Поэтому придерживайтесь следующего принципа: сначала маленькая команда, после концепции — подключение новых игроков. Очень часто доводилось наблюдать, когда на первое же совещание приезжает 30-40 человек, которые пытаются обсудить все и сразу, разбиваются на группы, что-то обсуждают и… уезжают. После этого во время формирования общего протокола возникает конфронтация — и все опять собираются. И так до бесконечности. Определите ключевых сотрудников (со стороны клиента это обычно ИТ-ди-ректор, со стороны интегратора — Руководитель проекта), а остальных подключайте по мере необходимости. Эмпирически оптимальная группа, с которой еще можно решать вопросы, — это группа до 10 человек.

9. У проекта должно быть два сро-ка — запланированный и желае-мый. И они не должны совпадать. Это должен понимать и руководитель проек-та ЦОД у клиента, и представитель интегратора. Как правило, они рапор-туют наверх о сроке окончания проекта, а так как ЦОД — это все-та--ки основа для разворачивания бизнес-сервисов, может произойти такое, что совершенно независимые проекты будут связаны, при этом ни одна из команд проектов не будет об этом знать. К примеру, будет заказано оборудование и сформирована заяв-ка на командировку иностран-ных специалистов для его пусконаладки. В то же время ЦОД еще не запущен, оборудование не включено в рабо-ту, а специалисты уже прибыли для пусконаладки — компания несетубытки, и в результате — срыв сроков…

Проектирование

Прежде чем начать проектирование, нужно определиться с техническим заданием (ТЗ) и согласовать его с клиентом. Хоть это и должен делать клиент, выскажу свое скромное мнение: это все-таки должен делать интегратор совместно с клиентом. Почему? Да потому что именно интегратор более компетентен: у него больший опыт и подчас больше понимания, что нужно клиенту. В ТЗ обязательно фиксировать не общие фразы (наподобие «система кондиционирования долж-на поддерживать температуру в сервер-ной в пределах рекомендованной произ-водителем ИТ-оборудования»), а конкретику, нап-ример: обеспечить температуру воздуха на воздухозаборниках ИТ-оборудования в шкафу в пределах +20...24 °С круглосуточ-но в любое время года.

Важна фиксация в ТЗ двух ключе-вых величин: количество этапов и мощность ИТ-оборудования на пер-вом этапе. Неоднократно доводи-лось наблюдать, как при расчетном PUE в 1,4-1,7 на первом этапе оно равнялось двум-трем именно по той причине, что первая стадия ИТ-оборудования составляла 1/10 от той, что была указана в ТЗ. Если есть спецификация ИТ-оборудования и понимание этапности его закупки, которое планирует-ся устанавливать, не поленитесь и расставьте его в стойки. Тогда будет понимание и того, какая мощность на стойку требуется реально, сколько портов структурированной кабельной системы (СКС) и каких именно понадобится, какие разъемы питания потребуются на блоках распределения питания в шкафах.

Далее прорабатывается общая кон-цепция: компоновка помещений, размещение крупноузлового оборудования, проходы, зоны обслуживания оборудования. Часто встает та-кая за-дача: есть мощность 1000 кВт от транс-форматорной подстанции (ТП) — как ее разделить? Делим просто: обычно PUE составляет 1,6-1,8. Соответственно, задаем PUE 1,6 на начальном этапе для ИТ-оборудования, оставляем мощность 625 кВт, для остального оборудования (а это в основ-ном кондиционирование) — 375 кВт. Далее рассчитываем зоны ИТ-шкафов. Не за-бываем, что крайне желательно физически разделить помещение ввода, зоны серверов, стоечных Hi-End (так как часто им нужна специфическая организация охлаждения, которая может отличаться от типового в серверной) и коммутационной зоны (мощность которой обычно значительно ниже, чем серверной зоны).

После того, как у нас появилось по-нимание концепции системы кондиционирования, подключаем электриков, выдав им основную ведомость токоприемников для ИТ, систем вентиляции и кондиционирования. Теперь можно прорисовывать однолинейную схему и проводить расчет дизель-генераторной электростанции.

Если в проекте кондиционирования предусматривается фальшпол, то его высота рассчитывается, а не выбирается произвольно. Плитки фальшпола играют роль координатной сетки, поэтому привязка всех шкафов к сетке обязательна — это необходимо, чтобы обеспечить свободный подъем плиток в проходах между оборудованием и доступ в подфальшпольное пространство. Тут же стоит учесть нормальную ширину прохода не только между шкафами, щитами, кондиционерами и другим оборудованием, но и соблюсти требования, прописанные в нормативных документах, между открытыми дверями и стеной или другим шкафом, обеспечив тем самым технику безопасности и удобный монтаж/демонтаж оборудования.

Системы контроля доступа, сигнализации и пожаротушения рассчитываются, когда есть понимание требуемого количества помещений. Для системы автоматического пожаротушения важны также наличие фальшпола, изоляции коридоров и фальшпотолков. Когда появляется расстановка рядов шкафов и проходов между ними, можно начинать проектирование системы видеонаблюдения. После этого, с учетом класса зрительных работ и требований предыдущей системы, проектируется освещение.

Системы мониторинга и автоматизации проектируются на завершающем этапе, так как исходные данные для этих систем рассчитываются на основе проектных решений всех предыдущих систем.

Внедрение

Процесс внедрения может сильно отличаться в зависимости от архитектуры, но в целом последовательность процесса примерно следующая:

1. Работа под реконструкции помещений, перенос/возведение стен, выполнение проемов для прохода коммуникаций, расширение дверных проемов, выполнение наружных работ по прокладке кабельных каналов, заливка фундамента для дизель-генераторов и баков топливохранилищ, прокладка топливопроводов, прокладка наружных коммуникаций к зданию ЦОД, выполнения заземления и молниезащиты. При необходимости — выполнение электромагнитного экранирования сер-верного помещения.

2. Установка креплений наружных блоков, вентиляционных коробов, разгрузочных рам чиллеров, прокладка внутренних кабельных каналов, закладка трасс теплоносителей, кабелей, разметка и установка пьедесталов фальшпола, обшивка наружного фасада.

3. Установка плит фальшпола, установка внутренних блоков кондиционирования, установка шкафов, установка щитов и ИБП в щитовой, установка ДГУ.

4. Монтаж СКС, монтаж АГП, СКД, видеонаблюдения, освещения, оборудования мониторинга и автоматики.

5. Проведение измерений, испытаний, стартап оборудования инженерных сис-тем, пусконаладка.

Сдача в эксплуатацию и сервисное обслуживание

При сдаче в эксплуатацию интег-ра-тор должен передать клиенту всю документацию, руководства по эксплуа-тации и инструкции для пер-сонала. Важно также сделать инструктаж персонала, дабы сотрудники компании-клиента смогли самостоятельно эксплуатировать смон-тированные сис-темы. Со стороны клиента важно наз-начить ответственных — в против-ном случае ин-ст-руктаж придется проводить мно-жество раз, а полезность этого бу-дет стремиться к нулю.

Что касается сервисного обслуживания, то здесь могут быть варианты. Это может быть самостоятельное обслуживание ЦОД персоналом клиен-та. Минусы очевидны: необходимость держать в штате специалистов требуемой квалификации. Второй ва-риант — обслуживание каждой системы узкопрофильной компанией. В этом случае клиенту достаточно будет следить только за регламентом об-с-луживания, но придется самостоя-тельно решать стыковые вопросы по сер-вису, если таковые возникают. К примеру, если возникла проблема с задействованием нескольких систем, потребуется выступить посредником в решении вопроса между несколькими организациями, что тоже потребует наличия некоего опыта у человека, который будет курировать сервисное обслуживание, или же привлечения внешнего аудитора. Третий вариант самый простой для клиента, но он может оказаться дороже: аутсорсинг сервисной поддержки интегратором, имеющим экспертизу. В этом случае все риски по стыковым вопросам ложатся на плечи одной организации.

Вопрос о необходимости SLA не так однозначен: если ЦОД спроектирован правильно и системы имеют резерв, то SLA — это затраты, которые далеко не всегда оправдаются. Единственный вариант, который может их оправдать, — полный аутсорсинг обслуживания ЦОД, когда клиент вообще не задействует своих специалистов для отслеживания жизнеспособности ЦОД.

В заключение можно сказать следующее: ЦОД — это отличный пример комплексного проекта, который требуется реализовать в кратчайшие сроки без права на ошибки и переделки. Потратьте больше времени на проектирование и изучение рисков, и оно сторицей окупится во время сдачи и пусконаладки, а также сэкономит немало нервов и денег во время реализации. Помните, что ЦОД — это не просто затраты. Это способ сэкономить деньги на потерях бизнеса, это увеличение капитализации компании. Разумный подход к формированию бюджета при проектировании ЦОД и его защите позволит вернуть эти деньги через определенный промежуток вре-мени. При правильном подходе и по-нимании «дорожной карты» проек-та построения ЦОД сделать это просто.

Константин Коваленко

Построение ЦОД - важная задача не только для преуспевающего руководителя предприятия, но и для любого начинающего бизнесмена с «наполеоновскими» планами. Ведь в современном мире только организация ЦОД способна обеспечить безотказную работу информационной инфраструктуры предприятия, непрерывную доступность, эффективность и безопасность больших массивов электронных данных и интегрированных систем, грамотное внедрение автоматизированных систем управления, таких как CRM и ERP, увеличение мощности it-инфраструктуры и т. д.

Основные этапы организации ЦОД и их содержание

Многие потенциальные Заказчики убеждены, что построение ЦОД - разовая услуга, которая заключается в физическом монтаже, подключении и настройки оборудования. Однако по-настоящему грамотный подход к организации ЦОД предполагает непрерывный и долгосрочный процесс, который реализуется в течение всего срока жизни дата-центра и условно разделяется на пять основных этапов:

• разработка концепции ЦОД
• создание проекта ЦОД
• реализация (внедрение) дата-центра
• техническое обслуживание системы
• модернизация ЦОД

Разработка концепции организации центра обработки данных (ЦОД)

Экономическая эффективность и общий успех проекта ЦОД зависит от степени детализации его первоначальной проработки. Вот почему основной задачей первого этапа является определение места ЦОД в структуре бизнес-процессов предприятия-Заказчика. Таким образом, в ходе совместной работы подрядчика и Заказчика формируется общее представление о будущем ЦОД: выявляются основные цели и задачи системы, ее структура, состав элементов и т. д. Также при разработке системы необходимо учитывать региональные особенности объекта, планируемый бюджет, выбор площадки для ЦОД. Собранные данные ложатся в основу технического задания на проектирование вычислительного центра и подсистем его жизнеобеспечения.

Создание проекта ЦОД

На этапе составления проекта необходимо не только определить наилучшую конфигурацию системы, ее вычислительные мощности, состав компонентов и т. д. «здесь и сейчас», но и предусмотреть несколько вариантов развития системы в соответствии с различными моделями развития бизнеса Заказчика. На том же этапе специалисты рассчитывают возможные риски и методы их снижения, осуществляют подготовку всей необходимой документации и согласовывают готовый проект с Заказчиком и инспектирующими организациями.

Реализация (внедрение) дата-центра

Этап непосредственного внедрения ЦОД является одним из самых трудоемких. В ходе него осуществляется прокладка кабельных трасс, поставка и монтаж активного оборудования, установка программного обеспечения, а также настройка и синхронизация работы всех подсистем ЦОД. Также в ходе реализации проекта происходит тестирование оборудования и аттестация кабельных сетей на их соответствие техническим стандартам качества.

Техническое обслуживание системы

Четвертый этап построения ЦОД означает для подрядчика внимательное отслеживание работоспособности всех узлов и подсистем вычислительного центра, от электроснабжения и кондиционирования до охранных систем и серверных станций. Порядок обслуживания ЦОД и периодичность выполнения профилактических работ устанавливаются в зависимости от масштаба, назначения и типа ЦОД и входящих в него подсистем. Все работы по данному этапу фиксируются в специальном журнале, инструкциях и иной документации.

Модернизация ЦОД

И, наконец, в условиях стремительного развития it-технологий, любой даже самой совершенной вычислительной системе рано или поздно потребуется модернизация. Под данной процедурой понимаются технические и структурные изменения ЦОД, направленные на повышение его производительности, надежности, безопасности и эффективности. Тем самым, благодаря грамотно проведенной модернизации система будет наиболее оптимально соответствовать растущим it-потребностям предприятия.

Для компании «Флайлинк» организация ЦОД является одним из приоритетных направлений услуг. Наши решения основываются на многолетнем опыте работы, передовых технологиях и надежном оборудовании от ведущих отечественных и зарубежных производителей.

Стремительное развитие современных технологий приводит к неизбежному росту автоматизации большинства процессов не только на предприятиях различного уровня, но и в быту. С повышением уровня технологий ускоряются процессы обмена данными между различными субъектами. Появляется необходимость в специальных автоматизированных центрах, где вся информация будет надежно и упорядоченно храниться и обрабатываться. Лучшим решением в этом вопросе являются ЦОДы (центры обработки данных), которые постепенно становятся неотъемлемой частью инфраструктуры любого предприятия.

Назначение и виды ЦОД

Центры обработки данных - это сложная система, которая включает в себя целый комплекс IT решений, высокотехнологичного оборудования и инженерных конструкций. Основная задача такого центра заключается в быстрой обработке любого объема данных, хранении информации и ее выдаче в стандартизированном виде пользователю. Фактически ядром центра являются мощные серверные станции, снабженные необходимым программным обеспечением, системами охлаждения и безопасности.

Существуют две основные разновидности таких центров:

• коммерческого типа. Это целые комплексы, которые сооружают для последующей аренды вычислительных мощностей. Они отличаются высокой производительностью и максимальной скоростью обмена данными. Пользователь, воспользовавшись такой услугой, получает виртуальный ЦОД, который фактически может находиться в другом городе или даже стране. Преимущества такого варианта очевидны - пользователь может самостоятельно настроить конфигурацию системы по определенным параметрам, управление происходит дистанционно, не нужно затрачивать средства на строительство и обслуживание собственного ЦОДа;


• внутренние (корпоративные). Центры, которые устанавливаются в рамках конкретного предприятия. Они предназначены только для внутреннего корпоративного пользования. Несмотря на затраты, связанные с созданием и вводом в эксплуатацию такого центра, главное его преимущество заключается в прямом управлении всей системой. Компания не зависит от стороннего владельца оборудования (поставщика услуг) и сможет более эффективно обеспечить безопасность данных и сохранность коммерческой тайны. В случае выхода из строя определенных систем процесс их восстановления пройдет гораздо быстрее. Не стоит забывать, что предприятие, которое владеет собственным ЦОД, может обеспечить автономную работу оборудования на случай с перебоями в сети электроснабжения и максимально быстро реагировать на различные внештатные ситуации.

Мобильный и модульные ЦОД

Отдельно стоит рассмотреть мобильный ЦОД, который представляет собой готовое решение для небольших компаний. Преимущества очевидны - не нужно проектировать специальное помещение для стационарного дата-центра, учитывать специфику оборудования, температурный режим и другие факторы. Некоторые производители мирового уровня занялись разработкой таких центров и достигли большого успеха.

Конструктивно система представляет собой определенное количество унифицированных модулей, которые легко объединяются в полноценный автономный комплекс и быстро настраиваются. Модульный ЦОД - это наиболее рациональный и простой способ для многих компаний среднего уровня. Еще одно преимущество такого центра - на его создание и ввод в эксплуатацию уходит существенно меньше времени, чем на стационарную конструкцию.

Такие комплексные решения получили широкое распространение на предприятиях различной сферы деятельности. В первую очередь речь идет об организациях и компаниях, для которых ключевым полем деятельности является быстрый обмен данными. Это различные банковские системы, государственные и коммерческие телекоммуникационные организации, IT компании, call-центры, аварийно-диспетчерские службы.

Правильно обработанная информация, которая оперативно подана, играет первостепенную роль в работе таких компаний. Важным критерием являются также возможные потери прибыли в случае неправильной или слишком медленной обработки данных. Поэтому для крупных организаций такие центры снабжаются новейшим технологическим оборудованием и программным обеспечением.

Что важно знать при выборе ЦОД?

От надежности и скорости обработки информации во многих компаниях зависит построение рабочего процесса и уровень оказания услуг клиентам.

Ключевые требования к ЦОД следующие:

• автономная работа;
• высокий уровень надежности;
• защита данных;
• безотказность;
• высокая производительность, вне зависимости от того, будет это облачный ЦОД (виртуальный) или внутренний корпоративный вариант;
• большой объем для хранения информации;
• возможность расширения и модернизации (закладывается на ближайшие 5-7 лет с учетом прогнозируемого роста компании и развития технологий).

Центры обработки данных в России, который соответствует этим критериям, - лучшее решение для отечественных компаний профильной сферы деятельности. Для большинства заказчиков очень важно совокупное соотношение требований к стоимости. Сегодня Центры данных в РФ в связи с кризисом в экономике уже не настолько востребованы, как 10 лет назад, и такая тенденция прослеживается во всем мире. Крупные компании понимают важность таких центров, но при выборе оборудования ориентируются в первую очередь на стоимость, а не на новейшие технологии и расширенные возможности.

Ключевые элементы центров данных

Структура центров обработки данных включает в себя целый ряд компонентов и подсистем, без которых оперативная обработка информации и хранение данных невозможны.

Система включает в себя следующие блоки:

• IT-инфраструктура ЦД;
• инженерные системы различного уровня сложности;
• комплексный подход к безопасности;
• управление и мониторинг.

Чтобы более подробно разобраться в структуре, следует рассмотреть основные блоки более внимательно.

IT составляющая ЦОД;

Первый блок представляет собой комплекс высокотехнологичного оборудования, который объединен в общую систему.

Это своеобразное ядро любого современного ЦОДа, которое состоит из:

• серверного оборудования;
• системы передачи, обработки и хранения данных.

Чтобы повысить эффективность сервера, многие известные компании разрабатывают новые продукты: программное обеспечение, технологии виртуальной реальности и готовые комплексные решения на основе использования блэйд-серверов. Это одно из наиболее востребованных направлений в специализированной IT сфере. Новые разработки позволяют существенно увеличить производительность оборудования, улучшить энергоэффективность, уменьшить расходы на содержание и максимально оптимизировать рабочие процессы.

Инженерные решения в ЦОД

Чтобы обеспечить бесперебойную работу мощного высокотехнологичного оборудования, необходимо создать эффективную инженерную систему.

Основные инженерные системы ЦОД относятся к двум категориям:

• электроснабжение. Специальное оборудование должно обеспечивать не только бесперебойную подачу электричества к оборудованию, но и в случае аварий на ЛЭП перейти на автономное питание. Для осуществления этого используют различные источники бесперебойного питания и дополнительные генераторы. Очень важно, чтобы напряжение и частота тока соответствовали необходимым параметрам и в сети не было перебоев и резких скачков. Такие перепады негативно воздействуют на серверное оборудование и могут привести к его выходу из строя;
• охлаждение. Мощные серверы во время работы выделяют огромное количество тепла, которое отводится при помощи специальных встроенных радиаторов. Это не решает проблему целиком, так как серверные станции находятся в отдельных закрытых помещениях. Чтобы обеспечить надежное охлаждение, используют различные системы кондиционирования, которые работают в автоматическом режиме, обеспечивая оптимальную температуру в помещении и препятствуя перегреву оборудования. Используя новые технологии в области кондиционирования (инверторные компрессоры, высокоточные тепловые датчики), можно добиться уменьшения затрат потребляемой электроэнергии на 10-15%.

Безопасность центров обработки данных

Одна из важнейших составляющих работоспособности любого ЦОД - это правильно разработанная система безопасности. Для того чтобы обеспечить сохранность данных и предотвратить доступ к ним посторонних лиц через Интернет, компании используют новейшее антивирусное ПО и другие программы защиты данных. Чтобы предотвратить проникновение посторонних лиц, разрабатывается и внедряется система допуска определенной категории сотрудников, методы противодействия взлому и физическому проникновению к оборудованию, видеонаблюдение, противопожарная система. Комплексный подход к безопасности обеспечивает сохранность важной информации.

Мониторинг ЦОД

Комплексный подход к управлению и мониторингу является важной составляющей любого современного ЦОДа. Такие системы в автоматическом режиме контролируют работоспособность всего оборудования и параметры окружающей среды (температура, влажность, напряжение и частота тока). Неотъемлемой частью мониторинга являются системы прогнозирования вероятного отказа оборудования и раннего оповещения.

Отдельное место занимает диспетчеризация - это важная составляющая рабочего процесса, которая позволяет организовать информирование персонала о внештатной ситуации при помощи современных технологий связи (отправка данных на электронный адрес, возможность автоматического дозвона абонентам определенной группы или короткие СМС сообщения). Комплексный подход существенно снижает риск возникновения аварийных ситуаций, а в случае наступления форс-мажора обеспечивает максимально эффективную методику борьбы и восстановление поврежденных участков системы.

Центры обработки данных на выставке «Связь»

На территории ЦВК «Экспоцентр» пройдет важное мероприятие - выставка Связь. Большая экспозиция будет посвящена вопросам оперативной обработки данных и безопасному хранению информации. Это событие международного уровня, где ведущие мировые производители специализированного оборудования и программного обеспечения продемонстрируют свои последние разработки в этой сфере.

Все желающие могут узнать самые актуальные новости о ЦОД, ознакомиться с системами проектирования, новыми мобильными и стационарными комплексами. Отдельное внимание будет уделено безопасности и необходимому оборудованию для обеспечения охлаждения, вентиляции и бесперебойного электроснабжения центров обработки данных. Это важное событие для всех специалистов в данной отрасли и руководителей компаний, которые хотят модернизировать свое предприятие, используя современные технологии и новейшее оборудование для хранения, передачи и обработки данных.