Как устроен новый ЦОД Сбербанка в Сколково

Сбербанк на прошлой неделе запустил свой новый Центр обработки данных «Сколково». В перспективе он будет полностью дублировать ЦОД «Южный порт» и использоваться под нужды новых направлений бизнеса. Сейчас резервирование выполняется в разных малых ЦОД, на арендуемых площадках, с которых Сбербанк постепенно уйдет. FutureBanking побывал в «железном сердце» Сбербанка и узнал, как устроен один из самых технологически сложных объектов в стране.

Глава Сбербанка Герман Греф лично запустил в эксплуатацию первую очередь ЦОДа, а также пояснил участникам торжественной церемонии, что на текущий момент завершено строительство четырех очередей, которые призваны дублировать ЦОД «Южный порт». Банк потратил на эти цели 14 млрд рублей без учета расходов на IT-системы. Кроме того, на завершающей стадии строительства находится пятая очередь, запланированная под нужды экосистемы Сбербанка. Банк пока не определился со строительством шестой очереди, которая нужна «на перспективу».

Сбербанк называет свой ЦОД «Сколково» самым большим и самым инновационным центром обработки данных в России, а также одним из крупнейших ЦОД подобного класса в Европе.

«Нас интересовали несколько параметров: стоимость эксплуатации и строительства, скорость и надежность. Поэтому мы постарались использовать все самые современные технологии, которые сейчас доступны в мире», – пояснил Греф.

Говоря про надежность, глава Сбербанка напомнил, что с 2014 года вся инфраструктура банка централизована, и существуют «огромные риски», если произойдет длительный сбой в работе систем. Поэтому проект ЦОДа соответствует уровню надежности Tier 3, а системы энергосбережения и энергозащиты – уровню Tier 4 (самый высокий уровень).

Строительство объекта общей площадью около 33 тыс. кв. м. не случайно велось в Сколково. Помимо относительно недорогой электроэнергии банк платит лишь 1 млн руб в год за аренду участка площадью 7 га. Срок строительства по проекту составлял 36 месяцев, но в ходе конкурсных процедур и переговоров с подрядчиками банк сократил его до 25 месяцев. Однако и это руководству банка показалось слишком долгим, и оно решило ускорить процесс. В итоге четыре очереди были сданы за 18 месяцев.

Модель модуля в разрезе

ЦОД состоит из пяти трехуровневых модулей. На первом уровне находятся все энергетические установки. Банк отказался от использования неэкологичных свинцовых аккумуляторов в пользу динамических источников бесперебойного питания с кинетическими накопителями энергии. Если ЦОД будет полностью обесточен, то он сможет работать 24 часа без подвоза дизельного топлива.

На втором уровне находится IT-оборудование банка. Банк планирует разместить в 20 машинных залах около двух тысяч стоек с нагрузкой 8 кВт каждая. В итоге 24 тысячи серверов будут способны вместить до 1 эксабайта информации. Этого должно хватить Сбербанку на 10 лет, если текущие темпы роста объема данных сохранятся.

Всё IT-оборудование имеет два блока питания. К каждому блоку питания подведена своя линия электроснабжения. В случае аварии или какого-то ремонта на линии электроснабжения IT-оборудование будет продолжать работу по другой линии.

Герман Греф обратил внимание на то, что, если в «Южном порту» стоят машины производства IBM, почти всё оборудование импортное, то при создании ЦОД «Сколково» компания «Инсистемс», которую банк привлек в качестве системного интегратора, максимально использовала российские решения и оборудование. Решения, которые были найдены российскими инженерами, по словам главы Сбербанка, на сегодняшний день «находятся на рубеже самых передовых технологий». При этом банк постоянно занимается исследованиями, тестирует новые продукты, которые получает из Китая, Японии и других стран мира.

Вход в машинный зал осуществляется по специальной системе. Если в ЦОД «Южный порт» подобная система распознает рисунок вен ладони, то в новом центре обработки данных применяется новейшая система распознавания лица.

Третий уровень отведен под системы вентиляции и охлаждения воздуха. Система работает по принципу «фрикулинг»: забирает воздух с улицы, обрабатывает его, очищает, направляет в машинный зал, и затем выводит нагретый воздух на улицу. Температура в машинном зале поддерживается на уровне около 20 градусов.

Программное обеспечение системы – отечественная разработка. Оно многоступенчатое, с элементами искусственного интеллекта, который анализирует погодные условия, опираясь на данные своих метеостанций. В частности, система запасает холод, если ожидается резкое потепление. Эта «умная» система должна помочь банку ежегодно экономить примерно 100 млн рублей на электроэнергии. Еще 5 миллионов рублей в год Сбербанк сэкономит за счет перенаправления части тепла, которая выделяется от машинного зала, на отопление этажей.

Ситуационный центр в ЦОД «Сколково» визуально напоминает аналогичный центр в «Южном порту». На одной части экрана ведется мониторинг инженерных систем. Система позволяет управлять практически любым оборудованием в машинном зале. В случае возникновения аварии сообщение об этом немедленно появится на экране диспетчера. Также специалисты могут управлять системой динамических источников бесперебойного питания.

Из ситуационного центра можно следить не только за состоянием ЦОДа, но и за операционной деятельностью банка. В режиме реального времени на экране отражается более 20 000 метрик. Например, можно посмотреть, что за последнюю минуту по картам Сбербанка было совершено более 100 000 операций, через Сбербанк Онлайн провели свыше 20 000 операций, а сам банк отправил 90 000 SMS. Также можно получить детализацию по каждому конкретному территориальному банку Сбербанка.

Еще одна часть экрана посвящена кибербезопасности. На ней отображена консоль управления каналами связи банка и защиты от DDoS-атак.

Сбербанк пока не планирует сдавать мощности ЦОДа другим банкам. По крайней мере, четкого решения на этот счет нет. По словам представителя банка, вероятнее всего крупнейший российский банк будет оказывать другие услуги – в сферах кибербезопасности или облачных технологий.

Эта статья была разослана 1196 людям, которые подписались на тему «IT в банке»

Чтобы подписаться на «IT в банке», просто введите Ваш электронный адрес.