Дата-центры: огромные серверные, где живёт весь интернет

Когда вы открываете сайт, смотрите видео или отправляете сообщение в мессенджере, кажется, что всё происходит «в интернете». Но у интернета есть физическое тело. Ваши фото в облаке, стриминг кино, банковское приложение: все эти данные лежат не в эфире, а на конкретных компьютерах в конкретных зданиях. Эти здания называются дата-центрами, или ЦОД (центр обработки данных).

Огромная библиотека

Представьте городскую библиотеку, только размером с завод. Вместо книжных полок в ней стоят металлические шкафы высотой в два человека, а в каждом шкафу плотно упакованы плоские коробки. Каждая коробка, или сервер, это полноценный компьютер: со своим процессором, памятью и жёсткими дисками. Один шкаф вмещает десятки серверов, а в большом дата-центре стоят тысячи шкафов.

«Библиотекарь» тут это сеть. Она находит нужный сервер за миллисекунды, берёт оттуда данные и отправляет вам на телефон. Когда вы кликаете на видео, запрос летит в дата-центр, сервер достаёт нужный файл и начинает передавать его вам. На это уходят доли секунды.

Насколько это огромно

Дата-центр это не серверная в подвале офиса, где жужжит один пыльный шкаф. Современные гипермасштабные ЦОД занимают площадь как десяток футбольных полей. Крупнейшие из них больше, чем торговые моллы, а этажей в них часто несколько.

Внутри всё устроено по corridors и рядам (коридорам и рядам шкафов), как в огромном складе ИКЕА, только вместо коробок с мебелью стоят стеллажи с серверами. Между рядами оставляют широкие проходы для обслуживания: инженеры ездят между шкафами на специальных велосипедах, потому что пешком от одного конца здания до другого минут десять.

Компании вроде Google, Amazon, Microsoft и Meta управляют десятками таких комплексов по всему миру. Каждый напичкан серверами, и их количество измеряется не штуками, а сотнями тысяч. По оценкам аналитиков, во всём мире работает около 600 гипермасштабных дата-центров, и каждый год их становится больше.

Почему их строят на севере

Серверы потребляют электричество и выделяют тепло. Много тепла. Представьте тысячу компьютеров, которые работают на полную мощность в одном зале: без охлаждения они превратят помещение в печь за минуты.

Поэтому дата-центры часто строят там, где холодно и где дешёвая энергия. Исландия, Швеция, Финляндия, Норвегия: эти страны популярны у крупных операторов. Холодный климат снаружи помогает охлаждать серверы почти бесплатно, а рядом часто стоят гидроэлектростанции с дешёвым электричеством.

Но не все ЦОД можно строить на севере. Данные нужны быстро, а каждый километр оптического кабеля добавляет задержку. Поэтому около крупных городов, включая Москву и Петербург, тоже стоят дата-центры. Просто на охлаждение там тратится больше ресурсов.

Как охлаждают серверы

Самый простой способ, кондиционеры, работает как в квартире: забирает тёплый воздух и подаёт холодный. В дата-центрах кондиционеров сотни, и они работают круглосуточно.

Более эффективный подход называют фри-кулингом (free cooling). Если на улице минус 10, холодный воздух просто затягивают в зал с серверами и фильтруют. Это экономит огромное количество энергии. В российских условиях фри-кулинг работает большую часть года.

Вода охлаждает лучше воздуха. В некоторых ЦОД серверы стоят в шкафах, по трубкам которых циркулирует холодная вода. Дорогой, но мощный способ отвода тепла. А самые необычные системы погружают сервер целиком в ванну с минеральным маслом: оно не проводит ток, но отлично забирает тепло. Звучит как фантастика, но несколько крупных компаний уже используют такие системы в продакшене.

Потребление как у города

Все эти серверы, системы охлаждения и освещение требуют колоссальных объёмов электричества. Крупный дата-центр потребляет примерно как небольшой город с населением в 50-80 тысяч человек.

Чтобы снизить счета и зависимость от электросетей, Google, Amazon и Microsoft вкладываются в собственные источники энергии. Строят солнечные фермы, ветропарки, иногда договариваются о прямом подключении к атомным станциям. Цель простая: чтобы электричество было стабильным и дешёвым. Microsoft даже экспериментировал с дата-центрами, опущенными на дно океана, где холодная вода охлаждает серверы бесплатно.

Уровни надёжности

Не все дата-центры одинаково надёжны. В индустрии есть шкала от первого до четвёртого уровня (tier). Дата-центр первого уровня переживёт короткое отключение электричества, но при серьёзном сбое встанет. Четвёртый уровень спроектирован так, чтобы не отключаться вообще никогда: любое оборудование можно ремонтировать или заменять без остановки. Банковские системы и крупные облачные платформы работают в ЦОД четвёртого уровня, а внутренние корпоративные сервисы часто довольствуются вторым или третьим.

Почему ничего не «падает»

Если дата-центр отключится, перестанут работать сайты, приложения, банкинг. Поэтому надёжность заложена на каждом уровне.

Питание дублируется. К каждому крупному ЦОД тянут несколько независимых линий от разных подстанций. Если одна отключится, другая подхватит мгновенно. На входе стоят ИБП (источники бесперебойного питания): аккумуляторные комнаты размером с грузовик, которые включаются за миллисекунды при сбое.

Для долгих отключений есть дизель-генераторы. Они стоят на улице в контейнерах и способны держать дата-центр несколько суток подряд. Топлива хватает на неделю и больше.

Связь тоже дублируется. Оптические кабели идут по разным маршрутам: если экскаватор копает траншею и режет один кабель, данные уходят по другому. ЦОД обычно подключён к нескольким независимым операторам связи, чтобы при сбое у одного остальные продолжали работать.

Как меряют эффективность

У дата-центров есть свой показатель: PUE (Power Usage Effectiveness). Он показывает, какую долю всей потребляемой энергии тратят на сами серверы, а какую на всё остальное: охлаждение, освещение, потери в проводах.

Идеальный PUE равен 1.0: каждый ватт идёт только на вычисления. На практике средний показатель по индустрии держится около 1.5. Лучшие дата-центры достигают значений 1.1-1.2 за счёт фри-кулинга и умного управления климатом. Чем ниже PUE, тем эффективнее центр и тем меньше счёт за электричество.

Показатель PUE стал настолько важным, что компании используют его как маркетинговый аргумент. Если ваш ЦОД имеет PUE 1.08, это повод для гордости. Если 1.8, вы платите почти столько же за охлаждение, сколько за сами вычисления.

Что запомнить

Интернет, который вы используете каждый день, физически живёт в огромных зданиях, набитых серверами. Они потребляют электричество как небольшие города, охлаждаются холодным воздухом и водой, дублируют питание и связь, чтобы ничего не сломалось. Когда вы отправляете сообщение или запускаете видео, где-то в Исландии, Ирландии или Подмосковье в этот момент оживает один из миллионов серверов.