html текст
All interests
  • All interests
  • Design
  • Food
  • Gadgets
  • Humor
  • News
  • Photo
  • Travel
  • Video
Click to see the next recommended page
Like it
Don't like
Add to Favorites

Фоторепортаж из дата-центра Facebook. Часть 1


Пора уже добивать старые обещалки, которыми я время от времени кормлю здешнюю публику, поэтому выкладываю свой рассказ и фоторепортаж о дата-центре Facebook в штате Орегон. Выкладываю очень много фоток: времени маловато, поэтому очень надеюсь, что ничего не напутал, прошу заранее прощения если что. Короче, пошёл лид к статье...

В уже уходящем 2012 году социальная сеть Facebook преодолела важный психологический рубеж, достигнув 1 миллиарда активных пользователей, при этом среднее количество просмотров страниц этой социальной сети превысило не менее фантастическое число — 1 триллион в месяц. Несомненно, для компании такого масштаба просто жизненно необходимо иметь собственный дата-центр — первым из которых для Facebook и стал центр обработки данных (ЦОД) в штате Орегон.

Я предлагаю с моей помощью совершить виртуальное путешествие в центральный дата-центр Facebook в уже трижды упомянутом штате Орегон, под катом подробности его устройства и множество фотографий.

(внимание, под катом неслабый трафик!)

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

В процессе стремительного роста пользовательской базы количество подобных центров постепенно было увеличено компанией до четырех. На данный момент ЦОДы этой социальной сети объединены в один гигантский распределенный кластер, который не только балансирует нагрузку между всеми узлами, но и выполняет функции ускорения доставки контента пользователям из различных географических регионов.

Следует сразу отметить, что, несмотря на впечатляющий рост собственных вычислительных мощностей, Facebook пока не видит возможным отказаться от аренды мощностей сторонних ЦОДов. До сих пор компания достаточно сильно зависит от внешних мощностей, предоставляемых частными дата-центрами в Силиконовой долине и Северной Вирджинии (в частности, это такие крупные операторы, как Digital Realty и DuPont Fabros).

Отчасти это связано с бешеным ростом внутреннего трафика в рамках упомянутого выше кластера: в среднем он удваивается каждые 7 месяцев, кроме того, он демонстрирует дальнейшую тенденцию к росту:

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Внешний трафик тоже нарастает, но не такими стремительными темпами

Возможно, причина столь сильной диспропорции в логической схеме организации ЦОДов, где скрывается первое отличие, характерное именно для Facebook, — сильная ролевая централизованность и несимметричность такого кластера.

Только один дата-центр из четырех выполняет роль центрального, принимая на себя «всю запись» и обрабатывая значительный поток входящих данных, тогда как три других «отгружают» пользователям уже готовый или изначально статичный контент. Фактически, они выступают в роли собственной CDN, попутно выполняя роль резервирования всей транзитной информации. Вторая интересная особенность заключена в том, что весь кластер сосредоточен исключительно на территории США, в уже упомянутых собственных 4 дата-центрах на территории штатов Калифорния, Вирджиния, Орегон и Северная Каролина.

Вот типичные интерьеры основных серверных боксов, чуть более подробно мы опишем их далее:

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Только относительно недавно Facebook приняла кардинальное решение начать свою экспансию за пределы Америки путем построения собственных ЦОД в Европе, тогда как до недавних пор ограничивалась лишь арендой чужих вычислительных площадей в этом крупном регионе. Сигналом к началу подобных серьёзных «внешних инвестиций» послужила статистика пользователей этой социальной сети — впервые, начиная с 2010 года, количество пользователей за пределами США превысило их количество на территории Америки.

Как выразился в связи с этим высокопоставленный топ-менеджер Facebook Том Ферлонг — «Настало время расширяться в Европу».

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

И вот ровно год назад в Швеции был запущен новый дата-центр Facebook, который открылся на самом севере этой страны — в городе Лулео.

Удачное географическое место позволит восемь месяцев в году охлаждать этот северный ЦОД исключительно за счет наружного воздуха, что делает его дешевле в обслуживании в среднем на 40% по сравнению с аналогичным дата-центром в США. Немаловажным фактором для инвестиций Facebook также стало то, что для строительства своего дата-центра американская компания получила субсидии от Евросоюза в размере 10 миллионов фунтов, кроме того, именно здесь были предложены наименьшие цены на электричество среди всей Европы.

Внизу хронология сборки ангара новейшего дата-центра Facebook в Швеции (фотографии ниже идут с шагом примерно в два месяца):

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Кстати, построение и запуск с нуля этого дата-центра было осуществлено менее чем за год по времени, само решение согласовывалось на всех уровнях тоже примерно около года. Этот ДЦ в строю и работает на полную мощность с лета 2012 года.

Вторым вектором внешней экспансии Facebook выбран Тайвань, где идёт подготовка к строительству новейшего супер-мега дата-центра, который, как планируется, станет крупнейшим в Азии. Чтобы оценить масштабы подготавливаемой стройки и заодно подчеркнуть приоритетность азиатского направления для Facebook, добавлю, что площадь будущей серверной станции составит площадь эквивалентную по размерам 180 баскетбольным площадкам. Пока эта стройка находится на стадии согласования проекта и переговоров всех сторон.

Внимание к деталям

Да, подобные дата-центры огромны по площади, здесь просто так не возьмешь запасной блок сервера и не принесёшь его к месту назначения. В случае с Facebook используются собственные специализированные электрокары для перевозки по территории ЦОД сервисной аппаратуры или запасных компонентов (здесь и далее речь будет идти об орегонском ДЦ):

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Впрочем, не везде по этой обширной территории можно передвигаться свободно даже самим работникам ДЦ.

В специальных «закрытых зонах» дата-центра установлены отдельные сервера, выделенные для обслуживания финансовых транзакций и чувствительных операций с личными данными. Сюда доступ закрыт большинству персонала ДЦ, такие зоны находятся за решеткой и под круглосуточным видео-мониторингом, все выполняемые операции над такими серверами журналируются независимыми внешними системами и требуют получения предварительного разрешения.

Вот эта зона в Орегоне:

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Таблички на клетках честно какбэ предупреждают — не искушайте свою судьбу.

Кстати у всех входящих на такие зоны обязательно одеты специальные визуально идентифицирующие их браслеты, бейджи здесь не используются. Общая схема их использования такова: сначала покупаете контрольные браслеты, затем индивидуализируете их, ну а после они позволяют осуществлять в том числе и визуальный контроль доступа, хотя бы через видеокамеру. Как правило, это браслеты из тайвека или из винила, я себе такой «запиперил» на память, лежал какбэ на видном месте и ничейный — не удержался, каюсь в этом грехе смертном.

Кстати говоря, ведение блога по словам психиатров, это идеальный способ повседневного терапевтического вербального самоанализа — curing writing, или говоря по-русски и проще — способ исповедоваться и облегчения своей тяжкой греховной ноши, но не буду дальше оффтопить читателя своими тараканами, сорри...

Здесь везде просто огромное внимание уделяется мелочам. К примеру, при доставке оборудования в свой самый северный городок Лулео из-за низкой внешней температуры и большой влажности гарантирован резкий перепад температур, и при загрузке из теплых складов это приводит к конденсации, что может негативно сказаться на электронике.

В связи с этим буржуинами-капиталистами обеспечивается специальный бережный температурный режим при доставке своего неказенного оборудования, а также цикл его быстрой профилактической сушки при разгрузке.

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Специальная термическая сушильная камера для электроники

Есть и свой собственный цех утилизации вышедших из строя винчестеров, которых за месяц, кстати, накапливается более 1000 штук.

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Про бешенную специфику I/O в Facebook мы поговорим отдельно, когда будем рассматривать программное устройство этой махины — эта серия отдельных статей уже пишется.

Вот тогда вам и станет понятно, почему винты здесь сыпятся в таких количествах...

Самое узкое место: электроснабжение

Чтобы осознать масштаб проблемы, давайте начнем с цифр и сравнений. Далеко не самый крупный дата-центр Facebook в Орегоне (округ Крук) сейчас потребляет мощность эквивалентную 40 мегаваттам. Для сравнения — всё население и промышленность округа Круг все вместе потребляют в час пик около 30 мегаватт.

Если же говорить о суммарной потребляемой мощности всех 4 американских дата-центров этой ведущей мировой социальной сети, то это будет примерно 900 миллионов киловатт-часов в год, что составляет примерно одну четвертую от генерируемых мощностей одной из крупнейших американских и мировых гидроэлектростанций — Плотины Гувера (кстати говоря, эта дамба официально признана самым массивным искусственным сооружением, возведенным за всю историю современной цивилизации).

Выходим наружу и побродим вокруг ДЦ:

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Есть здесь и непонятные обрывы на земле, хотя как видно дальше повсюду много всяких прикольных табличек:

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

В области электрификации здесь есть множество необычных решений (я сейчас не об обрывах проводов толкую), назовем некоторые из них.

Во-первых, сервера Facebook содержат адаптированные блоки питания (производство американской компании Power One), которые позволяют работать на нестандартных 277-300 вольтах, взамен более традиционных 210-220 вольт.

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Дело в том, что питание подаётся в здание ЦОД сразу с промышленно-транспортным напряжением примерно в 300 вольт, и подобные блоки питания позволяют избежать необходимость промежуточного понижения напряжения и создания традиционного блока распределенного питания. За счет исключения не нужных нескольких трансформаторных станций удается сократить потери энергии на пути от электрической подстанции к серверной ферме со стандартных 11-17 процентов до 2 процентов.

Вот фотографии целой армии страховочных дизельных электрогенераторов:

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Система видеонаблюдения спроектирована так, что она позволяет увидеть любую точку внешней части стены ДЦ

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Вторая особенность — это повальное использование архитектуры и спецификаций Open Compute Project (OCP) при развертывании своих серверов и сетевых систем.

Напомню, что инициатором создания Open Compute Project является сама Facebook, и главная цель этого открытого проекта — это разработка и документирование общепризнанных спецификаций при проектировании высоконагруженных аппаратных систем, где фиксируются наиболее интересные находки с точки зрения производительности, масштабирования, стоимости и особенно требований в области экологии и потребления электроэнергии.

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Подобная открытость является беспрецедентной для такого крупного интернет-бизнеса как Facebook, поскольку компания отвечает за безопасность сотен миллионов своих пользователей по всему миру.

Для сравнения Microsoft запрещает даже фотографировать в своих дата-центрах, не то, что публиковать подробные детали устройства своего оборудования. В частности Ореn Compute Project агрессивно продвигает столь любимый в Facebook форм-фактор — 21-дюймовые серверные слоты и стандарт Open Rack вместо традиционного 19-дюймового аналога.

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Такая стойка в «упакованном состоянии» и в полном сборе выглядит вот так:

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Cервера Facebook разработаны изначально так, чтобы упростить к ним доступ, для чего используются клипы и плунжерные крепления вместо традиционных винтов. Кроме того, серверы по спецификации Open Compute Project установлены не на базе стеллажей, а на базе полок, таким образом они могут как вдвигаться, так и выдвигаться.

В качестве третьей особенности я бы выделил очень высокую эффективность (КПД) энергообеспечения, которой Facebook справедливо гордится, а также приверженность компании к экологически чистым источникам питания. Впрочем, будем откровенны: несмотря на повсеместно расставленные солнечные панели и ветряки на территории дата-центра, конечно, их вклад в необходимую для работы ЦОДа электроэнергию — мизерный.

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Насколько я понимаю, это больше имиджевый шаг, сделанный после долгого преследования экологами конкретно Facebook за так называемый «углеводородный след» — неизбежную плату любых крупных энергетических комплексов. Впрочем, известный писатель Брюс Стерлинг уже давно емко описал этот негативный эффект от масштабной вычислительной деятельности человечества:

«Всякий раз, когда мы нажимает на кнопку Enter, нам следовало бы представлять облачко дыма, поднимающееся над монитором».

Давайте сосредоточимся на заявленных достижениях Facebook, тем более они у него действительно впечатляют. И здесь главный параметр — PUE (Power usage effectiveness) — стандартный показатель энергоэффективности для дата-центра. В общем виде он определяется как соотношение общей суммы потребляемой электроэнергии к объему электроэнергии, расходуемой в чистом виде исключительно на саму сетевую инфраструктуру (чем ниже значение, тем лучше, соответственно PUE=1,0 является минимально возможным). В дата-центрах компании Facebook этот показатель колеблется в диапазоне от 1,05 до 1,18.

Даже освещение в ЦОД полностью реализовано на основе LED-технологий:

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Экономия здесь проявляется в каждой мелочи, вот, например, достаточно массивные кулеры, которые монтируются вместо маленьких штатных заводских:

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Подбор наиболее оптимального форм-фактора кулеров был осуществлен путем тестирования типичных режимов работы серверов на специальной воздушной машине:

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Чтобы лучше оценить итоговые результаты с PUE я приведу такой пример: агентство по охране окружающей среды США в качестве эталонного жесткого ориентира рекомендует всем крупным потребителям электричества укладываться в пределы 1,5, тогда как среднее мировое значение PUE у ведущих мировых дата-центров колеблется между 2.0-2.3. Как видим Facebook смог наладить электропотребление близкое к идеальному по своей эффективности.

~

Продолжение этого фоторепортажа (вторую часть) читайте вот здесь.

Читать дальше
Twitter
Одноклассники
Мой Мир

материал с blogerator.ru

1

      Add

      You can create thematic collections and keep, for instance, all recipes in one place so you will never lose them.

      No images found
      Previous Next 0 / 0
      500
      • Advertisement
      • Animals
      • Architecture
      • Art
      • Auto
      • Aviation
      • Books
      • Cartoons
      • Celebrities
      • Children
      • Culture
      • Design
      • Economics
      • Education
      • Entertainment
      • Fashion
      • Fitness
      • Food
      • Gadgets
      • Games
      • Health
      • History
      • Hobby
      • Humor
      • Interior
      • Moto
      • Movies
      • Music
      • Nature
      • News
      • Photo
      • Pictures
      • Politics
      • Psychology
      • Science
      • Society
      • Sport
      • Technology
      • Travel
      • Video
      • Weapons
      • Web
      • Work
        Submit
        Valid formats are JPG, PNG, GIF.
        Not more than 5 Мb, please.
        30
        surfingbird.ru/site/
        RSS format guidelines
        500
        • Advertisement
        • Animals
        • Architecture
        • Art
        • Auto
        • Aviation
        • Books
        • Cartoons
        • Celebrities
        • Children
        • Culture
        • Design
        • Economics
        • Education
        • Entertainment
        • Fashion
        • Fitness
        • Food
        • Gadgets
        • Games
        • Health
        • History
        • Hobby
        • Humor
        • Interior
        • Moto
        • Movies
        • Music
        • Nature
        • News
        • Photo
        • Pictures
        • Politics
        • Psychology
        • Science
        • Society
        • Sport
        • Technology
        • Travel
        • Video
        • Weapons
        • Web
        • Work

          Submit

          Thank you! Wait for moderation.

          Тебе это не нравится?

          You can block the domain, tag, user or channel, and we'll stop recommend it to you. You can always unblock them in your settings.

          • pleshner
          • домен blogerator.ru

          Get a link

          Спасибо, твоя жалоба принята.

          Log on to Surfingbird

          Recover
          Sign up

          or

          Welcome to Surfingbird.com!

          You'll find thousands of interesting pages, photos, and videos inside.
          Join!

          • Personal
            recommendations

          • Stash
            interesting and useful stuff

          • Anywhere,
            anytime

          Do we already know you? Login or restore the password.

          Close

          Add to collection

             

            Facebook

            Ваш профиль на рассмотрении, обновите страницу через несколько секунд

            Facebook

            К сожалению, вы не попадаете под условия акции