html текст
All interests
  • All interests
  • Design
  • Food
  • Gadgets
  • Humor
  • News
  • Photo
  • Travel
  • Video
Click to see the next recommended page
Like it
Don't like
Add to Favorites

Программа управления кластерами утраивает эффективность дата-центров

Инженеры из Стэнфордского университета разработали программное обеспечение Quazar, которое за счет более интеллектуального распределения нагрузки между серверами способно втрое увеличить эффективность работы серверов в дата-центрах. Описание программы с результатами нагрузочного тестирования в EC2 авторы представили 1 марта на международной конференции ASPLOS 2014 по архитектурной поддержке языков программирования и операционных систем: “Quasar: Resource-Efficient and QoS-Aware Cluster Management” (зеркало).

Основная проблема дата-центров в том, что в серверы загружены, в среднем, на 20%. Дата-центры вынуждены резервировать мощности, чтобы выполнить свои обязательства перед клиентами в периоды максимальной нагрузки их приложений. А клиенты резервируют мощности по максимуму, самостоятельно делая предположения, сколько понадобится CPU, RAM и проч.

Распределением нагрузки между серверами занимаются специальные программы — кластер-менеджеры (cluster manager), распределяя задачи через «агентов» (cluster management agent), установленных на каждом сервере. Один из самых популярных кластер-менеджеров — Apache Mesos. Именно с этой программой разработчики сравнивают Quasar по эффективности.


Увеличение производительности различных задач Hadoop (Mahout), Storm и Spark при использовании Quasar


Коэффициент использования серверов (server utilization) при использовании Quasar и стандартной системы с резервированием мощности

Значительное улучшение коэффициента использования серверов достигается за счет отказа от стандартной практики резервирования мощностей для каждого приложения. Вместо этого Quazar ориентируется на целевую производительность приложения, которую указывает заказчик. При этом используются особые алгоритмы распределения нагрузки, схожие с алгоритмами в системах рекомендаций на сайтах интернет-магазинов. Они помогают определить, какие конкретно задачи из разных приложений можно осуществлять параллельно на одном и том же сервере, а какие нужно перенести на другой, с динамической адаптацией в процессе работы.


Схема работы Quazar

Такие впечатляющие результаты оптимизации нагрузки кажутся невероятными, но разработчики написали реализацию Quazar и в реальности проверили ее на кластере из 200 серверов Amazon EC2, так что научная работа подкреплена убедительной доказательной базой.

Читать дальше
Twitter
Одноклассники
Мой Мир

материал с xakep.ru

11

      Add

      You can create thematic collections and keep, for instance, all recipes in one place so you will never lose them.

      No images found
      Previous Next 0 / 0
      500
      • Advertisement
      • Animals
      • Architecture
      • Art
      • Auto
      • Aviation
      • Books
      • Cartoons
      • Celebrities
      • Children
      • Culture
      • Design
      • Economics
      • Education
      • Entertainment
      • Fashion
      • Fitness
      • Food
      • Gadgets
      • Games
      • Health
      • History
      • Hobby
      • Humor
      • Interior
      • Moto
      • Movies
      • Music
      • Nature
      • News
      • Photo
      • Pictures
      • Politics
      • Psychology
      • Science
      • Society
      • Sport
      • Technology
      • Travel
      • Video
      • Weapons
      • Web
      • Work
        Submit
        Valid formats are JPG, PNG, GIF.
        Not more than 5 Мb, please.
        30
        surfingbird.ru/site/
        RSS format guidelines
        500
        • Advertisement
        • Animals
        • Architecture
        • Art
        • Auto
        • Aviation
        • Books
        • Cartoons
        • Celebrities
        • Children
        • Culture
        • Design
        • Economics
        • Education
        • Entertainment
        • Fashion
        • Fitness
        • Food
        • Gadgets
        • Games
        • Health
        • History
        • Hobby
        • Humor
        • Interior
        • Moto
        • Movies
        • Music
        • Nature
        • News
        • Photo
        • Pictures
        • Politics
        • Psychology
        • Science
        • Society
        • Sport
        • Technology
        • Travel
        • Video
        • Weapons
        • Web
        • Work

          Submit

          Thank you! Wait for moderation.

          Тебе это не нравится?

          You can block the domain, tag, user or channel, and we'll stop recommend it to you. You can always unblock them in your settings.

          • XakepVideo
          • университет
          • инженер
          • языки
          • домен xakep.ru

          Get a link

          Спасибо, твоя жалоба принята.

          Log on to Surfingbird

          Recover
          Sign up

          or

          Welcome to Surfingbird.com!

          You'll find thousands of interesting pages, photos, and videos inside.
          Join!

          • Personal
            recommendations

          • Stash
            interesting and useful stuff

          • Anywhere,
            anytime

          Do we already know you? Login or restore the password.

          Close

          Add to collection

             

            Facebook

            Ваш профиль на рассмотрении, обновите страницу через несколько секунд

            Facebook

            К сожалению, вы не попадаете под условия акции