Наверное, уже все слышали, что в соответствии с вступившим в силу Федеральным законом от 21 июля 2014 г. № 242-ФЗ "О внесении изменений в отдельные законодательные акты Российской Федерации в части уточнения порядка обработки персональных данных в информационно-телекоммуникационных сетях" необходимо организовать хранение и обработку персональных данных в России. Тема, конечно же, коснулась почти всех зарубежных финансовых организаций, представленных у нас в стране. Колесо завертелось и волею судьбы мы выиграли на исполнение проект одного зарубежного банка по созданию ИТ-инфраструктуры под миграцию его информационных систем (ИС) в Россию. Сорри, контракт включает NDA, поэтому назвать банк не можем. Но можем рассказать, как все это мы реализовали, какое решение предложили, архитектуру, СПД, какие вендоры – в общем, весь наш опыт передаем ниже.
Рубрика «Серверная оптимизация» - 18
Подготовка IT-инфраструктуры иностранного банка для переезда информационных систем в Россию
2017-07-13 в 11:23, admin, рубрики: Блог компании ТЕХНОСЕРВ, вычислительные комплексы, ит-инфраструктура, непрерывность бизнеса, персональные данные, резервирование, резервное копирование, Серверная оптимизация, Сетевые технологии, системы передачи данных, цодОграничение скорости обработки запросов в nginx
2017-07-11 в 7:57, admin, рубрики: nginx, traffic policy, traffic shaping, Блог компании Southbridge, Серверная оптимизация, системное администрированиеФотография пользователя Wonderlane, Flickr
NGINX великолепен! Вот только его документация по ограничению скорости обработки запросов показалась мне, как бы это сказать, несколько ограниченной. Поэтому я решил написать это руководство по ограничению скорости обработки запросов (rate-liming) и шейпингу трафика (traffic shaping) в NGINX.
Тюнинг типовых ролей Windows. Часть первая: Файлы и печать
2017-07-07 в 9:01, admin, рубрики: Блог компании Сервер Молл, оптимизация windows, производительность, Серверная оптимизация, Серверное администрирование, системное администрирование, метки: оптимизация windowsНачинаем небольшой цикл статей, посвященных тюнингу производительности сервера Windows и его типовых ролей. Материал будет полезен как при попытке выжать из старого сервера максимум (помимо покраски в красный цвет), так и при планировании новых высоконагруженных систем без покупки топовых серверов (как это советуют интеграторы).
NetApp HCI ─ гиперконвергентная система нового поколения для работы с данными
2017-06-30 в 11:43, admin, рубрики: NetApp, Блог компании МУК, гиперконвергенция, Серверная оптимизация, СХД, хранение данных, хранилища данныхРазвитие систем хранения данных и управления ими прошли долгий путь развития, будучи критичными для любого корпоративного IT решения. Сегодня наиболее совершенными являются гиперконвергентные системы, которые имеют целый ряд преимуществ перед используемыми сегодня и устаревшими наследуемыми системами. Они дешевле, проще в управлении, легко масштабируются и обеспечивают точное соответствие своих ресурсов потребностям предприятия.
Intel Vpro или IP-KVM для десктопов
2017-06-30 в 8:20, admin, рубрики: vpro, Блог компании Контел, Серверная оптимизация, Серверное администрирование, метки: vpro Прежде всего, давайте договоримся: те, кому технология Intel vPro не в новинку, могут не тратить времени на всю вступительную часть статьи, сразу заказать Intel Core I7 7700 c 16 GB DDR4 240 SSD c защитой от DDOS за 3800руб в мес, без установочного платежа (ссылка в конце статьи). Но нам кажется, что пока не все оценили преимущества удалённого доступа при помощи Intel vPro – который в нашем дата-центре предоставляется ко всем выделенным серверам без серверных платформ. А значит, нужно разобраться: что это за технология такая, какая она реализовывается, и какие проблемы решает.
Что такое Intel vPro?
Эта технология – настоящий аппаратно-программный комплекс, направленный на продвинутое решение проблем удалённого доступа: с учётом высоких требований к информационной безопасности, и необходимости предоставлять самые широкие возможности управления (о чём подробнее – ниже).Читать полностью »
Тюнинг сетевого стека Linux для ленивых
2017-06-27 в 6:59, admin, рубрики: linux, linux networking stack, numa, мониторинг сервера, Настройка Linux, производительность, Серверная оптимизация, Серверное администрирование, сетевые карты, Сетевые технологии, сети, я всё-таки немного пиарюсь, метки: linux networking stackСетевой стек Linux по умолчанию замечательно работает на десктопах. На серверах с нагрузкой чуть выше средней уже приходится разбираться как всё нужно правильно настраивать. На моей текущей работе этим приходится заниматься едва ли не в промышленных масштабах, так что без автоматизации никуда – объяснять каждому коллеге что и как устроено долго, а заставлять людей читать ≈300 страниц английского текста, перемешанного с кодом на C… Можно и нужно, но результаты будут не через час и не через день. Поэтому я попробовал накидать набор утилит для тюнинга сетевого стека и руководство по их использованию, не уходящее в специфические детали определённых задач, которое при этом остаётся достаточно компактным для того, чтобы его можно было прочитать меньше чем за час и вынести из него хоть какую-то пользу.
Сжатие фотографий без видимой потери качества: опыт Yelp
2017-06-25 в 16:30, admin, рубрики: jpeg, Mozjpeg, pillow, yelp, квантование, компрессия, оптимизация, Серверная оптимизация, сжатие данных, хранение данныхНа Yelp хранится более 100 миллионов пользовательских фотографий, от картинок ужинов и причёсок до одной из наших последних фич, #yelfies. Эти изображения составляют основную часть трафика для пользователей приложения и веб-сайта, а их хранение и передача обходятся недёшево. Стараясь предоставить людям наилучший сервис, мы усиленно работали над оптимизацией всех фотографий и добились среднего уменьшения размера на 30%. Это экономит людям время и трафик, а также сокращает наши расходы на обслуживание этих изображений. Ах да, и мы сделали это без ухудшения качества фотографий!
Исходные данные
Yelp хранит пользовательские фотографии уже 12 лет. Мы сохраняем lossless-форматы (PNG, GIF) как PNG, а все остальные форматы в JPEG. Для сохранения файлов используются Python и Pillow, а загрузки фотографий начинаются примерно с такого сниппета:
# do a typical thumbnail, preserving aspect ratio
new_photo = photo.copy()
new_photo.thumbnail(
(width, height),
resample=PIL.Image.ANTIALIAS,
)
thumbfile = cStringIO.StringIO()
save_args = {'format': format}
if format == 'JPEG':
save_args['quality'] = 85
new_photo.save(thumbfile, **save_args)
Организация коммутационного поля СКС высокой плотности
2017-06-22 в 1:48, admin, рубрики: Блог компании МУК, комутационное поле, сервера, Серверная оптимизация, системное администрирование, хранение данных, хранилища данных, метки: комутационное полеОбъем и плотность коммутационного поля СКС прямо пропорциональны хаосу на нем и обратно пропорциональны возможности его устранения. Проблематика проектирования и построения новой СКС сводится к расстановке рабочих мест, кабельных трасс и коммутационных узлов. Никто не задумывается о технических решениях, призванных обеспечить эффективное эксплуатирование системы после ее сдачи.
Как пропатчить K̶D̶E̶ TCP-стек под FreeBSD
2017-06-16 в 18:21, admin, рубрики: ddos, dpi, freebsd, highload, tcp, Серверная оптимизация, Серверное администрирование, Сетевые технологии, системное администрированиеКогда стоит вопрос выбора между проприетарным и открытым программным обеспечением, часто в пользу последнего приводят следующий аргумент: в случае необходимости всегда можно взять исходники и поправить их под себя, или исправить ошибку прямо сейчас, а не дожидаясь месяцами реакции от вендора. На самом деле этот аргумент весьма умозрительный — ну право же, кто в здравом уме возьмется за оптимизацию sql-планировщика, когда проще исправить сам sql запрос. Равно как и вряд-ли кто-то начнет искать и исправлять проблему в драйвере, когда быстрее и проще просто сменить железку. Баг-репорт отписать и то не всякий возьмется… Тем не менее, бывают случаи, когда именно наличие открытого кода позволяет избежать потенциальных убытков в случае возникновения непредвиденных проблем. Об одном из таких я и хочу сейчас расказать.Читать полностью »
Сохранить данные и веру в человечество: большая миграция кластера ElasticSearch
2017-06-15 в 10:23, admin, рубрики: devops, elasticsearch, kibana, LXD, Блог компании Яндекс.Деньги, логи, Серверная оптимизация, системное администрированиеВ этом материале я продолжаю делиться полевым опытом работы с системой сбора логов на базе Heka и ElasticSearch.
На этот раз рассказ пойдет про миграцию данных между двумя кластерами ElasticSearch 2.2 и 5.2.2, которая стоила немалых нервов лично мне. Как-никак, предстояло перевезти 24 миллиарда записей, не сломав уже работающую систему.
Прошлая статья закончилась на том, что система работает, логи поступают и складываются в кластер ElasticSearch, доступен их просмотр в реальном времени через Kibana. Но кластер изначально был собран со значительным запасом по памяти как раз на вырост. Читать полностью »