Рубрика «Блог компании КРОК» - 16

в 7:50, , рубрики: Блог компании КРОК, велосипед, ит-инфраструктура, поддержка, разработка, Серверное администрирование, скрипт

«Денис, ты теперь инженер по развёртыванию». Офигеть, дайте две. В общем, я работаю в КРОК, который славится огромными проектами. В этом проекте мы поддерживали внедрение гигантской аналитической системы класса data lake для нескольких тысяч пользователей объёмом 150 ТБ. Пилят её несколько команд разработки, в общей сложности примерно 40 человек.

На них приходится четверо инженеров по инфраструктуре (опсов, админов, то есть нас) — мы чаще всего были нужны для того, чтобы устанавливать софт на стенды, перезагружать машины (первая надежда разраба: не работает — попроси инженера перезагрузить), накатывать схемы БД и так далее.

Как мои пальцы закровоточили, и я собрал велосипед для деплоя, который сэкономил больше 2 тысяч рабочих часов за проект - 1

Разрабы пишут код, который сливается в репозиторий. Из него Jenkins рождает сборки, которые выкладывает на шару. Развёртывание системы с нуля первый раз у меня заняло 4 часа 15 минут по таймеру. Для каждого из порядка десяти компонентов (скрипты разных БД, Tomcat-овские приложения и т. д.) в нужном порядке надо было взять файл с шары, разобраться, где и в скольких экземплярах его нужно развернуть, поправить настройки, указать, где ему искать другие компоненты системы, связать всех со всеми и ничего не перепутать.
Пальцы закровоточили — начал скриптовать. Началось с одного маленького скрипта.Читать полностью »

в 7:16, , рубрики: Hitec, Блог компании КРОК, бронепоезд, дата-центр, ДГУ, ДДИБП, дизель, динамический источник, ит-инфраструктура, питание, цод, энергопитание, метки: ,

Сейчас расскажу про эволюцию устройства, изначально предназначенного для обеспечения питания военных дата-центров по всему миру. Вот такой:

Динамические ИБП: история одного инженерного апгрейда очень в духе времени - 1
Новое поколение, «бронепоезд» на жаргоне. Справа наша давняя мечта — решётка, чтобы крыс не засасывало.

Технология родилась примерно в тот же период, что и ядерная бомба, поэтому она простая и понятная, как автомат Калашникова. Берём огромный железный волчок, раскручиваем электромотором. После преодоления инерции покоя тяжеленная железка крутится почти без трения. Отрубается питание — железка начинает сама крутить электромотор, который её запускал, и тем самым преобразует свою кинетическую энергию в электрическую некоторое время, пока не остановится. За это время успевает запуститься дизель.

Старые советские ДДИБП, которые стояли на Байконуре, принципиально не отличаются от своих современных аналогов. Те же волчки, те же дизели. Но есть масса полезных нюансов. Вот о них и о том, как вообще эволюционирует такое «кондовое» железо, и поговорим.Читать полностью »

в 7:19, , рубрики: альтернативная энергетика, Блог компании КРОК, ветряки, ит-инфраструктура, малая энергетика, солнечные батареи

Массовая «альтернативная» энергетика в России – это реально? - 1

Альтернативная энергетика в России (в первую очередь – ветряки и солнечные батареи) попросту не работает. Точнее, эти вещи пока не работают. Причин много, но главные — мы копаем нефть, газ и уголь, и городской ввод у нас не просто дешевле, а дешевле на порядок даже в самых запущенных случаях далёкого завода на берегу Балтийского моря, где, казалось бы, дует постоянный сильный ветер. В странах, где альтернативка реально работает, другие условия инфраструктуры: компактные географически сети, компенсации от государства для полей ветряков, есть возврат энергии в городскую сеть, если сейчас она не потребляется с батарей.

С другой стороны, у нас есть невероятное преимущество: длина страны такая, что когда где-то ночь, где-то на другом конце страны уже день. А, значит, можно очень хорошо «размазать» пики потребления за счёт продуманной инфраструктуры. А ещё у нас есть гидроэлектростанции, которые отлично работают на возобновляемой энергии. И очень-очень дешёвая атомная энергетика. Читать полностью »

в 7:05, , рубрики: Delphix, Администрирование баз данных, база данных, Блог компании КРОК, инфраструктура, ит-инфраструктура, программно-определяемая СХД, системное администрирование, СУБД, СХД, тестовые стенды, хранение данных

Представьте себе компанию «Ингосстрах» с продуктивной базой 30 Тб. Она лежит на большой такой железной хранилке, её обслуживает очень-очень тяжёлый сервер. Всё красиво. Теперь представьте, что вы написали фичу или кусок функционала, и вам нужно протестировать её на боевой базе. Кусочек базы отщипнуть нельзя по ряду причин.

Что вы сделаете? Ну, традиционный путь — взять ещё одну хранилку на 30–35 Тб (но подешевле раз в пять, помедленнее, попроще, без резервирования) и отреплицировать базу на неё. А затем работать с копией. Хороший план?

Нет. Дело в том, что когда у вас несколько команд разработки (а в нашем случае их количество выросло от 4 до 10), нужно, соответственно, от 4 до 10 тестовых площадок. Или даже больше. Покупать такое железом просто нереально, поэтому нужно решение, которое позволит один раз реплицировать боевую базу, а затем «показывать» её каждому серверу как отдельную тестовую, но храня все изменения тестовой площадки. Вот так:

«Пьяная» база данных: как на 1 базе мы сделали 7 тестовых площадок, причём у каждой — свой собственный инкремент и дифф - 1

Расскажу, как на одном узле с физической базой мы развернули 7 тестовых площадок, изолированных друг от друга. Читать полностью »

в 7:22, , рубрики: EMC, flash, ssd, storage, unity, VNX, Блог компании КРОК, ит-инфраструктура, Серверное администрирование, системное администрирование, СХД, хранение данных, хранилище, хррр

Сразу скажу главное — заявление про «цену дисковой» касается только специальных акционных цен на Unity, которые EMC дало нам как официальному партнеру в России под промо новой модели СХД. Акция касается не всех, детали в почту. Обычные же цены — просто крепкий хороший midrange под свою специфику.

Итак, поехали. EMC уже много лет неравнодушна к флешам, но в прошлом году конкретно заморочилась, решив, что будущее за ним. И выпустило рабочую и не очень дорогую штуку. Это почти что обычный мидрейндж с SSD-дисками (нюансы чуть позже). Никаких «втыкаем лом, а она продолжает работать», но зато внушительная производительность под базы данных и виртуалки плюс разные мелкие фишки.

Под капотом у новой поделки Dell + EMC — флешового хранилища по цене дискового - 1
Вот яркий пример оптимизации — раньше тут был отдельный ИБП-модуль в своём кожухе, и он менялся «на горячую». А теперь — Li-ion батарея с полиэтиленовой защитой от протечки внутри контроллера.

А ещё они наступили многим вендорам на любимую мозоль и сделали цену поддержки одинаковой на всё время. А то, знаете ли, многие большие вендоры любят ставить такую цену на 4-й и 5-й год, что проще заменить железо на новое. Ну и да, у этих ребят выход из строя диска по износу считается гарантийным случаем, не в пример некоторым любителем звездочек и мелкого шрифта в гарантийной политике.

Всё, теперь пошли втыкать в неё лом и тестировать. Забегая вперёд скажу, что с 9 дисков сняли 80 тысяч иопсов. Читать полностью »

в 7:27, , рубрики: RFID, wi-fi, беспроводная связь, Беспроводные технологии, Блог компании КРОК, ит-инфраструктура, метки, радиометки, радиоустройства, Стандарты связи

Пара распространённых заблуждений про радиоканалы RFID и Wi-Fi (и RFID как точки Wi-Fi) - 1
RFID-метка для пациентов, чтобы их было видно на карте больницы

— А можете каждому строителю чип в голову вшить?
— Теоретически да, но, может быть, объясните, зачем вам это нужно?
— Они у нас стройматериалы воруют. Прямо во время работ. А так каждого будет видно, куда он там зашёл, куда не надо.

Проект решился вшиванием в форменную одежду RFID-метки, разделением стройки на зоны и дальше тем, что делается в сети при построении периметра. То есть построением профиля «белого» трафика — кто, куда и когда ходит. А потом — как на файрволле — запретили строителям всё остальное. Кражи сразу сократились. Прораб получил потустороннюю силу и видел почти каждый косяк.

А дальше каждый чёртов раз, когда я рассказываю про RFID-решение, люди начинают махать руками и путать эти метки с Wi-Fi, Bluetooth и пассивными резонирующими контурами. Одна из причин — некоторые RFID-метки действительно работают по Wi-Fi 802.11. Давайте расскажу, как это используется на практике в разных странах. Читать полностью »

в 6:59, , рубрики: Блог компании КРОК, видео, видеонаблюдение, длина, ит-инфраструктура, кот, магазин, очередь, покупатели, попался, раскривушка шайтанама, распознавание, системное администрирование, стройматериалы

В одном строительном гипермаркете есть 18 касс, и надо уметь делать так, чтобы кассиры открывали их вовремя, чтобы очередь не была больше 4 человек. Ну, и чтобы лишние кассы не простаивали открытыми. Это распознавание людей (подсчёт покупателей) с видео, аналитика по погоде и другим факторам и предсказание потока. Плюс много другой забавной статистики.

Как мы отличали тележку от прораба — видеоаналитика для кассовой зоны гипермаркета (и продолжение про кота-терминатора) - 1
Пример очереди перед кассой — картинка обрезанная и замыленная по просьбе безопасников, по факту очередь мы видим длиннее, чем на фото.

В рознице первым вопросом стало то, как отличить прораба от тележки. И это было ничуть не смешно.

Да, и тем, кто переживал за кота-терминатора из прошлого поста — его поймали. Детали в конце.Читать полностью »

в 7:15, , рубрики: Bentley, bim, loy&hutz, trimble, Анализ и проектирование систем, Блог компании КРОК, визуализация данных, здания, инженерные сооружения, инфомоделирование, инфраструктура, контроль, обработка изображений, строительство, стройка, стройплощадка

Информационное моделирование зданий (BIM): как построить стадион (или другое здание) с первого раза и под контролем - 1
Пересечение CAD-чертежей и актуальной оперативной информации.

Представьте, что у вас 20 строительных площадок, и на каждой что-то каждый день происходит. Вы, естественно, хотите знать, что, как и почему. Раньше вы обходили их ногами, потом стали пользоваться данными веб-камер, а теперь стандартом в индустрии становится информационное моделирование зданий/сооружений, или BIM (Building Information Modelling). Это проектирование, строительство и эксплуатация в одной IDE. Собственно, такой подход уже стал государственным в Великобритании, Сингапуре, Норвегии и Китае. У нас же BIM пока применяется для того, чтобы на этапе предпроекта или проекта визуализировать то, что собираются построить. А ещё сейчас делают первые шаги, чтобы ловить проблемы в момент появления, а не когда о них доложат.

Естественно, было бы странно, если бы всё то, что касается финансов и начинается со слов «очень наглядный», не встречалось бы в штыки.

Ещё пример правильного решения — прокладка новой трассы. Нужно решить задачу расчёта оптимальной траектории, обхода преград, оптимизации выкупаемых участков по кадастру, взаимосвязи с существующей сетью дорог и инфраструктурой. Получается довольно объёмная система нелинейных уравнений, и её решение — только начало BIM.

Или, например, вы строите стадион.
Читать полностью »

в 8:29, , рубрики: huawei, Kunlun, RISC, x86, Блог компании КРОК, ит-инфраструктура, Серверная оптимизация, Серверное администрирование, системное администрирование

Замена RISC-машины на x86: приглашаю пощупать и потестировать завтра - 1
RISC-архитектура довольно долго была безальтернативной для процессинга банков и другого ответственного хайлоада. Как только начался кризис, всё чаще и чаще стало звучать мнение, что x86 тоже вполне может справиться. Теперь x86 активно щупают и кое-где внедряют. Потому что экономия в разы.

Завтра, в четверг 27 октября, в 18:00 мы будем издеваться над x86-машиной с интригующим названием Huawei Kunlun. Приходите потыкать в него палочкой. Будем нагружать его Oracle и майнингом биткоинов до тех пор, пока он, как бензопила из анекдота, не скажет «Хррр».

Ниже — короткое FAQ про RISC-машины и программа тест-драйва.
Читать полностью »

в 7:35, , рубрики: Беспроводные технологии, Блог компании КРОК, ит-инфраструктура, Сетевые технологии, телекран, метки:

Всякие технологичные инфраструктурные игрушки для публичных мест — передаю привет Скайнету - 1
Рентгеновская установка для транспорта, где с помощью машинного зрения ищутся предметы, похожие на оружие или спрятанных людей.

Начнём с детектора драки. Задача вполне понятная: есть много процессоров и умных программистов, город покрыт камерами, нужно всего-то ничего — сделать так, чтобы как только кто-то начал драться, модераторам с резиновыми дубинками пришло сообщение. Дальше они «отмодерируют» уже по-старинке.

Похожий детектор тестируется, чтобы в ночных клубах в туалетах не занимались чем-нибудь лишним. Там точность выше, потому что сюжет проще, легче алгоритмизируется и дольше длится (обычно).

Но давайте не будем останавливаться на этой приятной ноте, а продолжим смотреть, что ещё есть в арсенале будущего Скайнета. Ну, или Большого Брата.Читать полностью »

1...10...151617...2030...34
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js