Рубрика «кластеризация»

Почему многокластерные решения становятся стандартом, и как в этом замешаны IT-гиганты - 1

Помните времена, когда веб-сервис работал на одном сервере под столом сисадмина? Никаких кластеров, балансировщиков и геораспределения — только железо, провод и простая логика. А сегодня нужны тысячи серверов, разбросанных по континентам, чтобы привычные сервисы поглощали терабайты данных, выдерживали DDoS-атаки и переживали падения дата-центров без единого сбоя для пользователя.

Вопрос в том, как такая система вообще не разваливается? Как синхронизировать десятки тысяч нод, избегая конфликтов и обеспечивая сквозную безопасность? Мы разберем, через какие адские круги консистентности данных и управления трафиком прошли инженеры — и какие паттерны теперь спасают распределенные системы от коллапса.
Читать полностью »

Машинное обучение: Кластеризация методом K-means. Теория и реализация. С нуля - 1

Здравствуйте, дорогие читатели. В этой статье я приведу разбор того, как работает метод кластеризации К-средних на низком уровне.

Содержание: идея метода, как присваивать метки неразмеченным объектам, реализация на чистом Python и разбор кода.

Введение

Читать полностью »

Привет! Меня зовут Иван Антипов, я занимаюсь ML в команде матчинга Ozon. Наша команда разрабатывает алгоритмы поиска одинаковых товаров на сайте. Это позволяет покупателям находить более выгодные предложения, экономя время и деньги.

Два сапога — пара, а три — уже community: как алгоритмы на графах помогают собирать группы товаров - 1

Читать полностью »

Всех приветствую, меня зовут Антон Рябых, работаю в Doubletapp. Вместе с коллегой Данилом Гальпериным мы написали статью про важный этап в процессе обучения нейронных сетей и получения необходимых нам результатов —  оптимизацию модели. Зачем нужно оптимизировать модель, если и так все работает? Но как только вы начнете разворачивать модель на устройстве, которое будет ее обрабатывать, перед вами встанет множество проблем.

Читать полностью »
Восстанавливаем результаты выборов в Государственную думу 2021 года с помощью машинного обучения - 1

Результаты выборов в государственную думу, которые проходили 17-19 сентября 2021 вызывают сомнения у многих экспертов. Независимый электоральный аналитик Читать полностью »

Пирамида вместо сферы: нестандартная кластеризация атомов золота - 1

Мир, окружающий нас, является совместным результатом множества явлений и процессов из самых разных наук, выделить самую главную из которых фактически невозможно. Несмотря на некоторую степень соперничества, многие аспекты тех или иных наук обладают схожими чертами. Возьмем для примера геометрию: все, что мы видим, имеет определенную форму, из которых одной из самых распространенных в природе является окружность, круг, сфера, шар (тенденция на лицо). Стремление быть шарообразным проявляется как у планет, так и у атомных кластеров. Но в правилах всегда есть исключение. Ученые из Левенского университета (Бельгия) выяснили, что атомы золота формируют не сферические, а пирамидальные кластеры. Чем обусловлено такое необычное поведение атомов золота, какими свойствами обладают драгоценные пирамиды и как на практике можно применить это открытие? Об этом мы узнаем из доклада ученых. Поехали.Читать полностью »

Так уж вышло, что на момент постановки задачи я не обладал достаточной степенью опытности, чтобы разработать и запустить это решение в одиночку. И тогда я начал гуглить.

Не знаю, в чем загвоздка, но уже в который раз я сталкиваюсь с тем, что даже если делать все пошагово как в туториале, подготовить такой же enviroment как у автора, то все равно никогда ничего не работает. Понятия не имею, в чем тут дело, но когда я столкнулся с этим в очередной раз, я решил — а напишу-ка я свой туториал, когда все получится. Тот, который точно будет работать.

Читать полностью »

Чем ИТ может сильно помочь колхозу «Путь коммунизма» или агрохолдингу - 1
Было-стало после кластеризации и оптимизации культур

Колхозы и агрохолдинги в России почти не автоматизированы. А там на почти ровном месте с минимальными затратами можно получить до 10 % прироста доходности за счёт выбора оптимального портфеля выращиваемых культур, точного распределения техники по работам и вообще нормального планирования. Мы пришли на несколько объектов и провели расчёты для них, о чём сейчас я и расскажу.

Сформулировали три фундаментальных вопроса:

  1. В каких пропорциях что нужно вырастить и где, чтобы больше заработать?
  2. Когда какая техника и где будет работать?
  3. Что должно быть в парке техники, чтобы не возникало рисков срывов сроков проведения агроопераций или больших затрат на найм?

Мы решали все эти задачи, и там море интересных особенностей. Обсуждать мы будем абстрактный колхоз «Путь коммунизма», расположенный в случайном месте (нам просто понравились поля на спутниковой карте), потому что настоящих заказчиков я называть пока не могу.

В таких местах, конечно, действуют рациональные агенты. Но иногда встречается пьющий агроном, иногда попадается косячник-механизатор и другие узнаваемые персонажи из реальной жизни. Нас ждут град, сломанный комбайн и другие приключения. И вот мы пойдём в это всё со своей автоматизацией. Читать полностью »

Кластеризуем лучше, чем «метод локтя» - 1

Кластеризация — важная часть конвейера машинного обучения для решения научных и бизнес-задач. Она помогает идентифицировать совокупности тесно связанных (некой мерой расстояния) точек в облаке данных, определить которые другими средствами было бы трудно.

Однако процесс кластеризации по большей части относится к сфере машинного обучения без учителя, для которой характерен ряд сложностей. Здесь не существует ответов или подсказок, как оптимизировать процесс или оценить успешность обучения. Это неизведанная территория.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js