Рубрика «data science» - 4
Хакинг метрик качества видео или как с приходом ИИ все становится намного сложнее
2022-11-22 в 8:02, admin, рубрики: computer science, data science, deep learning, JPEG AI, PSNR, SSIM, Super Resolution, VMAF, искусственный интеллект, машинное обучение, метрики качества видео, Научно-популярное, Программирование, сжатие видео, сжатие данных
Как Data Scientist переехал в Германию в разгар мобилизации
2022-10-21 в 20:41, admin, рубрики: data science, it-эмиграция, германия, Карьера в IT-индустрии, эмиграция ITПод катом я расскажу о своем опыте поиска работы в Германии после всем известных событий, а также о переезде в Берлин после объявления частичной мобилизации.
Поговорим про особенности и проблемы, которые могут возникнуть в наше непростое время, а также разрушим стереотипы по поводу немецкой бюрократии и педантичности.
Ну и конечно посчитаем сколько денег, времени и седых волос на это ушло.
Про правильный кокс, ИТ и эксперименты с ним
2022-09-15 в 7:01, admin, рубрики: data science, Блог компании Группа НЛМК, кокс, машинное обучение, оптимизация, печь, производство, уголь, управление проектами
Наша планета состоит из железа на 34,6 %, но оно в основном спрятано довольно глубоко. Большая часть доступного — в рудах в виде оксидов. При обработке руды происходит два процесса: нагрев (который переводит металл в жидкое агрегатное состояние) и связывание кислорода чем-то с более сильной химической связью, например, углеродом. Для этих целей идеально подходит уголь: он позволяет получить в простой печи нужную температуру и сам по себе во многом состоит из углерода. Сжигая оксиды железа внутри кучи угля, мы можем выплавлять металл чуть ли не в ямах в земле.
Увы, но для промышленного применения просто уголь не подходит. Ямы в земле обладают очень низким КПД. Для того чтобы повысить КПД, нужно увеличивать геометрический размер печи, а при увеличении её размера растёт высота столба топлива-восстановителя. В современных доменных печах у нас она может достигать 18 метров. А это очень толстый слой, но если этот слой не будет газопроницаем, то нарушатся конвекционные процессы, позволяющие происходить нагреву и восстановлению железа. И нарушится ещё несколько процессов, в частности, не будет правильного горения из-за отсутствия отвода газов.
Важна способность топлива восстанавливать CO2. Если она станет высокой, то углерод будет восстанавливать не металл, а превращать перегоревшую CO2 в CO, что резко ухудшит процесс выплавки. Кокс помогает и горению и восстановлению. Он делается нагревом смеси углей при 1000+ °C без доступа кислорода, когда смесь сначала переходит в пластическое состояние, а потом частицы начинают спекаться между собой.
Проблема только в том, что кокс исторически готовился на основании экспертного мнения технологов (основанного на опыте и не всегда системного с точки зрения математики). Примерная формула есть, а точная — только в голове у технолога с 40-летним стажем в виде интуитивного понимания.
Мы придумали способ, как соединить экспертное знание с математикой.
Читать полностью »
Как мы не смогли создать медицинского чат-бота. История проекта, который так и не увидел свет
2022-06-07 в 14:49, admin, рубрики: chatbots, classification, data processing, data science, deep learning, machine learning, named entity recognition, natural language processing, python, telemedicine, Блог компании MTS AI, искусственный интеллект, машинное обучение
Работа в Data Science: что важно знать и как этому научиться
2022-05-29 в 18:30, admin, рубрики: artificial intelligence, big data, career, data science, machine learning, self-education, искусственный интеллект, Карьера в IT-индустрии, машинное обучениеО чем это все?
Сегодня словосочетания вроде Data Science, Machine Learning, Artificial Intelligence очень популярны. При этом нередко под ними понимаются довольно разные вещи. Это зачастую смущает и запутывает людей, желающих войти в специальность: трудно разобраться, с чего начать, что действительно нужно, а что необязательно для начала. Не претендуя на общность, расскажем, как это видится на основе десятка лет опыта c решением такого рода задач для крупных клиентов со всего мира (сервис / заказная разработка / аутсорс – подставьте термин по вкусу).
Эволюция рекомендаций ресторанов в Delivery Club. Часть 1
2022-03-21 в 12:54, admin, рубрики: big data, cold start, data engineering, data science, Gradient Boosting, machine learning, machinelearning, recommender system, recsys, Блог компании Delivery Club Tech, коллаборативная фильтрация, контентные рекомендационные системы, машинное обучение, Управление e-commerce
Что такое MLOps и различные MLOps-инструменты (часть 2)
2022-03-07 в 13:19, admin, рубрики: data science, mlops, mlops tools, машинное обучение
Рефакторинг Shiny приложений
2022-02-05 в 13:12, admin, рубрики: data mining, data science, R, аналитика данных, Проектирование и рефакторинг, рефакторинг
Кадр из фильма «Формула любви», 1984
В жизненном цикле любого эксплуатируемого ПО наступает фаза, когда накопившийся набор изменений (CR) ложится неподъемным грузом на первичную архитектуру и вот тут наступает пора рефакторинга. Много книг понаписано на эту тему, есть специфика для различных языков. Ниже затронем только отдельные аспекты, которые могут оказаться полезным применительно к RStudio Shiny приложениям. Это ряд практических методов, трюков и нюансов, накопившихся при рефакторинге, как правило, чужого Shiny кода.
«Aliena nobis, nostra aliis» — Ежели один человек построил, другой завсегда разобрать сможет.
Это было в фильме, в первоисточнике несколько по-другому. Фраза Публилия Сира «Aliena nobis, nostra plus aliis placent» переводится как «Чужое нам, наше же в основном другим нравится». Но кузнец Степан все равно дело говорит.
Является продолжением серии предыдущих публикаций. Читать полностью »
5 грязных трюков в соревновательном Data Science, о которых тебе не расскажут в приличном обществе
2022-01-11 в 6:19, admin, рубрики: big data, data mining, data science, kaggle competition, python, tricksПривет, чемпион! Возможно, ты сейчас участвуешь в соревновании по анализу данных или просто решил погрузиться в мира Data Science. Тогда эта статья будет тебе очень полезна!
Сражу скажу, что трюки, о которых мы сегодня поговорим, я не просто так назвал "грязными". Речь пойдет о вещах, которые в каком-то смысле нечестные или просто вводят в заблуждение других участников соревнований. Долго думал, стоит ли про эти техники вообще рассказывать, ведь в борьбе за призовые всегда велик соблазн начать хитрить. Решил, что все-таки расскажу про некоторые приемы, дабы вооружить честных людей, которые играют по правилам.
