Эта статья — своеобразный мастер-класс «DVC для автоматизации ML экспериментов и версионирования данных», который прошел 18 июня на митапе ML REPA (Machine Learning REPA:
Reproducibility, Experiments and Pipelines Automation) на площадке нашего банка.
Тут я расскажу об особенностях внутренней работы DVC и способах применения его в проектах.
Примеры кода, используемые в статье доступны здесь. Код тестировался на MacOS и Linux (Ubuntu).
Приглашаем на митап, посвященный технологии WebAssembly, который пройдет на площадке Райффайзенбанка в Нагатино 1 августа. Послушаем доклады Raiffeisen Digital, Parity Technologies и Mozilla напрямую из Сан-Франциско.
Друзья, мы у себя в банке вместе с сообществом MskDotNet провели митап, на котором решили обсудить самые горячие вопросы найма и приема на работу. Пообщались с несколькими специалистами из разных компаний. Лайфхаками и своими историями поделились:
Игорь Маслов MaslovIgor, Head of IT Delivery, Райффайзенбанк;
Дарья Кудрявцева, Head of IT Recruitment, Альфа-Банк;
Юрий Орлов yobox, Community Lead .Net, Райффайзенбанк;
Андрей Зайцев, TeamLead, Развитие Mail.ru Group.
Коллеги рассказали о том, как проходить и проводить собеседования, какие вопросы стоит задавать, как себя вести и многом другом. Беседа получилась живой и интересной, и мы решили воспроизвести ее в текстовом виде для вас — наверняка кому-то окажется полезно.
Все эти годы вы, frontend-разработчик, писали монолиты, хотя и понимали, что это дурная привычка. Вы делили свой код на компоненты, использовали require или import и определяли npm-пакеты в package.json или плодили гит-репозитории в вашем проекте, но все равно писали монолит.
Пришло время изменить положение.
Читать полностью »
Пару лет назад у меня была серия инсайтов. Я поговорил со своей командой о том, как мы собираемся изменить должность менеджера программы. Например, меньше внимания уделять бэклогу, а больше бизнесу; меньше внимания уделять «знаниям» и больше «обучению и вопросам»; больше фокусироваться на взаимодействии с клиентами 1:1, и меньше — на агрегированных данных. Мы хотели привлечь в команду людей, которые помогли бы нам изменить эту культуру, но мы всё ещё задавали на собеседованиях одни и те же вопросы, да и сами собеседования проходили всё в том же стиле. Поэтому мы переосмыслили наш процесс интервью.
Мы некоторое время занимались этим и теперь хотим рассказать том, что сделали и чему научились.
Приглашаем на митап сообщества AWS_Ru, который пройдет на площадке Райффайзенбанка в Нагатино, 4 июля. Будем разговаривать про IoT и решения AWS, узнаем, как выжать из облака все и еще послушаем секретного спикера. Готовьте свои вопросы и приходите делиться опытом, будет интересно.
В последнее время я часто слышу о том, что Java стала устаревшим языком, на котором сложно строить большие поддерживаемые приложения. В целом, я не согласен с этой точкой зрения. На мой взгляд, язык все еще подходит для написания быстрых и хорошо организованных приложений. Однако, признаюсь, бывает и такое, что при повседневном написании кода иногда думаешь: “как бы хорошо это решилось вот этой штукой из другого языка”. В этой статье я хотел поделиться своей болью и опытом. Мы посмотрим на некоторые проблемы Java и как они могли бы разрешиться в Kotlin/Scala. Если у вас возникает похожее чувство или вам просто интересно, что могут предложить другие языки, — прошу под кат.
Мы приглашаем вас 3 июля на большой Open Demo Day в Райффайзенбанк, который состоится в Нагатино. Наши команды будут показывать живые демо, а вы первыми увидите то, что вот-вот появится на проде.
В Райффайзенбанке мы проводим демо-дни каждый месяц, и хотим не только показать продуктовую часть этого события, но также рассказать и продемонстрировать вам, как это помогает нам делать банк лучше.
Сейчас для многих тема очень актуальна цифровых трансформаций. На каждой около-ИТ конференции все рассказывают о своем опыте и делятся сложностями, которые были на пути. Истории с цифровизациями, трансформациями, аджайлизациями действительно интересны, и компании сталкиваются с большими сложностями, как техническими, так и социальными, и культурными.
Многие, кто работал с Spark ML, знают, что некоторые вещи там сделаны "не совсем удачно"
или не сделаны вообще. Позиция разработчиков Spark в том, что SparkML — это базовая платформа, а все расширения должны быть отдельными пакетами. Но это не всегда удобно, ведь Data Scientist и аналитики хотят работать с привычными инструментами (Jupter, Zeppelin), где есть большая часть того, что нужно. Они не хотят собирать при помощи maven-assembly JAR-файлы на 500 мегабайт (для чего необходимо еще и минимальное знание JVM-программирования). Просить же DevOps-ов и администраторов кластера ставить кучу пакетов на вычислительные ноды — явно плохая идея. Тот, кто писал расширения для SparkML самостоятельно, знает, сколько там скрытых трудностей с важными классами и методами (которые почему-то private[ml]), ограничениями на типы сохраняемых параметров и т.д.
И кажется, что теперь, с библиотекой MMLSpark, жизнь станет немного проще, а порог вхождения в масштабируемое машинное обучение со SparkML и Scala чуть ниже.
В настоящее время нет недостатка во фреймворках для создания микросервисов на Java и Kotlin.
В статье рассматриваются следующие:
| Название | Версия | Год первого релиза | Разработчик |
|---|---|---|---|
| Helidon SE | 1.1.1 | 2019 | Oracle |
| Ktor | 1.2.1 | 2018 | JetBrains |
| Micronaut | 1.1.3 | 2018 | Object Computing |
| Spring Boot | 2.1.5 | 2014 | Pivotal |
