Привет! Меня зовут Андрей Дорожкин, и я руковожу командой администрации баз данных в Hybrid. В этом материале я поделюсь опытом работы с ClickHouse — колоночной БД, разработанной специально для аналитических запросов, которая позволяет получать результаты в разы быстрее традиционных решений. Также я подсвечу, как устроен этот продукт, чем он отличается от реляционных баз данных, и в каких сценариях его использование может дать бизнесу реальное преимущество.
Рубрика «BigData»
Погружение в ClickHouse: делаем первые и успешные шаги
2025-04-15 в 10:16, admin, рубрики: BigData, clickhouse, базы данныхBI-Ассистент для создания аналитических дашбордов и автоматизированного анализа данных
2025-03-17 в 5:21, admin, рубрики: BI, BigData, gpt, искусственный интеллектBI-Ассистент для создания аналитических дашбордов и автоматизированного анализа данных
GigaChat 2.0 в API
2025-03-13 в 12:36, admin, рубрики: BigData, GigaChat, llm, искусственный интеллект, машинное обучение
Салют! Время летит незаметно. Будто совсем недавно мы знакомили вас с GigaChat MAX, но мы не стоим на месте и сегодня готовы представить вам обещанный апгрейд. За полгода мы значительно улучшили обучающие данные, поработали над инфраструктурой обучения моделей, а также уделили особое внимание всему процессу Alignment-а, в том числе RLHF.
На что способен Bard или случайные совпадения
2025-01-19 в 5:16, admin, рубрики: AGI, bard, BigData, gemini ai, аналитика, интеллект, нейросети, промпт-инжиниринг
Предыстория
Если, ради уменьшения объема этой статьи и её чисто прикладного характера, не вдаваться в собственные разработки Читать полностью »
Переход на новую архитектуру проекта: как это влияет на надежность стриминга web-данных
2024-12-20 в 11:15, admin, рубрики: BigData, аналитика, веб-аналитика, интернет-маркетинг, маркетинг, мобильная аналитика, цифровая аналитикаПредположим, что перед вашей командой стоит задача по поиску надежного стриминга web и app данных, который бы соответствовал требованиям службы безопасности, ожиданиям отделов маркетинга и аналитики, а также был бы полезен для управляющей команды. Не менее важно удобство и прозрачность работы стриминга, а внесение изменений в ожидаемый результат, желательно, без привлечения дополнительного ресурса аналитиков и разработчиков.
Этот материал будет полезен проектам, которые:
-
Выстраивают глубинную сквозную аналитику;
-
Рассматривают возможность интеграции аналитических решений;
Как в Купере масштабировали машинное обучение и что из этого получилось
2024-10-04 в 12:59, admin, рубрики: BigData, feature store, ml, mlops, selecte, Купер, машинное обучение
Не секрет, что ML‑модели требуют огромного количества данных. Информации не просто много, она организовывается в многообразные структуры, версионируется, употребляется разными моделями. Скорость обращения данных тоже критична, особенно для систем, взаимодействующих с пользователями в режиме реального времени.
При возросшей сложности не обойтись без специализированных инструментов, например Feature Store. Однако случается, что все решения на рынке не годятся по тем или иным причинам. Тогда приходится рассчитывать исключительно на свои силы.
Рассказываем, как в Купере внедрили Feast, хранилище признаков (Feature Store) с открытым исходным кодом. После прочтения вы познакомитесь с инструментом и сможете решить, подходит ли Feast для коммерческого использования. Подробности под катом!Читать полностью »
Контроль качества разметки на проекте: 4 секрета успеха
2024-10-04 в 11:16, admin, рубрики: AI, BigData, data annotation, data validation, ml, project management, разметка данных
Существует известное правило: “мусор на входе, мусор на выходе”. Все знают, что “чистые”, точные данные повышают качество и корректность работы ИИ-моделей, так что итоговая ценность оправдывает дополнительные усилия и вложения. Намного дешевле компаниям выходит предотвратить проблемы с данными, чем решать их после.
От проваленного пилота до идеальной системы — как мы научились работать с LLM проектами
2024-10-01 в 9:52, admin, рубрики: AI, BigData, llm, project management, управление проектамиLLM — одно из самых сложных и интересных направлений в Data Light. Я Виктория Янышева, занимаюсь LLM-проектами в компании.
В статье расскажу, как провела с командой первый провальный пилот, какие инсайты по процессам из него извлекла, и как их после применила на успешных проектах. Поговорим про работу с асессорами и валидаторами и про то, как сделать качественный продукт в сфере, главная специфика которой — субъективизм и отсутствие единой истины.
ClickHouse: полезные лайфхаки
2023-06-25 в 15:57, admin, рубрики: analytics, big data, BigData, clickhouse, data engineering, open source, opensourse, sqlЯ начала пользоваться ClickHouse до того, как это стало мэйнстримом: первый раз я столкнулась c этой базой данных лет 8 назад. C тех пор я уверена, что это лучшая DB для аналитики. Большинство аналитиков, которых я знаю, в восторге от ClickHouse (иногда чтобы проникнуться, требуется немного времени: разобраться и привыкнуть к синтаксису). Однако, я не могу не отметить, что администрирование ClickHouse имеет свои нюансы и подводные камни, но это уже совсем другая история.
В этой статье я расскажу что такое ClickHouse и почему я считаю его идеально подходящим мощным инструментом для аналитики. А также поделюсь tips & tricks из моего опыта. Поехали.
Из первых уст: почему AgroTech — это перспективно и выгодно
2022-12-26 в 7:25, admin, рубрики: BigData, rshbdigital, агротех, агротехстартапы, Блог компании Россельхозбанк, искусственный интеллект, Карьера в IT-индустрии, Научно-популярное, персона, развитие бизнеса, Развитие стартапа, рсхб, рсхб-интех, Читальный залСовременный агросектор очень восприимчив к инновациям. Big Data, автопилоты, искусственный интеллект, машинное обучение, автоматизация, роботы, агродроны — все эти технологии уже применяются в агросекторе, а потребность в специалистах и новых идеях только растет. Мы пообщались с основателями AgroTech-стартапов о том, как они пришли в сферу и как живется технологическим стартапам в некогда одной из самых консервативных отраслей России.
