Яндекс, ГК «Автодор», ГК «Роскосмос», группа ГАЗ, Минпромторг, НП ГЛОНАСС, Росавтодор, Российский союз автостраховщиков, Федеральное дорожное агентство, фонд «Сколково», Ассоциация европейского бизнеса и другие структуры учредили консорциум «Автодата», Читать полностью »
Рубрика «big data» - 24
Яндекс с госкомпаниями занялся национальной автомобильной big data
2019-09-30 в 11:13, admin, рубрики: big data, авто, Владимир Путин, Геолокационные сервисы, глонасс, Госвеб, Железо, запуск, Росавтодор, роскосмос, Россия, страхование, Текучка, телеком, Фонд Сколково, яндекс, метки: big data, авто, Владимир Путин, Геолокационные сервисы, глонасс, Госвеб, железо, запуск, Росавтодор, роскосмос, Россия, страхование, Текучка, телеком, Фонд Сколково, яндексПогружение в свёрточные нейронные сети: передача обучения (transfer learning)
2019-09-28 в 9:04, admin, рубрики: ashmig, big data, convolutional, networks, neural, udiacity, искусственный интеллект, машинное обучение, обработка изображенийПолный курс на русском языке можно найти по этой ссылке.
Оригинальный курс на английском доступен по этой ссылке.
Снятся ли андроидам отечественные датацентры?
2019-09-26 в 16:57, admin, рубрики: big data, Nvidia, SaaS, аналитика, дата-центры, импортозамещение, инвестиции, искусственный интеллект, колонка, Нам пишут, Сергей Гордейчик, Стратегия, Текучка, телеком, эффективность бизнеса, метки: big data, Nvidia, SaaS, аналитика, дата-центры, импортозамещение, инвестиции, искусственный интеллект, колонка, Нам пишут, Сергей Гордейчик, Стратегия, Текучка, телеком, эффективность бизнесаСергей Гордейчик с конца прошлого века интересуется разработкой, белошляпным хакерством, развитием технологий и бизнеса. Работал в РЖД, Лаборатории Касперского, Positive Technologies, НИП «Информзащита». В настоящее время увлекается AI, живёт Дубай, работает в Абу Даби, Читать полностью »
DB & DWH MeetUp #5 в Райффайзенбанке
2019-09-24 в 12:38, admin, рубрики: big data, dwh, Exadata, ods, oracle, raiffeisenIT, sas, sql, tableau, Блог компании Райффайзенбанк, конференцииСообщество Database & Data warehouse приглашает на свой митап, который состоится 26 сентября в офисе Райффайзенбанка в Нагатино
Структура Data Science-проекта с высоты птичьего полета
2019-09-23 в 10:17, admin, рубрики: big data, data mining, data science, data scientist, аналитика данных, методологияКак узнать наверняка, что внутри у колобка?
Может, ты его проглотишь, а внутри него река? © Таня Задорожная
Что такое Data Science сегодня, кажется, знают уже не только дети, но и домашние животные. Спроси любого котика, и он скажет: статистика, Python, R, BigData, машинное обучение, визуализация и много других слов, в зависимости от квалификации. Но не все котики, а также те, кто хочет стать специалистом по Data Science, знают, как именно устроен Data Science-проект, из каких этапов он состоит и как каждый из них влияет на конечный результат, насколько ресурсоемким является каждый из этапов проекта. Для ответа на эти вопросы как правило служит методология. Однако бОльшая часть обучающих курсов, посвященных Data Science, ничего не говорит о методологии, а просто более или менее последовательно раскрывает суть упомянутых выше технологий, а уж со структурой проекта каждый начинающий Data Scientist знакомится на собственном опыте (и граблях). Но лично я люблю ходить в лес с картой и компасом и мне нравится заранее представлять план маршрута, которым двигаешься. После некоторых поисков неплохую методологию мне удалось найти у IBM — известного производителя гайдов и методик по управлению чем угодно.
Читать полностью »
Список полезных книг по анализу данных, математике, data science и machine learning
2019-09-23 в 7:42, admin, рубрики: big data, data mining, python, искусственный интеллект, машинное обучение, полезные книгиНаписал пост, который идет строго в закладки, он со списком полезнейших книг по анализу данных, математике, data science и machine learning. Они будут полезны как новичкам, так и профессионалам. Для удобства можете читать здесь или использовать удобный google docs, в нем книги разбиты по столбцам и категориям. Пользуйтесь и прокачивайте скиллы сами + делитесь с коллегами.
Конечно, весь список книг неполный. Поэтому добавляйте в комментарии свои полезные ссылки на крутые книги, самые топовые из них я добавлю в список.
Книги по анализу данных, математике, data science и machine learning:
Книга «Дизайн-мышление. От инсайта к новым продуктам и рынкам»
2019-09-19 в 12:40, admin, рубрики: big data, Блог компании Издательский дом «Питер», инсайт, книги, мышление, проекты, Профессиональная литература, управление проектамиПривет, Хаброжители! В последние годы произошел всплеск интереса к дизайн-мышлению. Мы живем в эпоху, когда банки отказываются от традиционных банковских операций и переходят на цифровые деньги. На наших глазах рождаются стартапы, которые создают новые рынки, используя дизайн-экосистемы. Современные компании осуществляют цифровую трансформацию, чтобы по максимуму использовать современные методы обработки данных и быть на шаг впереди конкурентов. Книгу-героиню нашего сегодняшнего поста следует рассматривать как настоящую рабочую тетрадь. Это не руководство в привычном смысле, где описываются процессы.
Книга скорее дает вдохновляющий импульс для внедрения чего-то нового и реализации полного потенциала дизайн-мышления. Эта книга о том, как действовать, тестировать и размышлять. Авторы помогут вам: применить различные инструменты и методы дизайн-мышления в конкретных ситуациях; создать эффективную команду; ориентировать продукт на пользователя; ввести дизайн-мышление в организациях; научиться создавать цифровую продукцию; объединить дизайн-мышление с Big Data. В выбранном нами отрывке пойдёт речь об эффективном тестировании прототипа:
Читать полностью »
Must-have алгоритмы машинного обучения
2019-09-18 в 8:45, admin, рубрики: big data, data mining, python, Алгоритмы, искусственный интеллект, машинное обучение, наука о данныхХабр, привет.
Этот пост — краткий обзор общих алгоритмов машинного обучения. К каждому прилагается краткое описание, гайды и полезные ссылки.
Метод главных компонент (PCA)/SVD
Это один из основных алгоритмов машинного обучения. Позволяет уменьшить размерность данных, потеряв наименьшее количество информации. Применяется во многих областях, таких как распознавание объектов, компьютерное зрение, сжатие данных и т. п. Вычисление главных компонент сводится к вычислению собственных векторов и собственных значений ковариационной матрицы исходных данных или к сингулярному разложению матрицы данных.
SVD — это способ вычисления упорядоченных компонентов.
Полезные ссылки:
Вводный гайд:
CQM — другой взгляд в глубоком обучении для оптимизации поиска на естественном языке
2019-09-15 в 15:22, admin, рубрики: big data, data mining, data scientis, machine learning algorithmsCQM — другой взгляд в глубоком обучении для оптимизации поиска на естественном языке
Краткое описание: Calibrated Quantum Mesh (CQM)— это следующий шаг от RNN / LSTM (Рекуррентные нейронные сети RNN (Recurrent Neural Networks) / Долгая краткосрочная память (Long short-term memory; LSTM) ). Появился новый алгоритм, называемый Calibrated Quantum Mesh (CQM), который обещает повысить точность поиска на естественном языке без использования размеченных данных обучения.
Читать полностью »
Умные алгоритмы обработки строк в ClickHouse
2019-09-12 в 9:32, admin, рубрики: big data, c++, clickhouse, open source, Алгоритмы, Блог компании Яндекс, Серверное администрирование, строкиВ ClickHouse постоянно возникают задачи, связанные с обработкой строк. Например, поиск, вычисление свойств UTF-8 строк или что-то более экзотическое, будь то поиск типа учёта регистра или поиск по сжатым данным.
Всё началось с того, что руководитель разработки ClickHouse Лёша Миловидов o6CuFl2Q пришёл к нам на факультет компьютерных наук в НИУ ВШЭ и предложил огромное количество тем для курсовых и дипломов. Когда я увидел «Умные алгоритмы обработки строк в ClickHouse» (я, человек, который увлекается разными алгоритмами, в том числе экспериментальными), сразу же настроил планов, как сделаю самый крутой диплом. Мою радость и выражение лица можно описать следующей картинкой:
