Введение
Статей о GPT написано уже немало, и многие знакомые мне аналитики заявляют, что ни разу не использовали его возможности. Ввиду этого, я хочу подробно раскрыть эту тему, предоставив практические примеры и доказательства эффективности.
Рубрика «обработка данных»
GPT: Революция или Апокалипсис
2024-12-13 в 15:53, admin, рубрики: gpt, аналитик данных, нейросети, обработка данных, оптимизация запросов, очистка данных, современные технологии, тренды, хитрости программирования, человек vs компьютерМиф о чистых данных: почему ваш аналитик похож на сапёра
2024-12-01 в 10:16, admin, рубрики: data quality, визуализация данных, витрина данных, данные, обработка данных, очистка данных, ошибки в бизнесе, подготовка данных, целостность данныхПредставьте: вы — аналитик данных, перед вами — гора необработанных данных, и каждый неверный шаг может привести к катастрофическим последствиям для бизнеса. Звучит как сценарий фильма-катастрофы? К сожалению, для многих аналитиков это повседневная реальность.
Часто, начиная проект по бизнес-аналитике, заказчик заявляет: «У нас идеально чистые данные, просто заходите и визуализируйте!» Эта фраза, увы, часто предвещает долгие часы кропотливой работы по очистке, обогащению и агрегации данных — настоящее разминирование информационного поля.
Создаём свой реестр данных на основе ФГИС «Аршин». Часть 1 — добавляем данные в PostgreSQL и сокращаем размер БД
2024-10-19 в 8:15, admin, рубрики: pandas, postgresql, sqlalchemy, АРШИН, обработка данных, реестр данныхВсем привет. Этот практический цикл статей рассчитан на начинающих. Я решил поделиться своим опытом создания реестра данных на основе государственного. Данные будут храниться в базе данных PostgreSQL, доступ к ним будет осуществляться через Fast API. В текущей статье займёмся загрузкой данных в базу и уменьшением её размеров.
Введение
Нам предстоит работать с данными о результатах поверки средств измерений, которые будем загружать из раздела сайта «Результаты поверок СИЧитать полностью »
Проблемы защиты персональных данных в мире искусственного интеллекта
2024-09-17 в 4:18, admin, рубрики: ml, защита данных пользователей, обработка данных, персональные данныеИскусственный интеллект сейчас, по большому счету, везде. В любой отрасли нам говорят о том, что в ней используются нейросети, машинное обучение и другие направления ИИ. Не стали исключением и системы, связанные с обработкой персональных данных пользователей. В этой статье мы поговорим о том, как связаны искусственный интеллект и защита персональных данных.
Риски при обработке данных ИИ
Итоги ICDAR-2024: Как и зачем нужно делать распознавание объяснимым
2024-09-11 в 8:26, admin, рубрики: icdar, ocr, OCR-технологии, ИИ, обработка данных, обработка изображений, распознавание документов, распознавание паспорта, распознавание речи, репортаж
Почему ICDAR?
Море, солнце, пляжЧитать полностью »
Прекратите клепать базы данных
2023-12-05 в 22:07, admin, рубрики: sql, клиент, микроменеджмент, обработка данных, серверВ жизни каждого инженера‑фронтендера наступает момент, когда осознаёшь: далее не обойтись без кэширования данных из API. Всё может начаться с самых невинных вещей: сохраняем предыдущую страницу с данными, чтобы кнопка «Назад» срабатывала мгновенно; реализуем простенькую логику отмены действия или обеспечиваем слияние нескольких состояний от различных запросов к API. Но все мы знаем, чем такое кончается. Один за другим возникают запросы на новые фичи, и вскоре мы уже не покладая рук реализуем кэши данных, индексы для работы вручную, оптимистические мутации и рекурсивную инвалидацию кэша.
Анализ статей Хабрахабр
2021-10-09 в 15:53, admin, рубрики: Алгоритмы, визуализация, визуализация данных, обработка данных, парсинг, поиск закономерностей, Программирование, статистика, хабрахабр
Решила повторить исследование, сделанное в 2017 году и посмотреть, что изменилось за 5 лет. Ссылка на предыдущую статью Анализ статей Хабрахабр и Geektimes. Дизайн сайта изменился, поэтому делала все в jupyter python, а не wolfram mathematica. Далеко не все графики удалось воспроизвести заново. Получился анализ более чем 260000 статей.
Результаты обработки данных
Анализ хабов
Как классифицировать данные без разметки
2021-09-07 в 11:30, admin, рубрики: data engineering, data science, machine learning, python, Блог компании FunCorp, классификатор данных, классификация изображений, машинное обучение, нейросети, обработка данных, обработка изображений, сверточные нейросети
Пользователи iFunny ежедневно загружают в приложение около 100 000 единиц контента, среди которого не только мемы, но и расизм, насилие, порнография и другие недопустимые вещи.
NASA переходит в облака: MCP, DAPHNE и облачные инструменты для команды Perseverance
2021-08-02 в 15:51, admin, рубрики: астрономия, Блог компании Selectel, Научно-популярное, облака, Облачные вычисления, обработка данных, спутники
Мы уже писали о том, что NASA и другие космические агентства генерируют огромный объем информации. Данных будет еще больше после запуска в работу сети радиотелескопов и антенн Square Kilometre Array (SKA). Все эти данные нужно где-то хранить и обрабатывать.
Кроме того, NASA приходится еще иметь дело с данными со спутников, которых тоже становится все больше, как и внеземных аппаратов. Их назначение может быть самым разным — от наблюдения за Солнечной системой до изучения метеорологических условий определенного региона Земли. Объединяет их то, что они отправляют информацию на Землю, где для приема и обработки данных установлены специальные станции со специфическим и дорогим оборудованием. Недавно агентство решило сделать ход конем — начать обрабатывать и хранить все это в облаке. Подробности о проектах, которые имеют отношение к этой задаче, — под катом.
Читать полностью »