Петербургский Фонд капитального ремонта опубликовал документы, в которых указана задолженность за каждую квартиру в городе по итогам 2024 года. Мы изучили эти файлы, чтобы ответить на вопрос: где и почему хуже всего платят за ремонт в своём доме.
Я занимаюсь анализом данных и дата-журналистикой в газете "Деловой Петербург". Расскажу о том, как объединяли информацию из множества локальных html-таблиц и приведу примеры кода на "Питоне".
Привет! Меня зовут Женя и я работаю аналитиком данных. В этой статье я бы хотел рассказать начинающим аналитикам о том, как правильно настроить окружение для работы с Python. Когда я только начинал заниматься анализом данных, концепция питоновского виртуального окружения вводила меня в ступор, и здесь я постараюсь показать, что в ней нет ничего сложного.
Для этого мы:
Установим Python
Создадим и активируем виртуальное окружение при помощи базовых инструментов pip и venv
В качестве примера установим библиотеки notebook и pandas
Всем привет. Этот практический цикл статей рассчитан на начинающих. Я решил поделиться своим опытом создания реестра данных на основе государственного. Данные будут храниться в базе данных PostgreSQL, доступ к ним будет осуществляться через Fast API. В текущей статье займёмся загрузкой данных в базу и уменьшением её размеров.
Нам предстоит работать с данными о результатах поверки средств измерений, которые будем загружать из раздела сайта «Результаты поверок СИЧитать полностью »
Когда начинаешь погружаться в сферу NLP, сразу задумываешься, как модели представляют себе наш текст/наши слова? Ведь не логично бы звучало, если модель обрабатывала наши слова, как обычную последовательность букв. Это было бы не удобно и не понятно(как проводить операции со словами?).
Есть разные методы преобразования слов. Один из самых известных для не самых сложных моделей: TF-IDF.
TF-IDF(Term Frequency-Inverse Document Frequency) — это метод, который преобразует слова в числовые векторы, что делает их более понятными для моделей машинного обучения.
Pandas идеально подходит для работы с табличными данными – он способен открывать файлы Excel и проводить внутри преобразования. Более того, сохранить датафрейм тоже можно в файл Excel. Это делает удобной интеграцию pandas с офисным пакетом: результаты можно сразу красиво оформить для выступления на конференции или передачи коллегам, которые занимаются только “мокрой” биологией и не работают с инструментами data science.
Давайте посмотрим, как это делается. Если мы импортировали pandas под именем pd:
import pandas as pdто считать фрейм данных из файла Excel можно следующим образом:Читать полностью »
Почему мой любимый API — это zip-файл на сайте Европейского центрального банка?
Когда доллар был самым высоким по отношению к евро?
Вот небольшая программа, которая это вычисляет:
curl -s https://www.ecb.europa.eu/stats/eurofxref/eurofxref-hist.zip
| gunzip
| sqlite3 -csv ':memory:' '.import /dev/stdin stdin'
"select Date from stdin order by USD asc limit 1;"Вывод: 26.10.2000. (Попробуйте запустить его самостоятельно.)
Как это работает:
сurl загружает официальные исторические данные, которые публикует Европейский центральный банкЧитать полностью »
В этой статье объясняется, как делать копии списков Python, массивов NumPy и датафреймов Pandas при помощи операций получения срезов, списочного индексирования (fancy indexing) и логического (boolean indexing). Эти операции очень часто используются при анализе данных и должны рассматриваться всерьёз, поскольку ошибочные предположения могут привести к падению быстродействия или неожиданным результатам.
Python кажется простым, но всякий раз, возвращаясь к его азам, ты находишь новые для освоения вещи. Здесь на ум приходит известное изречение Эйнштейна:
«Чем больше я узнаю, тем больше понимаю, как много я ещё не знаю».
Цель исследования -- на основе анализа открытых статистических данных сравнить ситуацию с преступностью в США и России и попытаться понять:
какие преступления количественно преобладают;
как изменяется преступность по годам;
каков уровень преступности в удельном выражении (на 1 млн. населения);
как указанные параметры распределяются территориально -- по штатам США и регионам России.
Для анализа используются только открытые официальные данные:
Количество совершенных преступлений по основным преступлениям (Читать полностью »
Результаты выборов в государственную думу, которые проходили 17-19 сентября 2021 вызывают сомнения у многих экспертов. Независимый электоральный аналитик Читать полностью »