Всем привет! Это уже двадцать четвертый выпуск дайджеста на Хабрахабр о новостях из мира Python.
Присылайте свои интересные материалы из мира Python.
С предыдущим digest можно ознакомиться здесь.
Рубрика «python» - 171
Pygest #24. Новости, релизы, статьи, интересные проекты и библиотеки из мира Python [март 2018 — 9 апреля 2018]
2018-04-10 в 10:33, admin, рубрики: digest, django, python, python3, TensorFlow, дайджест, ссылки, статьи, Читальный залАнализ данных с использованием Python
2018-04-08 в 13:31, admin, рубрики: matplotlib, numpy, pandas, python, визуализация данных, Программирование
Язык программирования Python в последнее время все чаще используется для анализа данных, как в науке, так и коммерческой сфере. Этому способствует простота языка, а также большое разнообразие открытых библиотек.
В этой статье разберем простой пример исследования и классификации данных с использованием некоторых библиотек на Python. Для исследования, нам понадобится выбрать интересующий нас набор данных (DataSet). Разнообразные наборы Dataset'ы можно скачать с сайта. DataSet обычно представляет собой файл с таблицей в формате JSON или CSV. Для демонстрации возможностей исследуем простой набор данных с информацией о наблюдениях НЛО. Наша цель будет не получить исчерпывающие ответы на главный вопрос жизни, вселенной и всего такого, а показать простоту обработки достаточно большого объема данных средствами Python. Собственно, на месте НЛО могла быть любая таблица.
Часто, в территориально и инфраструктурно разнесенных офисах предприятия, сотрудники пользуются «файликом» для поиска номеров других сотрудников. Это связанно либо с отсутствием нормального корп.портала, бардаком в АД либо с ее отсутствием вообще.
Задача:
- Создать web справочник для компании со множеством партнерских и дочерних офисов;
- Минимальный интерфейс для пользователей;
- Вывод информации в табличном виде и детальный вывод отдельно взятого контакта;
- Автодонабор имени в строке поиска;
- Обеспечить возможность редактирования записей справочника секретарями офисов;
- Обеспечить возможность ограничения прав на редактирование справочника;
- Возможность вывести данные отдельного предприятия;
- Отдельное отображение общих (сервисных) номеров.
Возможно, у вас возникло желание, например, при просмотре фото в своей папке перемешать их, смотреть их в случайном порядке. Т.к. (как минимум на Windows 7) возможно только отсортировать файлы по их имени, размеру и т.д., я решил создать программу, для перемешивания нужных файлов.
Читать полностью »
Тройное комбо в области парсинга данных, или как мы сделали кроулер сайтов на основе ИИ, двух тысяч прокси и Chrome API
2018-04-06 в 14:27, admin, рубрики: Google Chrome, php, python, машинное обучениеЗадача стояла следующая: собрать данные с израильской доски объявлений, которая блокирует на входе все страны кроме Израиля и некоторых европейских (исключая Россию). Далее блокирует всех, кто ведёт себя хотя бы сколько-нибудь подозрительно. Например, при запросе страницы сайта чаще 1 раза в 3 секунды уже есть возможность попасть в бан-лист. Далее, чтобы узнать номер телефона автора объявления (без которого все остальные бесполезны) нужно пройти капчу на иврите (местный язык). Т.е. доступную только евреям. Иными словами, создатели сайта явно против того, чтобы их парсили. Но мы решили попробовать.Читать полностью »
Never Fail Twice, или как построить мониторинговую систему с нуля
2018-04-06 в 14:19, admin, рубрики: architecture design, computer science, data science, devops, monitoring, python, Алгоритмы, Анализ и проектирование систем, ПрограммированиеУ нас было 2 виртуальные машины, 75 сайтов, тысячи метрик, две базы данных и одна очередь ActiveMQ, Python и целое множество библиотек всех сортов и расцветок, pandas, а также numpy, dash, flask, SQL Alchemy. Не то чтобы это был необходимый запас для системы, но если начал собирать компоненты, становится трудно остановиться. Единственное, что вызывало у меня опасение — это JavaScript. Ничто в мире не бывает более беспомощным, безответственным и порочным, чем JS зомби. Я знал, что рано или поздно мы перейдем и на эту дрянь.
Создаем TUI на python
2018-04-05 в 12:03, admin, рубрики: cui, npyscreen, python, tui, Графические оболочки, ПрограммированиеПривет! В этой статье я расскажу про npyscreen — библиотеке для создания текстовых интерфейсов для терминальных и консольных приложений.
Анонс Moscow Spark #4
2018-04-03 в 14:41, admin, рубрики: big data, kubernetes, ml, python, scala, spark, Блог компании Rambler&Co, машинное обучение
Всем привет! Новый год, новый Spark, новый Moscow Spark! Мы стартуем новый сезон нашего замечательного мероприятия 19 апреля на Мансарде Rambler&Co. Фреймворк не стоит на месте и мы тоже, в этот раз представим новый сайт сообщества и опробуем формат со звездой из-за рубежа.
Читать полностью »
NumPy в Python. Часть 1
2018-04-02 в 15:27, admin, рубрики: arrays, numpy, python, python3, перевод с английского
Предисловие переводчика
Доброго времени суток. Запускаю цикл статей, которые являются переводом небольшого мана по numpy, ссылочка. Приятного чтения.
Введение
NumPy это open-source модуль для python, который предоставляет общие математические и числовые операции в виде пре-скомпилированных, быстрых функций. Они объединяются в высокоуровневые пакеты. Они обеспечивают функционал, который можно сравнить с функционалом MatLab. NumPy (Numeric Python) предоставляет базовые методы для манипуляции с большими массивами и матрицами. SciPy (Scientific Python) расширяет функционал numpy огромной коллекцией полезных алгоритмов, таких как минимизация, преобразование Фурье, регрессия, и другие прикладные математические техники.
Читать полностью »
Можно ли выиграть в азартные игры? Симуляция на языке Python
2018-04-01 в 20:29, admin, рубрики: python, азартные игры, вероятность, Лайфхаки для гиков, Научно-популярное, Программирование, статистикаПривет.
В процессе праздного ничегонеделания возникла идея поизучать разные азартные игры, заодно получше разобраться с тем как это работает. Результаты оказались хотя и в целом очевидными, но достаточно интересными, чтобы поделиться ими с общественностью.
Кому интересны подробности, прошу под кат.Читать полностью »