В предверии Нового года подводим итоги работы над дайджестом и выводим тенденций выявленные в процессе сбора новостей по языку Python.
За год доведен до ума и по максимуму автоматизирован сбор новостей. Ежедневно автоматически мониторится 19 источников и набирается в среднем 10-15 релевантных новостей из которых, в последствии отбираются лучшие и готовятся анонсы для дайджеста.
Ощутимый вклад приносят читатели дайджеста, ни один выпуск не проходит без добавленных ими новостей.
За полгода, прошедшие с тех пор как еженедельный дайджест новостей о языке программирования python и близлежащих технологиях перестал публиковаться на хабре, мы обзавелись постоянной аудиторией читателей, подружились c ведущими русскоязычными python-площадками, нашли и научились обрабатывать новые источники информации о python в сети, стали постоянно публиковаться в популярном паблике на эту тему во вконтактиках, переводили и публиковали интересные статьи.
Интересующихся подробностями и цифрами, милости просим под кат.
Как быть в курсе всех новостей.
Основная цель, ради которой создавался дайджест это создание агрегатора новостей и информации, как по языку программирования python, так и по ответвлениям или модулям. За время существования дайджеста собрано примерно 5235 материалов, переведено и опубликовано 1776 новостей.
Полезная информация распределилась по источникам следующим образом:
При этом “Разные источники” это, по большей части, twitter и то, что нам присылали гости через специальную форму. Социальные сети (Вконтактики, Google+) создают шум, но в качестве источника полезных новостей практически бесполезны.
В итоге получается, что если не хотите отстать от жизни, кипящей в python-сообществе, нужно подписываться и читать ленту ключевых twiiter-аккаунтов, читать топ r/Python за неделю, подписываться на две основных почтовых рассылки, и конечно не игнорировать хабру. Для джангистов и им сочуствующих может быть интересен агрегатор django line, основанный на трендах запросов к google по заданной тематике.
Год интересных новостей и тенденций
За время проведенное в поиске новостей, чтении статей и участии в публичных обсуждениях (а это уже более года) невозможно было не выделить новости-звездочки и не уловить некоторых тенденций. Ниже небольшой анализ текущей ситуации и подборка интересных статей, которые мы высоко оценили в течении года.
Главной тенденцией видится сильное развитие python в направлении научных вычислений и анализа данных. Далеко не последнее место здесь занимает замечательный проект IPython, который при поддержке мощных вычислительных библиотек pandas, numpy, SciKits позволяет интерактивно производить исследования и удобно делиться результатами и методами исследований/вычислений. Это заметили и в JetBrains — в PyCharm 4 улучшена поддержка и отладка IPython. Вот несколько хороших статей об этом, которые попадали в выпуски дайджеста в течении года:
- Построение интерактивных 3D диаграмм в IPython Notebook На основе сервиса plotly
- Применение IPython Notebook совместно с Apache Spark Работа через модуль PySpark открывающая новые пределы масштабируемости с технологиями Spark и Hadoop
- Поиск пузырей в фотографии пены Используем целый набор научных модулей и помимо задачи поиска пузырей определяется направление движения пены
- Графический интерфейс IPython (Jupyter) на примере свертки изображения Применение простенького html-слайдера для регулирования параметров алгоритма свертки изображения в IPython
Быстрее! Выше! Сильнее!
Еще одна тенденция — забота о производительности расчетов и алгоритмов вообще. Здесь несколько интересных подходов. Помимо указанных выше модулей, в которых уже реализованы многие численные алгоритмы, применяются, например, методики конвертации кода в машинный. Здесь замечательно себя показывает, проект Nuitka претендующий на умение собирать любой python-код в нативный с помощью преобразования его в аналогичный c++ код и последующей компиляцией. Немного другой подход в проекте Cython — его идея заключается в компиляции подмножества языка python в код, который удобно впоследствии использовать в качестве подключаемого модуля. Еще один подход jit-компиляция в процессе исполнения в специальном интерпретаторе PyPy. Версия pypy-stm, использующая модель Software Transactional Memory добралась до состояния когда ее реально можно использовать на проектах с 2.7 Ряд статей об этих технологиях и применении их в практических задачах были действительно очень интересными и даже переводились на хабре:
- Перенос выполнения части высоконагруженного кода с CPython на PyPy Выполняется с помощью модуля multiprocessing с указанием пути к новому интерпретатору. Довольно интересная возможность.
- Пишем более быстрый код Очень любопытный набор тестов производительности разных синтаксических конструкций языка.
- Когда стоит выбрать Jython Небольшой обзор и практический пример преимуществ использования Jython при интеграции с уже имеющимися Java-библиотеками
- Оптимизации в python и как они могут вас коснуться Написанный вами код разными способами оптимизируется интерпретатором при выполнении. Иногда это может привести к побочных эффектам, некоторые из которых освещены в статье и видеоматериале
- Почему python медленный: заглядываем под капот Обзор узких мест и причин их возникновения в языке python
- Пишем высокопроизводительный код на Cython
- Высокопроизводительные расширения для python на C В двух статьях автор разбирается с тем как ускорить выполнение сложных вычислений с помощью выноса их в расширение, написанное на более низкоуровневом языке. Здесь вторая часть
- Математические задачи оптимизации на Python Разбираемся, как решать задачи со множеством участников, применяя технику стохастической оптимизации. По существу, оптимизация сводится к поиску наилучшего решения задачи путем апробирования различных решений и сравнения их между собой для оценки качества. Обычно оптимизация применяется в тех случаях, когда число решений слишком велико и перебрать их все невозможно.
2.x vs 3.x
С 2011 года продолжается битва веток 2.x и 3.x. С одной стороны уже практически все библиотеки имеют приемлемую поддержку 3.x, с другой — разработчики все еще не спешат переходить на ветку будущего. Этому способствует и продление поддержки ветки 2.x до 2019 года, а также бекпортирование фич из третьей ветки.
- Почему Python 3, а не Python 2? Вопрос, который мучает всех. Ответы на этот вопрос можно найти в данной статье.
- Python, каким его хотел бы видеть Армин Ронахер Автор flask, jinja2, click делится своим мнением о проблемах в python и том в какую сторону ему стоило бы развиваться.
- PyConRu — Круглый стол: Нужно ли переходить с Python 2 на Python 3
- Почему Python 4.0 не должен быть таким, как Python 3.0 Статья из блога разработчиков Red Hat с размышлениями на тему
Углубляемся в python
Язык программирования начинает умирать как только о нем перестают писать глубокие технические статьи и создавать обучающие курсы. И того и другого за год было предостаточно, причем некоторые проекты претендовали на революционность.
- CheckIO Весьма оригинальный и увлекательный курс интерактивного игрового обучения python
- Интерактивный курс Python от learnpython.org Пошаговое обучение Python с возможностью выполнения кода прямо в браузере
- Спецкурс ВМК МГУ «Язык программирования Python» Для автора курса (Георгия Курячего) Python оказался в своё время настоящим открытием. Создавалось ощущение, что Гвидо планировал его по принципу «в других языках неудобно, надо сделать попроще». Основной упор в этой версии курса делается как раз на этой простоте.
- Мега-Учебник Flask Наконец-то переведен познавательный сериал о web-разработке на микрофреймворке Flask
- Учим старую собаку новым трюкам или как я научился любить str.format и отказался от % Reddit — канал о python Как полюбить str.format, и дать ему шанс по сравнению с форматированием через %
- Антипаттерны программирования Небольшое количество примеров о том как не стоит писать код на python
- Шпаргалка: Пишем совместимый Python 2-3 код Очень полезная статья о том как писать код чтобы он одинаково работал на Python 2.6+ и на Python 3.3+
- Топ 10 python идиом, о которых я бы хотел узнать раньше Рассказ об интересных, очевидных и не очень методиках в языке программирования python
- И еще раз о GIL в Python В этот раз касательно оптимизации числовых вычислений
- Преобразование кода в красивый, идиоматический Python Советы о том как придать своему коду красоту.
- Улучшаем управление пакетами Обзор нескольких инструментов (yolk, pip-review, peep...), которые могут существенно упростить жизнь разработчика
Web — наше все?
Смещение акцента в сторону web-разработки, в том числе на мобильных платформах, стало мировай тенденцией. Это видно и по составу статей анонсируемых на PythonDigest. Большинство из них о web или около него. Приведем лишь несколько случайных статей:
- Django 1.7 Вышел долгожданный релиз django 1.7
- Почему я не люблю Flask Есть такой популярный microframework: Flask. Многим нравится: легкий и простой для изучения, то да сё. А автору — категорически нет.
- Создание крупных приложений Flask в реальных условиях Рекомендации и базовые принципы создания хорошо поддерживаемых, масштабируемых и расширяемых проектов
- Сравнение движков шаблонизации Django vs Jinja Тесты показывают впечатляющее превосходство шаблонизатора Jinja2 над дефолтным шаблонизатором Django почти на всех фронтах. Почему почти, спросите вы? А потому что кроме технических метрик есть еще понятие совместимости с уже существующими приложениями (admin, cms, reversion ...) и удобство расширения.
- Полный Django туториал от начинающего до продвинутого Стал бесплатно доступен туториал по Django который ранее был платным для всех. Курс будет особенно полезен новичкам
- Современный Торнадо: распределённый хостинг картинок в 30 строк кода Статья о реализации простого вебсервера на Tornado
А в заключение — пожелания
Это далеко не все о чем хотелось и моглось бы рассказать, но уже новый год на носу — самое время время подвести итоги и загадать желания. Так вот, поскольку весь год мы были хорошими мальчиками и девочками, то просим у дедушки Мороза, чтобы разрозненные куски русскоязычного python-сообщества объединялись и ещё больше общались; чтобы фанаты python2 нашли компромисс с фанатами python3; чтобы kivy стала платформой номер один для мобильных приложений; чтобы pythondigest обзавелся еще большим количеством друзей, помог новичкам и гуру объединиться для развития сообщества в обсуждениях и в создании новых проектов и продолжал оставаться консолидирущей площадкой и агрегатором свежих знаний по Python`у. Ну и мира во всем мире на всякий случай — вдруг хоть в этот раз получится.
Поздравляем всех с наступающим Новым годом!
Большое спасибо owlman75 за соавторство и иллюстрацию к статье
Автор: alrusdi
