Что первое приходит на ум среднестатистическому ИТ-специалисту, когда его спрашивают про web-разработку и связанные с ней технологии? Рискну предположить, что с очень большой вероятностью первой мыслью будет Apache + MySQL + PHP. Разумеется, это — допущение. Но со статистикой спорить довольно сложно: достаточно начать искать web-разработчика и посчитать соотношение PHP-программистов ко всем остальным. Или, к примеру, задаться вопросом, где разместить свой будущий проект, и посмотреть какие решения предлагают своим клиентам хостинговые площадки. Стек LAMP — это мейнстрим в технологиях разработки для web.
Читать полностью »
Рубрика «python» - 338
Python и App Engine для web-разработки. Пишем лёгкий и быстрый блог. Часть 1
2012-07-24 в 16:14, admin, рубрики: google app engine, python, web-разработка, Веб-разработка, метки: google app engine, python, web-разработкаПрочие варианты использования оператора else
2012-07-24 в 8:41, admin, рубрики: python, исключения, циклы программированияВсем нам хорошо известен способ использования ключевого слова else совместно с if:
if x > 0:
print 'positive'
elif x < 0:
print 'negative'
else:
print 'zero'
Однако в Python’е существует и несколько других, неизвестных большинству программистов, применений else.
Секундомер под Android на Python + sl4a + fullScreenUI
2012-07-20 в 12:42, admin, рубрики: android development, python, sl4a, Разработка под android, метки: android development, python, sl4aВступление
Такая замечательная вещь как SL4A(Scripting Level for Android) уже давно не является новостью. С каждым новым релизом SL4A возможности API для доступа/управления смартфоном растут. Еще до недавних пор создание пользовательского интерфейса ограничивалось средствами webView и стандартными диалоговыми окнами. Но в версии r5 появился новый, как заявили разработчики, пока что экспериментальный, способ создания пользовательского интерфейса — fullScreenUI.
FullScreenUI позволяет создавать интерфейс, используя стандартные виджеты Android-а (кнопки, текстовые поля, радиокнопки, и проч.), а также обрабатывать события от них. На примере создания простого секундомера я хочу продемонстрировать возможности этого API.
Читать полностью »
Queryfeed — RSS-ленты из Твиттера и Фейсбука
2012-07-20 в 10:32, admin, рубрики: Facebook, google app engine, python, twitter, Социальные сети и сообщества, метки: Facebook, python, twitter 
Вступление
Я отношусь к тем людям, которые в основном читают социальные сети, блоги и твиттер, но не пишут в них. У меня есть аккаунты почти во всех сервисах, но только для того, чтобы зайти и прочитать новую информацию.
Полагаю, что я не один такой. В добавок к вышесказанному, все новостные ресурсы я предпочитаю читать через РСС-ленты, считая их самым удобным средством распространения информации. К сожалению, оба информационных гиганта — Фeйсбук и Твиттер — лишили пользователей возможности выкачивать ленты. За пару дней я собрал на коленке сервис, который устраняет этот недостаток.
Итак, милости прошу на Queryfeed.
Читать полностью »
UCS2 или UCS4? — pyodbc и работа с utf16 данными в MSSQL
2012-07-20 в 6:51, admin, рубрики: linux, odbc, python, virtualenv, Песочница, метки: linux, odbc, python, virtualenvПроблема
Для работы с базой данных MSSQL Server 2005 в кодировке UTF-16(UCS2) я использую скрипт, написанный на python. Этот скрипт использует для работы с базой данных следующий набор инструментов:
- unixODBC
- FreeTDS
- pyodbc
- sqlachemy
И тут появилась трудность: при получении строковых данных из базы (поля nvarchar, ntext) неправильно обрабатывается юникод.
Как выяснилось, установленный у меня питон был собран с UCS4 юникодом. Методы получения типа юникода в сборка python хорошо описаны в данном вопросе на stackoverflow. Т.е, если выполнить следующую строчку в терминале:
python -c "import sys;print 'UCS4' if sys.maxunicode > 65536 else 'UCS2'"то мы получаем версию сборки юникода для python.В моем случае это было UCS4. Что это за собой тянет:
- unixODBC вызывая соответствующие функции работы с базой данных с аппендиксом W (например, SQLExecDirectW()), получает результаты. в которых один символ текста занимает 2 байта(UCS2)
- pyodbc получает результаты от ODBC-драйвера, и в свою очередь сохраняет результаты в переменную с типом unicode
- Таким образом 1 символ результата, по мнению pyodbc, составляет 4 байта(UCS4). Именно так и сохраняется результат. полученный из ODBC-драйвера.
Драйвер возвращает данные, в которых символ занимает 2 байта, а pyodbc переделывает эти данные так, что символ занимает 4 байта. Все бы хорошо, если бы было какое-либо преобразование, но данные просто сохраняются как массив байтов в переменную с типом unicode, что несет неприятные последствия: символ результата по-сути содержит 2 символа того результата, который вернул ODBC-драйвер.
Читать полностью »
Откуда тормоза в ORM?
2012-07-18 в 16:10, admin, рубрики: django, orm, python, высокая производительность, производительность, метки: Django, orm, python, производительностьАнализ некоторых python ORM на непроизводительные расходы
Введение
При разработке приложения на python django, я столкнулся с его неадекватным торможением.
После нескольких попыток улучшить довольно сложные алгоритмы расчетов, я обратил внимание, что существенные улучшения этих алгоритмов приводили к весьма скромному результату — из чего я сделал вывод, что узкое место вовсе не в алгоритмах.
Последующий анализ показал, что действительно, основным непроизводительным потребителем ресурсов процессора оказался django ORM, который был использован для доступа к данным, необходимым при расчетах.Читать полностью »
Префиксные деревья в Python
2012-07-17 в 11:24, admin, рубрики: python, python3, trie, структуры данных, метки: python, python3, trie, структуры данныхДоделал на днях питонью библиотеку datrie, реализующую префиксное дерево (см. википедию или хабр), спешу поделиться.
Если вкратце, то можно считать, что datrie.Trie — это замена стандартному питоньему dict, которая при определенных условиях (ключи — строки) занимает меньше памяти, имеет сравнимую скорость получения отдельного элемента и поддерживает дополнительные операции (получение всех префиксов данной строки, получение всех строк, начинающихся с данной строки и др.), которые работают примерно так же быстро, как и «словарные» операции.
Работает под Python 2.6-3.3, поддерживает юникод, лицензия LGPL.
Всем привет.
Это продолжение ответов на вопросы и задания по Python с сайта pyobject.ru.
Читать полностью »
Прогнозирование событий и Data Mining — вперед в будущее
2012-07-14 в 14:38, admin, рубрики: Business Intelligence, data mining, OSINT, python, Блог компании «Group-IB», метки: Business Intelligence, OSINTВ Сети появился интересный сервис мониторинга информации по открытым источникам — Recorded Future.
Он позволяет аккумулировать информацию из более чем 150 000 различных СМИ с возможностью хранения архива до 5 лет с возможностью последующего анализа и извлечения знаний о возможных последствиях произошедшего и будущих событиях.
Автором сервиса является Chris Holden, любезно предложивший нам воспользоваться Recorded Future без внесения оплаты, хотя полный функционал доступен только на коммерческой основе.
Например, сейчас сервис осуществляет непрерывный мониторинг более 8 000 политических лидеров различных государств мира, позволяя отслеживать куда и зачем поедет какой-либо известный деятель. Порой, хорошая аналитика этих событий позволяет установить взаимосвязи в международных отношениях и спрогнозировать наиболее вероятные модели их развития путем анализа истории путешествий выбранного деятеля.
Наиболее интересные кейсы, демонстрирующие возможности системы, отражены на следующих прикладных примерах:
— отслеживание возникающих киберугроз и действий хакеров в мире
— анализ содержимого писем из круга приближенных Усамы Бин-Ладена
— анализ протестной активности
— анализ выборов в Греции и Египте
Читать полностью »
Реализация кеша с ограничением по числу элементов на Python — два решения: простое и посложнее
2012-07-13 в 13:35, admin, рубрики: python, Песочница, метки: pythonФормулировка задачи
Предположим, что у нас есть необходимость иметь некий сервис, который бы отдавал нам по запросу какую-либо информацию, и отдавал как можно быстрее. Что для этого делает любой нормальный человек? Налаживает кэширование наиболее часто запрашиваемых данных. При этом, если хоть немного задуматься о перспективе, то размеры кэша необходимо ограничивать.
Для простоты реализации в случае Питона сделаем ограничение по числу элементов в кэше (здесь предполагается, что данные более-менее однородны по размеру, а также учитывается специфика, что определить объём памяти, реально занимаемый каким-либо Питоновским объектом — весьма нетривиальная задача, кому интересно, пусть пожалует сюда), а для того, чтобы кэш содержал как можно более часто используемую информацию — построим его по принципу least recently used, т.е. чем более давно запрашивали кусочек информации, тем больше у него шансов «вылететь» из кэша.
О двух решениях (попроще и посложнее) я и расскажу в этой статье.Читать полностью »