Хочу поделиться опытом создания механизма генерации большой базы данных товаров. С его помощью наши пользователи могут за несколько минут сгенерировать более миллиона однотипных, но разных записей.
Читать полностью »
Рубрика «regexp» - 3
Генерация больших объемов полезных данных
2013-09-30 в 4:52, admin, рубрики: pivot tables, regexp, sql, Алгоритмы, Регулярные выражения, метки: pivot tables, regexp, sql, регулярные выраженияРазбор регулярных выражений
2013-09-07 в 19:28, admin, рубрики: regexp, Веб-разработка, Программирование, разработка, Регулярные выражения, метки: regexp, Программирование, разработка, регулярные выражения 
Хочу просто поделиться недавно найденным сервисом для работы с регулярными выражениями. Да, это еще один сервис. Но у него есть особенность — он позволяет не только составлять регулярные выражения, но и помогает разбирать уже написанные — эдакий regexp-декомпилятор.
Сервис называется Regex101.
Набор регулярных выражений для MarkDown
2013-08-16 в 11:38, admin, рубрики: markdown, regexp, regular expressions, разработка под iOS, Регулярные выражения, метки: markdown, regexp, regular expressions Добрый день, уважаемые пользователи Хабра.
В этом посте хотел бы поделиться тем, с чем игрался долго и надеюсь это будет кому-то полезным.
Недавно столкнулся с тем, что в новом проекте надо было сделать подсветку синтаксиса для языка разметки MarkDown. В последнее время он достаточно популярен в разных местах. Долго гуглил, в результате пришлось все писать самому и долго тестировать чтобы все работало правильно.
Под катом набор регулярных выражений, которые ищут основные элементы разметки MarkDown в варианте для Objective-c.
Читать полностью »
Как найти или проверить e-mail адрес
2013-04-03 в 18:26, admin, рубрики: e-mail, regexp, regular expressions, Регулярные выраженияНаибольшее число отзывов, не говоря уже об «ошибках», мне приходит на регулярное выражение e-mail адреса:
b[A-Z0-9._%+-]+@[A-Z0-9.-]+.[A-Z]{2,4}b
Я утверждаю, что это регулярное выражение определяет любой e-mail адрес. В обратной связи обычно показывается один e-mail адрес, который не подпадает под это выражение; также, в отчетах об «ошибках» содержится предложение создать идеальный regexp.
Как я объясню ниже, мое утверждение справедливо тогда, когда вы принимаете мое определение того, что есть действительный адрес электронной почты, а что — нет. Если вы используете другое определение, то вам придется подкорректировать выражение. Определение действительного e-mail адреса — это отличный пример, показывающий, что
- перед написание выражения вы должны точно знать, что должно совпасть, а что нет;
- следует разрешить компромисс между точностью и практичностью.
4-числовая система нумерации версий с датой и минорами
2013-04-02 в 17:28, admin, рубрики: javascript, regexp, ненормальное программирование, Регулярные выражения, метки: regexp 
В расширениях Хрома принято указывать версию скрипта в виде не более чем 4 чисел, разделённых точками, и величиной не более 32767 каждое и не начинающихся с цифры 0. Этого более чем достаточно, если в номер версии включены обычные данные: версия, подверсия, сборка. Если в версию хотим поместить дату в виде 3 чисел, то в наиболее удобной для чтения записи (версия.год.месяц.день) числа года, месяца и дня занимают 3 места из 4. На версию остаётся первое число (как более приоритетное перед датой), а на подверсию и минор ничего не остаётся. Задача: как расположить минорную версию, чтобы уложиться в формат, чтобы дата была читаемой, а версия с минором при сравнении 2 строк занимала правильное место в ряду версий? Кроме того, нужна процедура выделения даты и версии с минором из общей строки.
Читать полностью »
PostgreSQL, TCL и другие: Критическая ошибка в RE engine. Возможная уязвимость
2013-02-12 в 17:31, admin, рубрики: postgresql, regexp, regular expressions, sql, tcl/tk, безопасность веб-приложений, информационная безопасность, уязвимость, метки: postgresql, regexp, regular expressions, tcl/tk, безопасность веб-приложений, уязвимостьХочу обратить внимание хабрасообщества на возможную «уязвимость» в TCL, PostgreSQL и теоретически в некоторых других системах использующих RE engine, или NFA утилиты, изначально написаные самим Генри Спенсором (Henry Spencer). Измененных исходников можно найти добрую сотню (у того же Sun Microsystems, UUNET и т.д.). И хотя я не думаю что баг существует изначально с далеких 1998-х, хотя бы потому, что кода где возникает эта ошибка я у Генри, в старых его источниках, не нашел, проверить ваши системы все-таки стоит.
И так ошибка: это busyloop на стадии компиляции регулярного выражения вида (((((x)*)*)*)*)*. Причем именно не исполнения, а компиляции, т.е. если есть проверка валидности регулярки и она базируется на том же коде NFA — имеем тот же безконечный цикл + 100% cpu usage.
Ошибку нашли коллеги по opensource проекту TCL, во всех его актуальных версиях (включая develop). Зная, что Postgres использует похожее API, нетрудно было выяснить, что скармливание этого регулярного выражения Postgres приводит к такой же ошибке.
Ошибка возникает при таком группировании только в пятом и более порядке вложенности — т.е. четыре вложеных группы корректно компилируются и исполняются.
Читать полностью »
Разминаем мозг регулярными выражениями — Regex Tuesday Challenge
2013-01-25 в 3:37, admin, рубрики: challenge, javascript, regexp, regular expressions, Регулярные выражения, метки: challenge, javascript, regexp, regular expressionsЯ хочу предложить вам поломать голову вечерок-другой над интересными задачками, на регулярные выражения, которые Callum Macrae выкладывает на своем сайте на GitHub каждый Вторник.
Каждый вопрос представлен в виде набора тестов. Задача — написать такой регулярное выражение, чтобы все тесты стали зелеными.
Некоторые из задач сами по себе довольно простые, а самая интересная часть — в том, чтобы написать наиболее короткое возможное регулярное выражение.
Тесты используют JavaScript Regex движок вашего браузера, который обладает всеми основными возможностями PCRE. Подробнее можно посмотреть тут (англ.) , в колонке ECMA в таблице.
Я собрал в этой статье русские версии задач и материалов, которые могут помочь в их решении. Было бы интересно увидеть самые интересные решения в комментах.
Очередной конфуз, regexp, или за что я не люблю java
2012-09-28 в 2:45, admin, рубрики: bug, java, python, regexp, script, tcl, проблемы программирования, Программирование, Регулярные выражения, метки: bug, java, python, regexp, script, tcl, проблемы программирования, регулярные выраженияНужно было мне намедни расширить Tokenizer для одного известного поисковика на джаве. Всяческие стандартные токенайзеры ну никак не хотели делать то, что нужно было, даже с включением разных токен фильтров типа WordDelimiter и ко. Кто в теме, знает какой с этим бывает геморрой, особенно если используем мультиязычные фильтры — токенайзер то один.
Так вот, на java крутить тест-кейсы довольно муторно (длинный код, вечный ескейп, долгий деплой, и т.д. и т.п.), я пытаюсь это делать как можно меньше, поэтому отрабатывал регулярки на тестах в tcl (ну люблю я этот язык).
Так вот накидал такое вот в тикле, даволен как слон все работает как хотел:
% join [regexp -inline -all {[w][w-&]+|[d-][d-*.,/]+}
"US-Währung, C&A, VW-Bus. 1.2.3 -23.456,78 12,345.00 12/01/2012"] " | "
US-Währung | C&A | VW-Bus | 1.2.3 | -23.456,78 | 12,345.00 | 12/01/2012
Немного поясню: нужно вырвать слова из текста, при этом соблюсти кое-какую логику на спецсимволах, чтобы ловить минус только как дефис или например точки и запятые в числах, или даты в разных форматах, но при этом более-менее хорошо отделять пунктуацию.
Короче, регулярка в порядке — лезем в джаву. Читать полностью »
Релиз InterSystems Caché 2012.2
2012-09-14 в 14:37, admin, рубрики: cache, intersystems cache, node.js, regexp, wysiwyg, Блог компании InterSystems, Регулярные выражения, метки: cache, InterSystems cache, node.js, regexp, wysiwyg, регулярные выражения Ключевые новшества — возможность обработки неструктурированной информации для BI (iKnow + DeepSee), DeepSee Visual Reporting — WYSIWYG-редактор для DeepSee/Zen отчетов в браузере.
Другие важные улучшения: поддержка Node.js, регулярные выражения в Caché ObjectScript, поддержка .NET eXTreme для максимально быстрого прямого доступа к глобалам, Java eXTreme через TCP, асинхронный rollback для ECP соединений.
Читать полностью »
Как в linux консоли скопировать файлы и папки исключая некоторые из них по регулярному выражению
2012-09-04 в 0:24, admin, рубрики: linux, linux bash scripts, regexp, метки: linux bash scripts, regexpЗдравствуйте читатели.
Не судите строго, я новичёк в linux-е и это мой первый пост на хабре, но может кому-то похожему на меня он окажется полезным.
Столкнулся с необходимостью решить задачу, описанную в заголовке. Готового решения не нашёл. Написал sh скрипт (cpexclude.sh), который сначала копирует всё, а потом удаляет лишнее:
#!/bin/bash
if [ $# -lt 3 ] ; then
echo "cpexclude usage: pathFrom pathTo excludeRegex"
exit 0
fi
pathFrom=$1
pathTo=$2
excludeRegex=$3
# Copy everything
echo `cp -a $pathFrom/. $pathTo`
# Delete by excludeRegex
echo `find $pathTo -regex $excludeRegex -delete`
Добавил его в ~/.bashrc
alias cpexclude='/path/to/cpexclude.sh'
Пользуюсь время от времени.
Читать полностью »