Angular — это мощный инструмент для создания сложных веб-приложений. Но, как и в любом другом фреймворке, возникают свои сложности. Одна из таких проблем — это частые перезапуски тяжелых функций в шаблонах, что сильно бьет по производительности. Если приложение начинает тормозить, значит пора задуматься об оптимизации. И здесь на помощь приходит Memoize Pipe, способный спасти ваш интерфейс от лишних вычислений.
Рубрика «pipe»
Как улучшить производительность в Angular с помощью Memoize Pipe
2024-09-24 в 16:16, admin, рубрики: angular, Memoize Pipe, pipe, мемоизация, оптимизацияЕго величество Пайп, или как заставить ssh tunnel открыть RDP на другом конце через альтернативный IP
2023-02-28 в 20:23, admin, рубрики: pipe, rdp, ssh, ssh tunnel
Немного теории
Для начала, вспомним некоторые базовые вещи ОС Unix.
Любой процесс в Unix имеет три открытых файла по умолчанию, (но он может их потом закрыть/переоткрыть, например перенаправляя вывод в log file):
-
0 (stdin)
-
1 (stdout)
-
2 (stderr)
примечание: stderr, отличается от stdout тем, что он не использует буфер для вывода.
Как я сделал веб-фреймворк без MVC — Pipe Framework
2021-02-23 в 11:03, admin, рубрики: api, backend, etl, extractor, loader, microframework, pipe, python, python3, transformer, werkzeug, Разработка веб-сайтовПроработав фулстек разработчиком около 10 лет, я заметил одну странность.
Я ни разу не встретил не MVC веб-фреймворк. Да, периодически встречались вариации, однако общая структура всегда сохранялась:
- Codeigniter — мой первый фреймворк, MVC
- Kohana — MVC
- Laravel — MVC
- Django — создатели слегка подменили термины, назвав контроллер View, а View Template'ом, но суть не изменилась
- Flask — микрофреймворк, по итогу все равно приходящий к MVC паттерну
Конечно, с моим мнением можно поспорить, можно продолжить перечислять, однако суть не в этом.
Тянем ролик с YouTube и раздаем по WebRTC в реалтайме
2017-09-18 в 3:54, admin, рубрики: AAC, broadcasting, ffmpeg, flashphoner, H.264, live, pipe, python, Realtime, rtmp, video player, WebRTC, YouTube, youtube-dl, Блог компании Flashphoner, браузеры, Программирование, Разработка веб-сайтов, Разработка систем связи
Задача следующая. Провести совместный просмотр ролика с YouTube в реальном времени несколькими пользователями. Зрители должны получать видео одновременно, с минимальной задержкой.Читать полностью »
OpenCL 2.0 и драйверы от AMD и Intel
2014-09-29 в 4:25, admin, рубрики: atomic, compare and set, enterprise software development, gpgpu, opencl, pipe, высокая производительностьНезамеченной на хабре прошла новость о появлении OpenCL 2.0 драйверов от AMD и Intel.
Многим кажется, что подобный API просто очередной маркетинговый buzzword. Отчасти это так, потому что почти все современные аппаратные продукты выходят с пунктом «OpenCL» в списке поддерживаемых технологий и рекламе: последние CPU, GPU, APU (CPU+GPU), FPGA, CPU+FPGA. И многим из области разработки enterprise ПО хочется откреститься от этих «модных» названий, но и это скоро станет невозможно стараниями Oracle и AMD.
Массовый параллелизм аппаратного обеспечения уже давно присутствует в серверах, пресональных компьютерах, телефонах и планшетах, специализированных аппаратных ускорителях. OpenCL в области FPGA рассматривается как способ упростить, удешевить и популяризовать разработку. При этом использование преимуществ, предоставляемых аппаратурой, пока требует от программиста использовать таких API как OpenCL, CUDA, OpenMP. Но появляются попытки скрыть эту сложность от прикладных программистов, например Project Sumatra и ScalaCL.
JSON pipes в шелле
2014-06-01 в 9:39, admin, рубрики: bash, json, pipe, shell, интерфейсы, Программирование, системное администрирование, метки: bash, json, pipe, shellЧем больше я пишу однострочники в шелле, тем больше я прихожу к двум важным идеям:
- Это очень мощное средство для «непосредственного программирования», то есть указания компьютеру, что делать.
- Большая часть однострочника посвящена grep/awk/cut/tr, которые каким-то образом выковыривают и приводят в человеческий вид вывод предыдущих утилит.
При том, что модель pipe'ов восхитительна, совершенно грязные хаки по отлову нужных полей в выводе во втором пункте («а вот тут мы можем выделить нужное нам по характерной запятой с помощью awk -F, '{print $2}'...) делают процедуру спорной по удовольствию, и уж точно нечитаемой.
Ещё одна серьёзная проблема: при том, что шелл даёт довольно много идиом из функционального программирования, в нём нет идиомы фильтрации списка по результату выполнения внешней программы. То есть „грепнуть“ список мы можем. А вот оставить в списке только те элементы, для которых какая-то программа вернула „успех“ — нет.
При этом есть враждебная и не очень хорошо написанная среда — powershell (винды). В которых взяли хорошую идею (пайпы передают не текст, а объекты), но испортили её двумя вещами:
- Неэргономичной консолью виндов (
Shift-PgUp где, а?говорят, Ctrl-PdUp в новых версиях) - предложением пойти и выучить .net для того, чтобы нормально с методами работать.
- Отсутствием под большинство операционных систем
Хочется иметь объекты в пайпе в тёплом ламповом линуксовом шелле. С hand-candy (мало печатать), eye-candy (приятно смотреть) и общей эргономичностью процесса использования. Ещё хочется иметь возможность сочетать „новый подход“ со старым, то есть обычным текстовым pipe'ом.
Идея
Надо написать набор инструментов, которые позволят в pipe-style оперировать с структурированными данными. Очевидным выбором является XML JSON.
Нам нужно:
- Утилиты, которые примут типовые форматы на вход и сконвертируют их в json.
- Утилиты, которые позволят в pipe'е манипулировать с json'ом.
- Утилиты, которые приведут json в „обычный“ формат.
В этом случае человек не будет видеть json на экране, но будет иметь возможность работать с ним.
Для затравки
(для понимания я буду писать длинные имена утилит, в реальной жизни это будут короткие сокращения, то есть не json-get-object, а что-то типа jgo или jg)
Выводит только файлы, для которых file сумел определить тип:
ls -la | ls2json | json-filter 'filename' --exec 'file {} >/dev/null' | json-print
Выкачивает с некоторого сайта токен для авторизации, выковыривает его из json'а и выставляет в переменные среды окружения, после чего скачивает список и отфильтровав по регэкспу поле „автор“ выкачивает все url'ы:
curl mysite/api.json | env `json-get-to-env X-AUTH-TOKEN`;curl -H X-AUTH-TOKEN $X-AUTH-TOKEN mysite/api/list.json | json-filter --field 'author' --rmatch 'R.{1,2}dald*' | json-get --field 'url' | xargs wget
Парсит вывод find -ls, сортирует по полю size, вырезает из массива элементы с 10 по 20, выводит их в csv.
find . -ls | ls2josn | json-sort --field 'size' | json-slice [10:20] | json2csv
Linux pipes tips & tricks
2013-09-25 в 9:22, admin, рубрики: bash, linux, pipe, метки: bash, linux, pipePipe — что это?
Pipe (конвеер) – это однонаправленный канал межпроцессного взаимодействия. Термин был придуман Дугласом Макилроем для командной оболочки Unix и назван по аналогии с трубопроводом. Конвейеры чаще всего используются в shell-скриптах для связи нескольких команд путем перенаправления вывода одной команды (stdout) на вход (stdin) последующей, используя символ конвеера ‘|’:
cmd1 | cmd2 | .... | cmdN
Например:
$ grep -i “error” ./log | wc -l
43
grep выполняет регистронезависимый поиск строки “error” в файле log, но результат поиска не выводится на экран, а перенаправляется на вход (stdin) команды wc, которая в свою очередь выполняет подсчет количества строк.
Логика
Конвеер обеспечивает асинхронное выполнение команд с использованием буферизации ввода/вывода. Таким образом все команды в конвейере работают параллельно, каждая в своем процессе.
Размер буфера начиная с ядра версии 2.6.11 составляет 65536 байт (64Кб) и равен странице памяти в более старых ядрах. При попытке чтения из пустого буфера процесс чтения блокируется до появления данных. Аналогично при попытке записи в заполненный буфер процесс записи будет заблокирован до освобождения необходимого места.
Важно, что несмотря на то, что конвейер оперирует файловыми дескрипторами потоков ввода/вывода, все операции выполняются в памяти, без нагрузки на диск.
Вся информация, приведенная ниже, касается оболочки bash-4.2 и ядра 3.10.10.
Простой дебаг
Утилита strace позволяет отследить системные вызовы в процессе выполнения программы:
$ strace -f bash -c ‘/bin/echo foo | grep bar’
....
getpid() = 13726 <– PID основного процесса
...
pipe([3, 4]) <– системный вызов для создания конвеера
....
clone(....) = 13727 <– подпроцесс для первой команды конвеера (echo)
...
[pid 13727] execve("/bin/echo", ["/bin/echo", "foo"], [/* 61 vars */]
.....
[pid 13726] clone(....) = 13728 <– подпроцесс для второй команды (grep) создается так же основным процессом
...
[pid 13728] stat("/home/aikikode/bin/grep",
...
Видно, что для создания конвеера используется системный вызов pipe(), а также, что оба процесса выполняются параллельно в разных потоках.
Читать полностью »
Осовремененный Unix Way или pipe в браузер
2012-07-11 в 11:08, admin, рубрики: django, linux, open source, pipe, python, sockjs, tornado, WebSocket, Веб-разработка, метки: Django, pipe, python, sockjs, tornado, WebSocket Наверное, каждый, кому когда-нибудь приходилось следить одновременно за большим количеством окошек с логами, подумывал о переносе некоторых из них на экран планшета или телефона.
А, находясь далеко от компьютера, следить за выхлопом недавно запущенного большого и страшного сервиса?
Конечно, можно поставить ssh клиент на телефон, но это не особо удобно.
Поэтому я решил сделать мини-сервис упрощающий «удалённый» просмотр логов.