Представьте себе инструмент, с помощью которого вы можете трансформировать любые данные в… любые данные.
Самый доступный пример — Изображения. Что если я хочу получить картинку определенного размера и поставить где-нибудь водяную марку (тоже определенного размера).
И вот один из примеров как это может выглядеть:
P.S.: Это обзорная статья, если будет интересно, дальше опишу подходы детальнее.
Мотивация
Недавно, в ноябре 2018, мне нужно было изменить размер фотографии…
Онлайн сервисы из-за своих «особенностей» ( реклама, странный интерфейс и тд ) сделали этот процесс максимально мучительным.
Стандартные средства Windows 10 мне показались не очевидными. Пришлось скачать GIMP и оттуда сделать все что было надо — изменить размер фотографии.
В свое оправдание:
- Время возникновения проблемы ~1AM ( час ночи )
- Рабочего ноута под рукой не было
- Windows дома только для игр. Сейчас иногда пишу код с apple клавиатурой
И тут очередной программист решил создать еще один кост… Инструмент.
Требования
Этот Инструмент должен быть всем костылям костыль:
- Простой UI
- Простой API
- Удобная организация сущностей проекта
- Минимум кнопок и настроек
- Возможность имплементировать свои… «стандарты»
- Open Source: Backend и Frontend
И главное — пользоваться этим должны иметь возможность все, кто понимают чего они хотят.
Несколько возможных последовательностей:
- Картинка, Картинка поменьше, Фильтр
- Скачать содержимое URL, оставить только полезный Контент, Оставить только текст
- Скачать картинку, определить что на ней есть какой-нибудь предмет ( template matching )
Имплементация
Недавно на Хабре читал До микросервисов нужно дорасти... и решил последовать этому. Уже были пару попыток сделать такую штуку через «красивые» ( в моем воображении ) структуры: каждая функция ( вроде template_match, md5 ) как микросервис, оптимизированный для решения своей задачи. В итоге к этому все и придет, но не сегодня :)
Итого имеются:
- Frontend без красивых обоев
- Backend API
- Celery ( в локальной разработке использую Redis, а в тесте и проде RabbitMQ )
- Backend Workers
Скажу сразу: я очень посредственно знаком с Frontend, однако, спасибо Stackoverflow и Google поиску.
Больше примеров
Все примеры можно найти здесь, они объединены в «проекты».
Один из них: извлечение текста из HTML страницы
Внимание: сайт работает в режиме read-only, но результат вам вернет. Он не сможет сохранить ваши изменения на Project и Pipeline.
Небольшие пояснения
Список того, что может трансформировать данные: здесь
Чем этот Проект не является:
- Хранилищем данных
- Майнером биткоинов
Проект очень похож на:
- Zapier
- Яндекс Нирвана
- Parse.com (пару лет как выкуплен Facebook )
Автор: andrey665
