Главная

OpenCV: установка таймаута на ожидание кадра в классе VideoCapture

2016-12-14 в 15:42, admin, рубрики: c++, ffmpeg, opencv, TimeOut, videocapture, обработка изображений, С++

Всем доброго времени суток! Появилась тут как-то задача: воспроизвести RTSP-видеопоток с камеры. Т.к. я в достаточной мере знаком с API OpenCV, было принято решение использовать именно его. Для захвата видеопотока в OpenCV используется класс VideoCapture. К сожалению, сеть достаточно часто у нас обрывается, и проблема эта на моем уровне не решается, поэтому необходимым условием комфортной работы стала достаточно быстрая реакция на падение видеопотока — стандартный таймаут на подключение и ожидание следующего кадра составляет 30 секунд, причем внутри VideoCapture вызовы open() и read() блокирующие, что заставляет писать вокруг простого на самом-то деле кода различные обертки вроде вызова их в отдельном потоке и ожидания получения результата в асинхронном режиме. Естественно, никакой радости по этому поводу я не испытывал — все это ресурсы, которые в программе должны были уходить на иные цели, не говоря уже об усложнении кода. Было принято решение: изменить стандартный таймаут, либо добавить возможность его внешней установки. Получился достаточно грязный хак, который, впрочем, может кому-то пригодиться. Возможно, если есть способ лучше — если таковой имеется — очень бы хотелось его узнать, так что прошу комментариев. В идеале — может быть, среди читателей Хабра найдутся разработчики OpenCV, которые таки обратят внимание на данную проблему. Целью было заставить код «работать, как надо, под Windows x64».

Кому интересно — прошу под кат.

Исследования

При помощи Гугла было выяснено, что данная проблема корнями упирается в ffmpeg — там есть callback'и, которые дают информацию о разрыве соединения. Таймаут в 30 секунд установили в пулл-реквесте #6053. Проблема добавилась в следующем виде: на текущий момент cmake-сборщик скачивает файл opencv_ffmpeg.dll вместо его сборки на месте, причем инструкция по сборке с ffmpeg исчезла. Код с константами таймаута (который, по крайней мере, в Windows никаким образом не компилируется) находится в файле modules/videoio/src/cap_ffmpeg_impl.hpp:

#define LIBAVFORMAT_INTERRUPT_OPEN_TIMEOUT_MS 30000
#define LIBAVFORMAT_INTERRUPT_READ_TIMEOUT_MS 30000

Задача, таким образом, сформировалась следующим образом:

Заставить данный файл собираться под Windows;
Изменить в нем константы;
Убедиться в отсутствии проблем при работе.

Недолго думая, расскажу о том, каким образом она была решена. Для начала нужно скачать последнюю девелоперскую версию ffmpeg с заголовочными файлами, dll, и lib, и положить все это по нужным местам в source/3rdparty — ради удобства, на самом деле можно сложить куда угодно. Далее, нужно внести следующие изменения в исходные файлы OpenCV:

modules/videoio/src/cap_ffmpeg.cpp:

Закомментировать в инклудах строки, касающиеся потенциального включения cap_ffmpeg_api.hpp

//#if defined HAVE_FFMPEG && !defined WIN32
#include "cap_ffmpeg_impl.hpp"
//#else
//#include "cap_ffmpeg_api.hpp"
//#endif

В функции icvInitFFMPEG()

...
#ifdef WIN32...
//все закомментировать, включая директивы препроцессора
#elif defined HAVE_FFMPEG
//оставить только то, что есть внутри
#endif
...

Что здесь произошло — мы отказались от использования подгрузки функциональности ffmpeg из opencv_ffmpeg.dll при помощи LoadLibrary, и переключились на внутреннюю реализацию, которая находится внутри файла cap_ffmpeg_impl.hpp.

modules/videoio/src/cap_ffmpeg_impl.hpp:

Находим вышеуказанные константы, меняем их на желаемые. В моем случае —

#define LIBAVFORMAT_INTERRUPT_OPEN_TIMEOUT_MS 2000
#define LIBAVFORMAT_INTERRUPT_READ_TIMEOUT_MS 1000

Данный файл в общем-то не создан для сборки под Windows, поэтому, кое-какая функциональность, требуемая для его компиляции, в ней отсутствует — речь идет о snprintf. Код был стянут откуда-то с StackOverflow. Вставить в любое удобное место.

#if defined(_MSC_VER) && _MSC_VER < 1900
#define snprintf c99_snprintf
#define vsnprintf c99_vsnprintf
__inline int c99_vsnprintf(char *outBuf, size_t size, const char *format, va_list ap)
{
	int count = -1;
	if (size != 0)
		count = _vsnprintf_s(outBuf, size, _TRUNCATE, format, ap);
	if (count == -1)
		count = _vscprintf(format, ap);
	return count;
}

__inline int c99_snprintf(char *outBuf, size_t size, const char *format, ...)
{
	int count;
	va_list ap;
	va_start(ap, format);
	count = c99_vsnprintf(outBuf, size, format, ap);
	va_end(ap);
	return count;
}
#endif

После внесения изменений, нужно заставить все это добро компилироваться. Для начала, нужно сгенерировать *.sln для OpenCV при помощи CMake. Попытка сборки opencv_videoio на текущий момент не сработает. Поправимо. Открываем Visual Studio-проект для модуля videoio: build/modules/videoio/opencv_videoio.sln. В include directories добавляем заголовочные файлы ffmpeg, его *.lib добавляем к линковке.

Как только opencv_videoio будет собираться, эту dll можно спокойно подкладывать вместо «стандартной». Помним, что теперь для работы также будут нужны все dll из поставки ffmpeg — без них приложение работать не будет.

Важный момент: теперь, для того, чтобы это работало, в качестве бэкэнда VideoCapture необходимо указывать cv::CAP_FFMPEG.

Результат на текущий момент — полет нормальный, багов за месяц не заметил. Однако, учитывая все вышенаписанное, они более, чем возможны, поэтому использовать только на свой страх и риск. Если есть иные способы добиться желаемого, как уже говорил, буду очень рад послушать.

Спасибо за внимание.

Автор: jknight

Источник