Добрый день, уважаемые читатели.
Сегодня я продолжу рассказ о том, как создавать приложения при помощи Swarp SDK. Этот пост является продолжением обзора Swarp SDK. В первой части мы рассмотрели пример из стандартной поставки Swarp и общие принципы работы с ним. А сейчас мы напишем свое AR-приложение, которое будет изменять анимацию 3D-модели в зависимости от наличия маркеров перед камерой. Кому интересно — прошу под кат.
О приложении
Итак, вот основные требования к нашему проекту.
В приложении будет использоваться стандартная Mogre'овская 3D-модель ниндзи (все модели и исходные коды лежат в приложении к посту). При наличии определенного маркера в поле зрения камеры необходимо отобразить модель в соответствующей ориентации. А теперь самое интересное — анимация. В модели ниндзи есть 16 (если мне не изменяет память) анимаций. Я выбрал 3 из них: Crouch, Attack1, Backflip. К каждой из этих анимаций будет привязан маркер. Если маркер анимации отсутствует на сцене, то соответствующую анимацию необходимо выполнить. Если же присутствуют все маркеры, то выполняется анимация Idle1.Вот вроде бы и все. Приступаем к реализации.
Реализация
Для создания проекта я буду использовать Visual Studio 2010. Сначала я создаю консольное приложение Win32 и называю его HabrDemo2. Кстати, для того, чтобы студия не умирала в процессе отладки приложений, необходимо включить отладку неуправляемого кода и разрешить небезопасный код во вкладках «Debug» и «Build» соответственно:
В проекте будет файл Program.cs, содержащий точку входа в приложение:
Собственно, с ним мы и будем работать.
Теперь надо подключить ссылки на используемые сборки. Мне понадобятся следующие:
Маленькая фича: Swarp SDK добавляет свои сборки на вкладку .NET добавления сборок для экономии времени разработчика:
Действительно удобно — не надо лазить по папкам в поисках установленного SDK.
На этом подготовка окончена — начинаем писать программу.
Пишем код
Поля
Нам понадобится несколько приватных полей:
/// <summary>
/// Менеджер дополненной реальности.
/// </summary>
private static AugmentedRealityManager _arManager;
/// <summary>
/// Объект отслеживания.
/// </summary>
private static ITrackable _ninjaTrackable;
/// <summary>
/// Маркеры активации анимации.
/// </summary>
private static List<ITrackable> _animationTrackables=new List<ITrackable>();
/// <summary>
/// Cостояние анимации.
/// </summary>
private static AnimationState _animationState;
/// <summary>
/// Cдвиг анимации.
/// </summary>
private static float _animTime = 0.1f;
Поле _arManager — экземпляр основного класса Swarp, который осуществляет процесс дополненной реальности. Вызывая его методы Start() и Stop(), мы запускаем или останавливаем процесс. Интерфейс ITrackable описывает маркеры, используемые в Swarp. Я использую экземпляр _ninjaTrackable для описания маркера, который отвечает за отображение 3D-модели и список _animationTrackables, хранящий в себе информацию о маркерах анимации. Еще я использую поле _animationState. Оно необходимо для того, чтобы описать анимацию модели. Класс AnimationState описан в сборке Mogre. Ну и последнее поле — _animTime. Это квант времени, который определяет, на сколько «сдвигается» анимация в каждом кадре.
С полями закончили. На очереди — инициализация.
Инициализация приложения
Про инициализацию дополненной реальности подробнее описано в первой части, здесь я кратенько пробегусь по алгоритму инициализации и отличительным местам кода.
Сам по себе алгоритм инициализации довольно простой и состоит из следующих шагов:
- камера;
- трекер;
- рендерер.
Инициализация камеры в нашем приложении будет предельно проста и взята из стандартного примера Swarp SDK «OgreSimpleSceneExample»:
//используем первую попавшуюся камеру
var camera = CameraManager.Instance.GetFirstWorkedCamera();
if (camera == null)
{
MessageBox.Show(Resources.CameraNotFoundString, Resources.WarningString,
MessageBoxButtons.OK, MessageBoxIcon.Warning);
return;
}
//если 640х480х30FPS не поддерживается, то используем первые попавшиеся параметры
var displayParameters = new DisplayParameters(30, new Size(640, 480));
camera.DisplayParameters = camera.IsSupportedDisplayParameters(displayParameters)
? displayParameters
: camera.GetSupportedDisplayParameters()[0];
Особого внимания заслуживает трекер.
Здесь я инициализирую трекер и загружаю используемые маркеры:
//будем использовать трекер квадратных маркеров,
//максимальное количество одновременно обнаруживаемых маркеров - 4
var tracker = new SquareMarkerTracker(4);
//загружаем сами маркеры
_ninjaTrackable = new SquareMarker("Ninja Marker", "Trackable\1.trackable");
var animationAttackTrackable = new SquareMarker("Attack3", "Trackable\5.trackable");
var animationCrouchTrackable = new SquareMarker("Crouch", "Trackable\6.trackable");
var animationBackflipTrackable = new SquareMarker("Backflip", "Trackable\7.trackable");
_animationTrackables.Add(animationCrouchTrackable);
_animationTrackables.Add(animationBackflipTrackable);
_animationTrackables.Add(animationAttackTrackable);
//и добавляем их в трекер
tracker.TrackableObjects.Add(_ninjaTrackable);
tracker.TrackableObjects.AddRange(_animationTrackables);
Обратите внимание, что конструктор SquareMarker принимает на вход 2 параметра: имя маркера и путь к файлу. На самом деле там есть еще 2 перегрузки, но они сейчас нам не потребуются. Каждый маркер анимации я называю по имени связанной с ним анимации. Забегая вперед, скажу, что я делаю это для того, чтобы в дальнейшем по имени отсутствующего маркера загрузить анимацию.
А теперь инициализация рендерера:
//создаем окно, в котором будет отображаться дополненная реальность
var ogreSimpleSceneForm = new Form
{
Size = new Size(640, 480),
Text = Resources.SwarpSDKExampleString,
};
//инициализируем рендерер
var renderer = new Ogre3DRenderSystem(ogreSimpleSceneForm.Handle,
"OgreConfig\plugins.cfg", "OgreConfig\ogre.cfg", "OgreConfig\ogre.log")
{
SizeMode = SizeMode.Autosize
};
//загружаем ресурсы с файла конфигурации
renderer.LoadResources("OgreConfig\resources.cfg");
//создаем сцену. Загружаем модель.
var ninjaScene = new Ogre3DScene(renderer.Root, "Ninja Scene");
renderer.Scenes.Add(ninjaScene);
LoadScene(ninjaScene.SceneManager);
Вроде бы все понятно, но в самом конце притаился метод LoadScene(). В его задачу входит загрузка модели, добавление ее к сцене, натягивание текстуры и запуск анимации Idle:
private static void LoadScene(SceneManager sceneManager)
{
// Создаем узел, относительно которого будет отображаться модель.
var ninjaNode = sceneManager.RootSceneNode.CreateChildSceneNode("NinjaNode");
// Создаем сущность модели (загружаем ее из файла).
var ninjaEntity = sceneManager.CreateEntity("Ninja", "ninja.mesh");
_animationState = ninjaEntity.GetAnimationState("Idle1");
_animationState.Loop = true;
_animationState.Enabled = true;
//натягиваем текстуру на модель
MaterialPtr material = MaterialManager.Singleton.Create("NinjaMaterial",
ResourceGroupManager.DEFAULT_RESOURCE_GROUP_NAME);
material.GetTechnique(0).GetPass(0).CreateTextureUnitState("nskingr.jpg");
material.GetTechnique(0).GetPass(0).SetSceneBlending(SceneBlendType.SBT_TRANSPARENT_ALPHA);
material.GetTechnique(0).GetPass(0).DepthCheckEnabled = true;
material.GetTechnique(0).GetPass(0).DepthWriteEnabled = true;
material.GetTechnique(0).GetPass(0).LightingEnabled = false;
ninjaEntity.SetMaterial(material);
//делаем модельку больше в 3 раза, чтобы удобно было рассматривать
ninjaNode.Scale(3f,3f,3f);
ninjaNode.AttachObject(ninjaEntity);
ninjaNode.SetVisible(true);
}
Теперь все инициализировано.
Основной цикл программы
Теперь самое время запустить камеру, запустить менеджер дополненной реальности и наслаждаться процессом. Возникает вопрос — «как?». Те, кто внимательно прочитал первую статью скорее всего уже знают ответ: недаром у нас есть поле _arManager и переменная camera.
// Инициализируем менеджер дополненной реальности.
_arManager = new AugmentedRealityManager(camera, tracker, renderer);
// Запускаем камеру.
camera.Start();
// Запускаем процесс дополненной реальности.
_arManager.Start();
ogreSimpleSceneForm.Show();
while (ogreSimpleSceneForm.Created)
{
// Обновляем положение сцен связанных с найденными в кадре объектами,
UpdateScenes(ninjaScene.SceneManager);
// Отрисовываем кадр вручную.
// Важно, чтобы кадр отрисовывался в том же потоке,
// в котором происходила инициализация окна рендеринга.
_arManager.Renderer.RenderFrame();
// Вызываем обработку всех событий в приложении.
Application.DoEvents();
}
// Перед закрытием окна приложения необходимо очистить ресурсы.
_arManager.Dispose();
renderer.Dispose();
camera.Dispose();
В этом участке кода выполняется детектирование маркеров, активация соответствующей анимации и отрисовка кадра, пока существует форма рендеринга. Вроде тоже никаких проблем. Переходим к «сердцу» программы: методу UpdateScenes.
Тут тоже ничего сложного. Основная идея заключается в том, чтобы при каждом вызове получать от трекера список найденных маркеров, а потом на основании этого списка запускать соответствующую анимацию. Что, собственно, и реализовано в коде ниже:
private static void UpdateScenes(SceneManager ninjaSceneManager)
{
foreach (var tracker in _arManager.Trackers)
{
// Копируем список с найденными значения,
// так как пока идет рендеринг, эта коллекция может измениться в другом потоке.
var foundTrackableObjects = new List<ITrackable>(tracker.LastDetectedObjects);
// Для каждой сцены сравниваем объект отслеживания.
foreach (var scene in _arManager.Renderer.Scenes)
{
// Если его нет среди найденный объектов отслеживания, то скрыть сцену.
if (foundTrackableObjects.Contains(_ninjaTrackable))
{
// Если нашли объект отслеживания, связанный с данной сценой.
scene.Visible = true;
// Находим положение объекта отслеживания.
var trackablePose = tracker.GetPose(_ninjaTrackable);
// Поворачиваем сцену согласно новой позицией объекта отслеживания.
scene.OrientScene(trackablePose);
//получим сущность ниндзи (классно звучит =))
var ninjaEntity = ninjaSceneManager.GetEntity("Ninja");
//получим нужную анимацию
var newAnimationState =
ninjaEntity.GetAnimationState(SelectAnimation(foundTrackableObjects, _animationTrackables));
//если нужно изменить анимацию, то настроим ее
if (newAnimationState.AnimationName != _animationState.AnimationName)
{
_animationState.Enabled = false;
_animationState = newAnimationState;
_animationState.Loop = true;
_animationState.Enabled = true;
}
//а если нет, то просто добавим квант времени к анимации
_animationState.AddTime(_animTime);
}
else
{
scene.Visible = false;
}
}
}
}
private static string SelectAnimation(ICollection<ITrackable> found, IEnumerable<ITrackable> target)
{
foreach (var trackable in target.Where(trackable => !found.Contains(trackable)))
{
return trackable.Name;
}
return "Idle1";
}
Обратите внимание на метод SelectAnimation. Он имеет 2 параметра: список найденных маркеров и список зарегистрированных маркеров анимации. Этот метод возвращает имя первого не найденного маркера анимации. В случае, когда все маркеры анимации присутствуют, от возвращает строку «Idle1». Именно для этого я называл маркеры именем связанной с ним анимации.
Подводный камень: обратите внимание на этот участок кода:
//получим нужную анимацию
var newAnimationState =
ninjaEntity.GetAnimationState(SelectAnimation(foundTrackableObjects, _animationTrackables));
//если нужно изменить анимацию, то настроим ее
if (newAnimationState.AnimationName != _animationState.AnimationName)
{
_animationState.Enabled = false;
_animationState = newAnimationState;
_animationState.Loop = true;
_animationState.Enabled = true;
}
При смене анимации обязательно надо отключить предыдущую анимацию, иначе она будет работать некорректно. Я достаточно много времени потратил, пытаясь понять в чем косяк.
Ну что, самое время посмотреть, что у нас получилось?
Результаты
Ниже представлено видео, которое я записал. Мне кажется, что оно красноречивее любого текста покажет что у нас получилось.
Довольно таки забавно. Кстати говоря, Swarp детектирует маркер, даже если он частично перекрыт.
Ссылки
Исходники: HabrDemo2.rar
Сайт разработчиков: www.sectar.com
Ссылка на скачивание SDK: Swarp SDK
Managed Ogre: Mogre wiki
UPD: Кстати, буквально вчера, Сектар объявил конкурс. За участие можно получить халявный ключ до 31 августа, а победителям дают нахаляву development-лицензии на полгода и год. Подробнее: конкурс.
Автор: DarkFIxED
