За редким исключением главным измерительным прибором в фитнес-трекерах является датчик пульса, измеряющий частоту сердечных сокращений. Современное программное обеспечение в сочетании с искусственным интеллектом способно по его данным вычислять довольно многое — от патологических состояний организма до уровня стресса и фаз сна. Постараемся рассказать на примере технологии TruSeen компании Huawei.
Есть датчики, которые отслеживают кровенаполнение сосудов расположенных в руке — фотоплетизмограмму. Классика — датчик на пальце, пульсометр. То, как свет проникает сквозь палец можно увидеть, если, например, приложить его на обратную поверхность компьютерной мышки, в область сенсора. Этот свет имеет малые пульсации, связанные с сердечным ритмом, которые при определенной сноровке можно заметить даже невооруженным глазом.
Свет регистрируется фотодиодом, по сути, светочувствительной однопиксельной камерой с большим пикселем, который снимает показатели 25−100 раз в секунду. Естественный световой поток от пальца сигнал получается очень слабым и шумным, потому для подсветки используется светодиод.
Со временем возникла идея использовать пульсометр в часах, с датчиком в районе запястья. Проблема в том, что снимать сигнал с запястья гораздо хуже, чем с пальца. С пальца мы берем свет, который пропускается через объект, а на запястье — который отражается (т.к. толщина запястья намного больше пальца и для просвета нужен очень мощный источник). Кроме того, палец является «терминальной точкой» распространения пульсовой волны. Это значит, что волна отражается от кончика пальца и потому именно на этом кончике хорошо видна. Для отражения лучше использовать свет зеленого цвета, поскольку именно он дает оптимальное соотношение глубины проникновения и отражения. Синий почти не проникает под кожу, а красный и инфракрасный, наоборот проникают слишком глубоко и одновременно захватывает сосудистые русла, в которых пульсовые волны распространяются по разному. Как следствие, сигнал получается более шумным.
Отдельная история с людьми с черной кожей. Из-за большого поглощения приходится или увеличивать мощность подсветки (что повышает энергопотребление) или использовать «более красный» источник. В часах Huawei применяется инфракрасный светодиод, что дает более шумный сигнал по отношению с зеленому сигналу, снятому с человека со светлой кожей. Для измерения пульса по фотоплетизмограмме (ФПГ) выделяют отдельные периоды и считают число пиков на сигнале, что не всегда возможно. Во‑первых, сигнал отражает колебания в кровеносном сосуде весьма плохо, накладываются различные артефакты в виде дыхательных волн и отражения от неоднородностей. Во‑вторых, и это главное, использование наручных часов — активный процесс весьма и в сигнал вмешиваются движения человека, которые «забивают» полезный сигнал пульса. Кроме того, частоты движения и частоты сердечных сокращений весьма близки, что не позволяет применять методы простого частотного разделения. А раз так, то появляется необходимость в использовании «умного» алгоритма.
Кроме, оптического, в часах и механические датчики, такие как акселерометр и гироскоп. Акселерометр, или датчик линейных ускорений, измеряет по трем осям перегрузки, которым подвергаются часы. Например, благодаря акселерометру наш смартфон считает шаги и чувствует, что его перевернули, меняя ориентацию картинки на экране. Но при перемещении рук на часы может действовать перегрузка в несколько раз превышающая g, кровь в сосудах подвергается значительным возмущениям, что прямо отражается на сигнале ФПГ.
Вторым важным датчиком является датчик угловых скоростей или гироскоп, который фиксирует вращательные движения. По вращательным движениям и акселерометру и определяется изменение положения часов в пространстве. Мы можем записывать показания гироскопа и акселерометра одновременно и использовать их при анализе сигнала ФПГ. Акселерометр — пассивный датчик, потребляющий минимум энергии. Его можно сравнить с пружиной и шариком на конце, где для измерения ускорения достаточно просто «прочитать» показания удлинения пружины. Гироскоп — датчик активный и для его работы требуется больше энергии, поскольку в нем содержатся движущиеся части — колеблющаяся пластина, параметры колебания которой жестко связаны с угловыми скоростями датчика. Потому, для экономии аккумулятора, гироскоп не используют непрерывно.
Если вы пользуетесь фитнес-трекерами, то знаете два режима «снятия» пульса — с состоянии покоя и в движении. Первый требует от пользователя практически не двигаться, но точно считает каждый удар и время между соседними сердечными сокращениями. Этот алгоритм используется в состоянии покоя и во сне. Интересно, что в ночном режиме трекеры переходят на инфракрасную подсветку, которая не видна человеческому глазу и не мешает во время сна, как зеленая. Гораздо сложнее второй случай, когда приходится измерять пульс в условиях сильных механических возмущений. Уровень сигнала сердца становится очень малым на фоне помех движения и считать каждый кардиоимпульс отдельно на кривой сигнала становится неподъемной задачей.
Такой сигнал рассматривается в частотной области. Для частотного представления используется математическое преобразование Фурье, результатом которого является спектр сигнала. Если применять преобразование Фурье к относительно небольшим временным «окнам», то можно увидеть эволюцию спектра во времени, которая называется спектрограммой. Спектрограмма хороша тем, что на ней становится различима «нить» пульса. На картинке в реальном смысле этого слова видна прямая линия, совпадающая с пульсом и похожая на нить. Однако, нить различима далеко не всегда, т.к. накладывается очень много нежелательных шумов. Самые большие шумы в этой картинке, как правило, шумы движения. Их интенсивность может многократно превосходить интенсивность пульса. Для подавления частот движения используются фильтры, получающие сигналы с акселерометров, и пульс перестает теряться среди множества гармоник движения.
Самое интересное — придумать алгоритм, который бы находил нити на спектрограмме и следил за их изменением. Если частота ушла вверх, то фильтр должен перестроиться на более высокочастотный лад, если вниз — низкочастотный. Для этого применяется математика из теории следящих адаптивных систем. Как следствие, наилучшие результаты достигаются в условиях, когда движения периодичны и очень стабильны. К таковым можно, прежде всего, отнести активность на беговой дорожке. Наоборот, в условиях со слабой периодичностью движений (например, активные игры) не удается добиться таких высоких показателей.
В современных часах и трекерах есть функция распознавания активностей — бег, ходьба, езда на велосипеде, плавание и т. д. Все эти активности характеризуются определенным ритмом и, как следствие, интенсивностью физических нагрузок. Чем выше нагрузка — тем выше частота сердечных сокращений. Таким образом, мы приходим к одной из ключевых технологий Huawei — к технологии умного предсказания пульса, где используются сложные модели поведения пульса в разных ситуациях. Очевидно, например, что при одинаковой интенсивности ходьбы и бега будут разные отклики частоты сердечных сокращений. Кроме того, при разной тренированности разные люди показывают разные результаты. Так, например, для велосипедной активности у нас алгоритм работает не так, как при ходьбе или беге, поскольку сложный сигнал движения очень легко маскируется под пульс, ибо руки приходится держать на руле и интенсивность крайне мала. Возникает множество случайных помех от неровностей на дороге. Плюс возможно изгибание кистей рук на руле, что приводит к движению часов на запястье. Типовых примеров достаточно много и со всеми приходится иметь дело и уметь их обрабатывать.
Если для самых простых случаев можно попробовать создать модель поведения частоты сердечных сокращений, то для сложных это становится практически невозможно. Но сегодня мы живем в век искусственного интеллекта и компьютерные алгоритмы способны сами создавать сложные математические модели. Именно благодаря алгоритмам машинного обучения и нейросетям нам удается решать задачу оценки пульса с достаточной для любительских задач точностью.
Так, например, можно менять параметры модели в зависимости от пола, возраста, массы тела а также образа жизни человека — вся эта информация содержится в смартфоне. Эти знания могут сделать алгоритм распознавания точнее. Кроме того, можно примерно оценивать как сердечно-сосудистая система откликается на физические нагрузки и вносить изменения в алгоритм «на лету». Именно в этом состоит суть адаптивного алгоритма. Но здесь важно не преувеличивать важность модели и доверять ей только тогда, когда уверенность в достоверности ее результатов высокая. Сделать алгоритм, в котором оптимально сочетаются способности к предсказыванию и оценка реальной измерительной ситуации — достаточно непростая задача. Для её решения приходится применять искусственный интеллект — рекуррентную (сеть с обратными связями) нейронную сеть, которая учится обобщать различные состояния, в которых находится пользователь часов и предсказывать пульс в зависимости от состояния датчиков.
Умный алгоритм оценки ЧСС в часах Huawei
Для обучения нейросети нужны обучающие данные — датасеты. Для сбора этих данных привлекаются разные группы людей, которые выполняют задания имитирующие типовые сценарии поведения с надетыми часами. С датчиков собираются «сырые» данные. Точные данные по пульсу получают с нагрудных пульсометров, регистрирующие электрическую активность сердца (ЭКГ). Наше сердце генерирует очень мощные электрические импульсы, что позволяет регистрировать их очень надежно, но ношение нагрудного ремня очень не удобно. Именно поэтому датчик пульса встроенный в часы пользуется такой популярностью, ибо позволяет привычный предмет, изначально предназначенный только лишь для измерения времени, использовать с гораздо большей эффективностью.
Следует отметить, что точность определения пульса по оптическому датчику ФПГ всегда будет ниже, чем точность нагрудного датчика ЭКГ. В том числе потому, что именно нагрудный датчик служит эталоном для датчика пульса, а не наоборот. Естественно, если вы профессиональный спортсмен и тренируетесь для взятия пьедестала на Олимпийских играх, то нужно пользоваться максимально точными инструментами. Если ваши запросы несколько скромнее то, для большинства практических бытовых задач оптического метода, используемого в умных часах Huawei, вполне достаточно.
