Вам нравится изображение выше? А насколько? Что такое «привлекательность изображения» и как она раскладывается в математические формулы? Можно ли алгоритмически определить, какое из двух изображений больше понравится людям? А можно ли это запатентовать?
Меня зовут Михаил Диченко, я аналитик компании Luxoft. Ранее я задался подобными вопросами, а в итоге получил американский патент на свой алгоритм и выпустил основанное на нём приложение. А поскольку на Хабре мало у кого есть опыт патентования своих наработок, решил поделиться своим.
От идеи к изобретению
Идею разработки универсальных законов, которые действуют одинаково в различных сферах (физика и психология, биология и история) я впервые высказал в 1999-м в разговоре с Жоресом Алфёровым, который годом позже стал нобелевским лауреатом. Тогда он очень поддержал эту идею и даже предложил читать лекции в его «Санкт-Петербургском физико-техническом научно-образовательном центре» при РАН.
Сама концепция универсальных законов окончательно выкристаллизовалась у меня при работе над монографией уже к 2012–2013 — тогда и родилась идея сравнения нормального распределения с фактическим распределением пикселей в цифровом изображении.
Можно ли по распределению пикселей определить, насколько приятна для человека картинка? Конечно, ее содержание будет перебивать самое удачное цветовое сочетание, так что бессмысленно сравнивать попиксельно пейзаж и рентгеновский снимок. Но что, если сравнивать друг с другом изображения одной и той же категории: селфи, дизайн интерьера, одежда, рекламный плакат? Есть ли вообще универсальное восприятие цветов и их сочетаний? Для разных людей, культур и мировоззрений? Тогда я просто выдвинул гипотезу, что да, есть — и что определить степень привлекательности можно по характеру распределения пикселей в цифровом изображении.
В 2018 году я наконец нашел инвестора на проведение исследований, проверку гипотез, создание софта и патентование. А в 2018–2019 годах уже вовсю шли работы по созданию ПО и верификации алгоритма. В качестве первого этапа я ограничился только изображением, хотя к тому времени уже разработал весь математический аппарат алгоритма по видео- и аудиофайлам. Но гипотезы гипотезами, а работают ли они на самом деле? Совпадают ли с оценками реальных людей?
Исследование эмоций при просмотре картинок проводилось с ноября 2018 года по апрель 2019. Методы использовались разные: оценить приятность; оценить неприятность; выбрать три самые приятные/неприятные; оценить каждое изображение по пятибалльной шкале по степени приятности.
Участвовали люди из разных стран, из разных регионов одной страны, разного пола и возраста. Им предлагалось оценить непохожие изображения: пейзажи, портреты, абстрактные композиции.
Подробный отчёт я приведу в другой статье, а здесь скажу, что в результате корреляция (совпадение) алгоритма с оценками людей составила более 70%, что квалифицируется как сильная степень. Мой алгоритм оценивает привлекательность разных картинок практически так же, как и большинство людей. Это значит, что механизм эмоциональной оценки изображения (система «глаз-мозг») работает на принципах нормального распределения: определенное взаимосоотношение среднего и крайних противоположных значений.
И ещё один интересный вывод: выявлено два типа картинок с диаметрально противоположной корреляцией по светлоте и насыщенности: пейзажно-портретные (положительная корреляция) и абстрактные (отрицательная корреляция).
Путь к патенту
После подтверждения гипотез, получения научно-значимых и практически пригодных (высокая степень корреляции) результатов я решил подготовить заявку на патентование алгоритма. Но это оказалось не так просто.
Я выяснил, что в РФ алгоритмы не патентуются ввиду отсутствия самого понятия в патентном законодательстве. Можно запатентовать лишь текст описания алгоритма или код реализации. И всё. Но при этом любой может взять и переписать код или описание, и использовать софт, написанный на другом языке. Или даже на том же языке, но назвав методы по-другому. Никакой защиты моих авторских прав тут нет.
«Великий Гуглин» подсказал, что наиболее продвинутое патентное законодательство в США, и что там можно подать заявку на патентование алгоритма. Не как текста или литературного произведения, а как сущности — совокупности методов и способов, изложенных математически и схематически, которые уже могут быть реализованы с помощью языков и средств программирования.
Еще месяц ушел на поиски и переписку с американскими патентными компаниями. Вообще в США тысячи патентных адвокатов и компаний, цены на услуги у всех разные. Минимальная, которая мне встретилась, была $3000, максимальная — свыше $20 000. Но все работают по стопроцентной предоплате, и эту сумму контракт определяет как начальную. После предоставления материалов она может измениться — как правило в бóльшую сторону.
После подачи заявки Патентное Бюро (USPTO) может задавать неограниченное число вопросов, и на ответы эксперт компании будет тратить неизвестное количество часов. В некоторых компаниях вообще отказывались указывать сумму и называли только ставку почасовой оплаты эксперта, который будет работать над заявкой, и его начальника — при этом начальник будет тратить времени меньше, но его часовая ставка намного выше. И соотношение между ними до начала работ неизвестно.
Ещё одна сложность: на сайтах компаний не говорится о цене. Нужно запрашивать по мейлу, и в ответ у тебя спрашивают, в чём суть изобретения. Некоторые компании категорически отказывались заниматься алгоритмом. Все сведения я вносил в электронную таблицу: сумма предоплаты, почасовая сумма №1, почасовая сумма №2, место в рейтинге, адрес офиса, штат, город и т. п.
В итоге был заключён контракт. Спустя два года могу сказать, что потратил около $20 000. Последний (очень надеюсь, что последний!) счёт пришёл недавно: $82 за доставку бумажного экземпляра патента.
Надо понимать — ни одна патентная компания не гарантирует успеха. Насколько знаю, им даже законодательно запрещено это гарантировать. Одобрит USPTO твою заявку или нет, патентная компания никогда не скажет, и тем более не вернет деньги (оплачивается труд, а не результат).
После заключения контракта я начал готовить материалы для отправки патентной компании. Это заняло ещё пару месяцев, а затем в дело вступил патентный эксперт.
Как происходит проверка качества? Надо сказать, что в США каждый патентный эксперт состоит в открытом реестре — там можно посмотреть количество подготовленных с его помощью заявок, одобренных и отклонённых. От этого зависит его почасовая оплата. Поэтому патентный эксперт и компания не заинтересованы в подготовке такой заявки, которая имеет высокую вероятность отказа. Подготовка заявки в USPTO целое искусство! Не рекомендую отказываться от эксперта и пытаться сделать всё самому.
Файл, который я отправил эксперту, содержал 37 страниц с формулами, схемами, таблицами и описанием. Спустя пять месяцев работы мою заявку подали в USPTO: файл содержал 71 страницу! Почти в 2 раза больше изначального объема. Патентной компании запрещено давать какие-либо прогнозы своим клиентам по поводу одобрения заявки USPTO и выдачи патента. Но здесь я хочу ободрить читателей, которые собираются взойти на эту гору.
Если эксперт возьмётся за заявку, то уже это многое говорит о качестве изобретения. Из поданных заявок на алгоритмы успешными оказываются около 30%. И это не так мало. Начальник моего эксперта между делом сказал мне: «Я не верю, что никто в мире до сих пор не додумался до этого!»
Срок рассмотрения заявки — полтора года, дату планируемого ответа USPTO указывает в ответ на отправку заявки. Через год и четыре месяца я получил отказ с объяснением причин. Если вы получите отказ, то не пугайтесь — это нормальная практика, такая вот «проверка на вшивость». Придется побороться с USPTO и доказать свое право на патент.
Внимательно прочитав причины отказа, я понял, что их суть в существовании якобы такого же алгоритма — два патента двух разных изобретателей за разные годы. Один касается исключительно изображения и видео, другой звука. Мне пришлось внимательно изучить эти патенты на сайте USPTO и в Google Patents. К своей радости, я не нашёл в них ничего похожего на мой алгоритм. Конечно, я удивился ссылкам на эти патенты при отказе по моей заявке, а вот патентный эксперт удивлён не был.
Мы составили ответ: отвергаем ваши аргументы, так как ничего подобного моему изобретению в указанных патентах нет. Не прошло и месяца, как в феврале 2021 году я получил письмо с согласием выдать патент! В письме была уже указана дата выдачи будущего патента: 27 апреля 2021 года. В оставшееся время я вносил правки, исправлял опечатки и ошибки в описании патента. В итоге USPTO признало мое изобретение и 27 апреля 2021 года выдало патент № 10991082. И все это несмотря на пандемию.
Патент можно посмотреть в Google Patents и на сайте USPTO. А у бумажной версии я для вас отсканировал обложку и первую страницу.
Реализация в мобильном приложении
После подачи заявки началась разработка мобильного приложения. Научно и практически значимые результаты нужно было конвертировать в удобный для пользователя продукт. При этом необходимо было решить несколько задач:
-
Сложность вычислений. Мы не были уверены, что сложнейший математический расчёт с формулами из теории вероятностей можно было быстро делать на смартфоне. Даже то десктопное приложение, которое использовалось для верификации алгоритма, работало не всегда быстро. И это при расчете одного изображения. А для практического использования нужно было мгновенно рассчитывать сразу несколько картинок большого разрешения.
-
Цветовая модель. Усложняло ситуацию и то, что характеристики каждого пикселя должны быть сначала пересчитаны из цветовой модели RGB в модель HSV. Наиболее высокий коэффициент корреляции с оценками людей достигался именно по характеристикам цветовой модели HSV.
-
Защита от пиратства. Алгоритм мог быть скопирован и использован без моего согласия. Преследование на основе патентного права стоит денег и не всегда коммерчески окупается ввиду особенностей работы судебных органов разных стран. Поэтому гораздо эффективней предусмотреть защиту от копирования.
-
Региональная ограниченность патента. Патентная защита даёт монопольное право на продажу, использование в каком-либо виде этого изобретения на территории США. В США продажа или любое использование возможно только с моего разрешения. Вне этой страны защиты моих авторских прав нет. Это означает, что мой алгоритм может быть реализован в любом приложении и продаваться в любой иной стране мира совершенно официально без моего разрешения. Гражданство (в случае физического лица) или юрисдикция (если речь о юридическом) не имеют значения: главное — территория, где ведется бизнес. Это означает, что можно сделать, например, мобильное приложение, при выкладывании в App Store указать «в США сделать недоступным» и патент не будет нарушен.
Несмотря на все эти сложности, было принято решение о разработке iOS-приложения на языке Swift. И всё стало возможным благодаря финансовой поддержке моего замечательного друга Ирины Тулаевой и потрясающим качествам разработчика-аналитика Ивана Тихомирова.
Так что, если стало интересно, можно скачать и потестить — приложение доступно в App Store, называется PictureTheOne. Я сам пользуюсь им, когда нужно выбрать одно из нескольких селфи, подобрать галстук к рубашке или бадлон (к худи или футболке) перед уходом на работу.
А вот исследование привлекательности видео и звука остаётся открытым и ждет своего финансирования. Впереди много интересного.
P.S. А если эта статья вызовет достаточный интерес, то я опишу работу над второй патентной заявкой второго алгоритма, идея которого пришла ко мне во время работы над первым. Так бывает, оказывается.
Автор: Michael Dichenko
