В 20 веке перед экспертами различных стран стояла острейшая проблема нахождения надежной методологии оценивания качества, в том числе результатов деятельности творческих коллективов, их работников, продукции, проектов и услуг. В результате в 1968 году в мире появилась научная дисциплина квалиметрия [1], спрос на использование которой существенно вырос в последнее время в связи с бурным развитием интернета и в связи с расширением областей человеческой деятельности, для которых характерна квантификация методов, средств и способов исследований. Квалиметрический метод был разработан Г.Г.Азгальдовым [2] и развит в многочисленных трудах российских и зарубежных исследователей.
Одним из успешных примеров использования квалиметрического подхода при рейтинговании является Национальная премия в области франчайзинга «Золотой бренд» [3, c.121-143], подведение итогов в трех номинациях которой проводится с 2006 года по квалиметрической методике (в главной номинации использовался комплексный показатель — «интегральное качество»).
Поскольку методические подходы, применяемые в квалиметрии, могут быть эффективно реализованы при оценивании и отборе стартапов, особенно на ранней стадии развития, предлагается для рейтингования стартапов использовать квалиметрический анализ.
Среди множества различных подходов к оценке стартапов [4-6, 13] использование квалиметрии является предпочтительным. И вот почему. Если обратиться к словарям, то можно обнаружить, что «рейтинг» происходит от английского термина1, который означает субъективную оценку какого-либо плохо измеримого явления по заданной шкале. В ситуации, когда основным критерием ранжированного списка стартапов является “качество” (или “интегральное качество”), а заданная шкала определяется мировым уровнем, то синонимом слову “рейтинг” является “квалиметрический анализ”.
В работе [5] дается краткий обзор некоторых экспертных методов оценки стартапов, среди которых на ранних стадиях могут быть использованы:
- Модель Ave Maria (сокращение от слов Acquisition, Value, Engagement, Monetization, Retention, Intellectual Property). Автор модели — Максим Крайнов
- Метод скоринга (Scorecard Method, метод также известен как метод метод бенчмаркинга — Bill Payne Method, Benchmark Method). Автор — инвестиционный «ангел» Билл Пэйн.
На рис.1 представлена методика рейтинга стартапов Агентства PRUFFI в виде дерева свойств, который отражает профессиональные перспективы и степень профессионализма (как операционного, так и организационного) команд стартап-проектов [13].
Рис.1 Рейтинг «30 самых перспективных команд стартапов Российского Интернета и IT» в виде дерева свойств
Данный рейтинг формируется на основе подсчета баллов (R= S+P+K), выставленных экспертами за стабильность и сплоченность команды (сложное свойство 14 на рис.1), профессиональные компентенции (свойство 15 на рис.1) и активность команды (свойство 16 на рис.1). По мнению авторов, данный рейтинг демонстрирует типовые ошибки, присущие большинству рейтингов, которые заключаются в произвольном выборе критериев рейтингования и весов этих критериев (в данном случае — баллов).
Модель Ave Maria полезна при сравнении стартапов и выборе предпочтительного направления инвестирования, но она, в отличие от квалиметрического подхода, не дает численных оценок. Существенным недостатком метода Билла Пэйна является произвольный выбор критериев для сравнения, произвольный выбор весов этих критериев и неопределенность объекта измерения. В отличие от метода Билла Пэйна, квалиметрия позволяет логически обосновать выбор критериев сравнения оцениваемых объектов, опираясь на результаты, полученные в процессе определения ситуации оценивания, определить веса критериев оценки, опираясь на информацию о мировом уровне качества аналогичных объектов оценки, снизить неопределенность за счет научно обоснованных правил построения деревьев критериев оценки. Некоторые методические проблемы оценивания качества и их решения рассмотрены в [7].
При рейтинговании стартапов в качестве одного из критериев можно, например, использовать «стоимость проекта», а из подходов к оценке — методы оценивания стоимости. Такие методы успешно используются, например, профессиональными оценщиками и инвестиционными консультантами (но чаще всего на более поздних стадиях развития — Early stage, Expansion stage, Later stage). На ранней стадии развития (Seed stage) применение методов стоимостного оценивания для целей рейтингования не эффективно по двум основным причинам: 1) из-за высоких издержек использования методов; 2) из-за высокой степени неопределенности исходных данных модели (в прогнозах развития рынка, денежных потоков, в оценке спроса/предложения, рисков). По сравнению с методами стоимостного оценивания, применение квалиметрического анализа позволяет снизить совокупные издержки процесса рейтингования и неопределенность за счет научно обоснованных правил построения деревьев свойств (критериев оценки).
При проведении национальных рейтингов стартапов (а также при отборе соответствующих экспертов) предлагается использовать квалиметрические методики, которые позволяют ранжировать стартапы по качеству (или интегральному качеству), обеспечив при этом прозрачность измерительных процедур, обоснованность выбора критериев для сравнения и сравнимость результативности стартапов [8, 9]. Использование квалиметрии при оценивании (ранжировании) стартапов не только минимизирует издержки организаторов рейтингов при подведении итогов, но также позволяет выполнить их всестороннюю оценку, поскольку в квалиметрии имеется аппарат, с помощью которого могут быть количественно оценены любые экономические и неэкономические по своей природе объекты и процессы, и тем самым одновременно могут быть рассмотрены как критерии оценки качества, так и критерии оценки эффективности2 стартапов. При этом методики оценивания, основанные на квалиметрии, могут быть настраиваемыми с учетом стратегических целей «стейкхолдеров» с заданной точностью и позволять проводить не только измерения отдельных количественных и качественных параметров стартапа, но и сравнивать показатели их результативности, например, по интегральному качеству.
Все стартапы отличаются друг от друга и сферами деятельности, и стадиями развития, и результатами, и затратами для достижения своих целей. Квалиметрический анализ (особенно на стадии Seed stage) позволяет учесть все критерии и показатели результативности стартапов (на характер которых не накладывается никаких ограничений), свести все показатели воедино, преобразовать разнородные показатели в однородные, обеспечить достоверность, необходимую точность, свертку показателей и, самое главное, сопоставимость результатов.
Для того, чтобы ответить на вопрос, какой из методов наиболее предпочтительнее при рейтинговании стартапов по качеству, обратимся к работам [10, 11]. На основе изучения литературы по вопросам теории экономической эффективности, логики оценок, исследования операций и теории принятия решений3 были сформулированы 14 требований по которым были проанализированы 16 различных методов оценивания качества. В [10] показано, что квалиметрический метод оценивания качества является самым приемлемым из всех применяющихся в настоящее время для этой цели методов. Разумеется, превосходство метода квалиметрии над остальными нельзя понимать как превосходство над всеми методами по всем требованиям. Квалиметрический метод лучше других только по совокупности всех 14 требований, а по некоторым требованиям, взятым в отдельности, он может и уступать другим методам. Например, по требованию «нетрудоемкость» он, конечно, уступает методу «оценка одним экспертом» [11, табл.1, «Б»]. Однако, за счет автоматизации даже трудоемкость квалиметрического метода оценивания качества может быть существенно снижена вплоть до сопоставимости его с другими методами.
Таким образом, для рейтингования стартапов предлагается разработать квалиметрическую методику, в которой в качестве критерия ранжирования стартапов на ранней стадии развития (Seed stage) будет использоваться показатель «интегральное качество», а при отборе экспертов (или учете их экспертных оценок) — «качество».
Квалиметрический подход количественного оценивания качества опубликован в открытых источниках, например, в [2, 3, 7-10, 12] и применяется в различных сферах жизнедеятельности человека.
— 1 «rating» — оценка, порядок, классификация. Рейтинг — числовой или порядковый показатель, отображающий важность или значимость определенного объекта или явления.
2 В квалиметрии аналогичным термину «эффективность» является «интегральное качество»
3 учитывались только те требования, обоснованность которых подтверждается достаточно большой частотой их упоминания в литературе. Поэтому требования, которые в литературе упоминаются очень редко или плохо обоснованны, не использовались
Основные термины, используемые в квалиметрии при оценивании качества стартапов:
Квалиметрия – это научная дисциплина, изучающая методологию и проблематику комплексного количественного оценивания качества любых объектов (процессов, продуктов или услуг).
Качество — совокупность свойств объекта, которое характеризует генерируемые им результаты (как положительные, так и отрицательные), но которые не включают в себя затраты ресурсов на его создание и потребление.
Экономичность — такое свойство объекта, которое характеризует совокупные (полные) затраты на оцениваемый объект, т.е. включают в себя затраты на его производство, потребление и утилизацию.
Интегральное качество — такое свойство объекта, которое характеризует совокупность его качества и экономичности.
Качество стартапа – это комплексная характеристика процессов по созданию и выведению на рынок нового продукта (устройства, работы, услуги), удовлетворяющая потребности заинтересованных лиц и представляющая собой совокупность получаемых при этом результатов, но которые не включают в себя показатели ресурсов (например, денежных средств), используемых в этих процессах.
Если же еще дополнительно учитываются и затрачиваемые ресурсы, то исследуемая таким образом характеристика называется «интегральное качество стартапа», синонимом которому является «эффективность стартапа».
Квалиметрический анализ – это метод исследования, который позволяет сравнивать и оценивать качество объектов по отношению к мировому уровню.
Рейтинг стартапов – комплексная оценка и последующее ранжирование молодых российских технологических компаний по степени развития, с целью выявления их инвестиционной привлекательности, а также описания и структурирования рынка подобных компаний. Источник — www.rg.ru/2012/12/09/reyting-site.html
Авторы:
Костин А.В., к.э.н., начальник управления оценки инновационных проектов ЗАО «Центр передачи технологий», kostin@rusttc.ru
Азгальдов Г.Г., д.э.н., главный научный сотрудник Центрального экономико-математического института РАН, gazgaldov@mail.ru
Литература
1. Костин А.В. Рождение квалиметрии // Стандарты и качество. — М., 2010, №2. — С.90-91. URL: www.labrate.ru/kostin/2010-02_nucleation_qualimetry.pdf (дата обращения: 06.06.2013).
2. Азгальдов Г.Г. Разработка теоретических основ квалиметрии: Дис. на соиск. учён. степени д.э.н. / Военно-инж. акад. им. В.В. Куйбышева. — М., 1981. URL: www.labrate.ru/azgaldov/azgaldov-qualimetry-referat-1981.doc (дата обращения: 06.06.2013).
3. Квалиметрия: первоначальные сведения. Справочное пособие с примером для АНО 'Агентство стратегических инициатив по продвижению новых проектов': Учеб. пособие/ Г.Г. Азгальдов, А.В. Костин, В.В. Садовов. — М.: Высш. шк., 2011. — 143 с. URL: www.labrate.ru/kostin/051326.pdf (дата обращения: 06.06.2013).
4. Дмитрий Черняк.Методы оценки стартапа [Электронный ресурс]. URL: habrahabr.ru/company/findstartup/blog/144521/ (дата обращения: 06.06.2013).
5. Дмитрий Черняк.Методы оценки стартапа. Продолжение [Электронный ресурс]. URL: habrahabr.ru/company/findstartup/blog/144221/ (дата обращения: 06.06.2013).
6. Стартапы получили рейтинг / Российская газета, 09.12.2012 [Электронный ресурс]. URL: www.rg.ru/2012/12/09/reyting-site.html (дата обращения: 06.06.2013).
7. Garry G. Azgaldov, Alexander V. Kostin. Applied Qualimetry: Its origins, errors and misconceptions // Benchmarking: An International Journal, Volume 18, Number 3, 2011, pp. 428-444. — www.labrate.ru/articles/428-444_applied_qulimetry_azgaldov-kostin.pdf (дата обращения: 06.06.2013).
8. Azgaldov G.G., Kostin A. V. (2012) Increasing the Validity of Results of a National/International Competition: A Case Study / Europe Middle East Africa Members' Meeting, Barcelona (Spain), 26-28 January 2012. — www.labrate.ru/kostin/054548.pdf (дата обращения: 06.06.2013).
9. Квалиметрия для всех: Учеб. пособие / Г.Г. Азгальдов, А.В. Костин, В.В. Садовов. — М.: ИнформЗнание, 2012. — 165 с. — www.labrate.ru/kostin/064571_qualimetry_azgaldov-kostin-sadovov-2012.pdf (дата обращения: 06.06.2013).
10. Азгальдов Г.Г. Квалиметрия в архитектурно-строительном проектировании — М.: Стройиздат, 1989. — 264с. www.labrate.ru/azgaldov/qualimetry_in_architectural_and_structural_design.pdf (дата обращения: 06.06.2013).
11. Тезисы Костина А.В. к заседанию круглого стола «Как и зачем измерять качество образования в вузе ?» (20 ноября 2012 года, ЦЭМИ РАН) // Библиотека LABRATE.RU [Электронный ресурс]. URL: www.labrate.ru/20121120/063804.doc (дата обращения: 06.06.2013).
12. Азгальдов Г.Г. Теория и практика оценки качества товаров. Основы квалиметрии.. — М.: Экономика, 1982. — 256с. — www.labrate.ru/azgaldov/azgaldov_theory_and_practice_of_quality-assessment.pdf (дата обращения: 06.06.2013).
13. О рейтинге «30 самых перспективных команд стартапов Рунета и IT» // Электронный ресурс — pruffi.ru/30startups/about (дата обращения: 06.06.2013)
Автор: labrate
