TRL – недостаточно: чего не видят классические оценки инноваций

Многие высокотехнологичные разработки терпят крах на этапе коммерциализации, несмотря на блестящие инженерные достижения. 

Почему? Потому что качество инновации – это не только технологическое совершенство, но и сбалансированность развития проекта по нескольким ключевым направлениям: готовности рынка, организационному потенциалу, финансовой устойчивости и инновационной продуктивности.

Инновационный научно-технологический центр (ИНТЦ) «ЮНИТИ ПАРК», работающий в Сургуте, знаком с этой проблемой. Несколько кандидатов на участие в проекте демонстрировали высокие технологические показатели, но затруднялись с их коммерциализацией и масштабированием. В результате сейчас мы разрабатываем и внедряем комплексный подход к оценке качества инноваций, который совмещает количественные метрики, кластерный анализ и мониторинг траекторий развития проектов.

В этой статье мы делимся опытом: как измерить качество инновации не по одному показателю, а по многомерному профилю, как использовать данные для адресной поддержки резидентов и как принимать управленческие решения на основе анализа динамики развития проектов.

Проблема традиционного подхода

Шкала  TRL  была разработана NASA в 1990-х годах и широко применяется для оценки технологических проектов. Она дает простой ответ, на  каком уровне  находится ваша технология. На первый взгляд, удобно: есть единая метрика, по которой можно сравнивать проекты, однако практика показывает и существенные ограничения TRL:

1. Грубость оценки. TRL – дискретная шкала. Проект может годами находиться на  уровне 5 , но в пределах этого уровня может происходить достаточно разнородный прогресс. Переход от TRL 5 к TRL 6 занимает иногда полгода, иногда два года, и шкала не может зафиксировать этот процесс;

2. Потеря информации. Два проекта с одинаковым TRL, например 6, могут принципиально отличаться по организационной готовности, рыночному потенциалу и финансовой устойчивости. Один из них готов к масштабированию, другой застрял в лабораториях.  TRL этого не различает ;

3. Неполнота информации для управления. Оценка по TRL не указывает, какие именно элементы нуждаются в поддержке. Что делать руководству инновационного центра? Что финансировать? Где помочь?

В России разработали расширенную методологию  TPRL , которая учитывает несколько ключевых параметров проекта параллельно:  технологическую готовность ,  производственную готовность ,  организационную готовность  и  рыночную готовность . Однако даже TPRL в классическом виде – это прежде всего инструмент для чиновников и грантовых комиссий, а не для повседневного управления портфелем инновационного центра.

Переход к многомерному профилю

ИНТЦ «ЮНИТИ ПАРК» адаптирует идею многомерности для своих потребностей. Вместо того чтобы искать единый «магический» балл, мы предлагаем отслеживать шесть ключевых измерений состояния каждого проекта:

Профиль проекта= (S_(Tech) ,S_(Market) ,S_(Org) ,S_(Innov) ,S_(Finance) ,S_(Risk) ).

Здесь каждый компонент принимает значения в интервале от  0,1 до 0,9 .

• S_(Tech)  –  технологическая готовность . Уровень развития самой технологии – от исследовательской идеи до серийного производства.

• S_(Market)  –  рыночная готовность . Степень проработанности бизнес-аспектов: есть ли маркетинговые исследования, пилотные клиенты, бизнес-модель.

• S_(Org)  –  организационная готовность . Способность команды стабильно исполнять проект: размер команды, квалификация, опыт.

• S_(Innov)  – инновационность. Уровень научной новизны и интенсивность  R&D : количество патентов, научных публикаций, наличие уникальных ноу-хау.

• S_(Finance)  – финансовая устойчивость. Объем привлеченных инвестиций, текущая выручка компании, прибыльность, финансовые прогнозы.

• S_(Risk)  – контролируемость рисков. Уровень  основных рисков  и наличие планов их  митигации .

Ключевая идея: каждый проект теперь описывается не одним числом, а шестимерным вектором. Это позволяет увидеть, в чем проект сильный, а в чем слабый.

Приведем пример. Компания A разработала инновационную технологию добычи нефти из трудноизвлекаемых запасов. Ее использовала и компания В.

Компания B, несмотря на технически более низкий уровень, имеет лучше сбалансированный профиль, и у нее выше шансы на успех. Компании A требуется срочная помощь в маркетинге и масштабировании команды.

Иерархия метрик

Методика ИНТЦ «ЮНИТИ ПАРК» строит систему показателей по трехуровневой схеме: 1) микрометрики (первичные измеряемые величины) → 2) субиндексы (агрегаты микрометрик) → 3) большие измерения (технологический, рыночный, организационный профили).

Например, для измерения S_(Tech)  могут использоваться микрометрики:

• доля верифицированных требований, %;

• наличие и статус прототипа: 0 – нет; 1 – эскиз; 2 – рабочий образец; 3 – опытный образец;

• результаты испытаний, количество успешных тестов;

• готовность технической документации, %.

Эти микрометрики нормируются и объединяются в субиндекс верификации технологии, который затем входит в большое измерение S_(Tech) .

Такая иерархия обеспечивает прозрачность. Если S_(Tech)  упал (например, провалились испытания), мы сразу видим, что нужно делать.

Ежемесячный сбор данных и траектории

Подход ИНТЦ, в отличие от теоретических методик, базируется на принципах регулярности и непрерывности. Мы не делаем разовую оценку, после которой о проекте забывают до следующего годового отчета. Вместо этого мы предлагаем получать от каждого резидента ежеквартально обновленные данные в структурированном файле. Форма не требует участия экспертов – это фактический отчет о проделанной работе.

За счет этого формируются траектории развития.

Из графика видно:

• темпы развития: проект ускорился  в месяцах 7-8 ;

• прогноз: если темпы сохранятся, через три месяца проект выйдет на TRL 7-8;

• риск: если динамика вдруг упадет, это сигнал проблемы.

Кластеризация проектов по профилям

Для группировки проектов по схожести профилей используется кластерный анализ. Так, на основе отчетов о научно-технологической деятельности можно получить четыре кластера.

Кластер 1 – «Лидеры»:

• средний финальный индекс: 7,3/9;

• характеристика: высокая техническая готовность, отлаженная организация, рынок опробован;

• действия ИНТЦ: минимальная поддержка, в основном консультирование по масштабированию.

Кластер 2 – «Газели»:

• средний финальный индекс: 7,5/9;

• прогресс за период:  +4,5 уровня ;

• характеристика: эффективные небольшие команды с впечатляющим рывком от низкого начального уровня;

• действия ИНТЦ: активная поддержка – помощь в масштабировании команды, наращивании производственных мощностей, поиске инвестиций.

Кластер 3 – «Стабильные»:

• средний финальный индекс: 6,5/9;

• характеристика: опытные компании со средней динамикой, относительно невысокой инновационностью;

• действия ИНТЦ: помощь в поиске новых технологических партнеров, стимулирование R&D, помощь в нахождении рыночных ниш.

Кластер 0 – «Проблемные»:

• средний финальный индекс: 4,0/9;

• прогресс за период:  +1,17 уровня ;

• характеристика: стагнирующие проекты, часто с неясной бизнес-моделью;

• действия ИНТЦ: поставить вопрос о возможной потере статуса либо предложить углубленный аудит и доработку проекта.

Эта сегментация позволяет ИНТЦ:

1. Экономить ресурсы – направлять поддержку туда, где она наиболее эффективна;

2. Предотвращать крахи – вовремя выявлять «проблемные» проекты;

3. Ускорять успешных – дать «газелям» именно то, что им нужно для рывка.

Интегральный индекс качества инновации

Для задач ранжирования проектов резидентов и отбора кандидатов на участие в проекте ИНТЦ использует один интегральный индекс, который агрегирует шесть показателей:

I(t)=0,25⋅ S_(Tech)  +0,25⋅ S_(Market)  +0,15⋅ S_(Org)  +0,15⋅ S_(Innov)  +0,15⋅ S_(Finance)  +0,10⋅ S_(Risk) .

В нем весовые коэффициенты отражают приоритеты ИНТЦ:

• Tech и Market по 25% – технология и рынок одинаково важны. Если одна сторона слаба, проект имеет риски как в части недостаточной технологической проработки, так и с точки зрения перспектив коммерциализации;

• Org, Innov, Finance по 15% – базовые условия успеха. Хорошая команда, научная новизна и финансовая устойчивость критичны, но вторичны по сравнению с технологией и рынком;

• Risk 10% – уровень контролируемости рисков влияет на общую оценку, но менее прямо.

Веса можно пересматривать в зависимости от стратегии ИНТЦ. Например, если стратегия центра фокусируется на инновациях, то он может повысить вес S_(Innov)  до 25%.

Пороги для принятия решений

На основе I(t) ИНТЦ устанавливает пороги для управленческих решений:

Однако ИНТЦ не принимает решения только по одному индексу. Мы обязательно анализируем структуру профиля:

• если I=6,0, но S_(Market)  =2,0 при S_(Tech)  =8,0, то проект требует срочной помощи в маркетинге, даже если интегральный балл хороший;

• если у проекта S_(Risk)  =1,0 (очень высокие риски), то даже при I=7,0 нужны план минимизации рисков и повышенный мониторинг.

Каждому кластеру мы предлагаем специфические формы поддержки:

для «газелей»:

• помощь в масштабировании производства – поиск подрядчиков, оснащение мощностей; 

• консультирование по найму специалистов – HR-помощь, рекрутинг;

• привлечение инвестиций – презентация перед венчурными фондами;

• поддержка в международной сертификации ;

для «стабильных»:

• помощь в выявлении новых рынков – маркетинговые исследования, стратегический консалтинг;

• кооперация с R&D-лидерами – приглашение научных консультантов, доступ к лабораториям;

• финансирование углубленных НИОКР – гранты, субсидии на развитие новых технологий в рамках проекта;

для  «проблемных» :

• пересмотр бизнес-модели – может быть, рынок не там, где компания его ищет;

• техническое переориентирование – возможно ли использовать технологию в смежной нише;

• укрепление управления – часто проблема в слабом менеджменте, а не в технологии;

• рассмотрение вопроса о прекращении контракта и переориентировании ресурсов.

Связь с системой управления качеством 

Методика ИНТЦ «ЮНИТИ ПАРК» изначально разрабатывалась независимо от общероссийской СМК. Но она естественно интегрируется с концепциями, продвигаемыми порталом ProКачество:

1. Многомерность оценки соответствует подходу TQM – качество не сводится к одному параметру, а рассматривается как комплексная система;

2. Непрерывное совершенствование – мониторинг позволяет выявлять проблемы на ранней стадии и корректировать курс проекта по итерациям;

3. Ориентация на клиента;

4. Управление рисками –  системный учет рисков  соответствует принципам risk-based thinking, пропагандируемым ИСО 9001:2015;

5. Данные и процессы – структурированный сбор и анализ данных позволяют принимать решения на основе фактов, а не интуиции.

Вызовы и уроки

1. Субъективизм экспертных оценок. Разработка детальных чек-листов и обучение экспертов помогают унифицировать понимание оценок.

2. Временные лаги. Иногда данные поступали с задержкой или были неполными.

3. Веса в интегральном индексе нужны специфичные для каждого типа проекта. Для IT-стартапа важнее Market и Tech, для производства – Org и Finance. 

4. Абсолютные значения индексов менее важны, чем динамика и профиль. Проект с индексом 5,5, но с резким ростом, часто перспективнее, чем стабильный 6,5, но без прогресса.

5. Нужно выяснять, почему проект отстает. Иногда низкий индекс – это не вина команды, а объективные обстоятельства.

6. Кластеризация – не диагноз, а гипотеза для дальнейшего анализа. Каждый проект в кластере требует индивидуального разбора.

Проект высочайшего технологического уровня может упасть на барьере рынка, финансов или управления. В противовес – простая разработка с блестящей командой и понятным рынком может стать «газелью» и вырасти в успешную компанию.

Мы считаем, что при оценке проектов не стоит полагаться только на TRL и экспертную интуицию, и рекомендуем пересмотреть подход в пользу TPRL.