К ВОПРОСУ О МНОГОКРИТЕРИАЛЬНОМ ЦЕННОСТНОМ ПОДХОДЕ В ГОСУДАРСТВЕННОМ УПРАВЛЕНИИ ИННОВАЦИОННЫМ РАЗВИТИЕМ (ПРОЕКТИРОВАНИЕМ)

Баев Леонид Александрович1, Голиков Олег Александрович2, Правдина Наталья Викторовна3
1Южно-уральский государственный университет, доктор экономический наук, профессор, заведующий кафедрой экономики и управления проектами
2ФГУП «РФЯЦ-ВНИИТФ им. академ. Е.И. Забабахина», заместитель директора по развитию бизнес-направлений
3Южно-уральский государственный университет, доцент кафедры экономики и управления проектами

Аннотация
В статье проводится анализ методик оценки качества развития социально-экономических и инновационных систем. Предлагается пересмотреть методологический подход к такой оценке на базе совмещения принципов самоорганизации и ценностного подхода к проект-ному управлению. В качестве ключевого критерия качества функционирования и развития инновационных систем предлагается использовать вклад инновационной системы в рост эффективности функционирования системы более высокого порядка.

Ключевые слова: принципы самоорганизации, управление инновационным развитием, управление проектами, ценностно-ориентированное управление


TO THE QUESTION ABOUT THE MULTI-CRITERIA VALUE-BASED APPROACH IN STATE MANAGEMENT OF INNOVATION DEVELOPMENT (DESIGN)

Baev Leonid Alexandrovich1, Golikov Oleg Alexandrovich2, Pravdina Natalya Victorovna3
1South Ural State University, Ph.D, Professor, Head of the Department of Economics and project management
2Zababakhin All-Russian Scientific Research Institute of Technical Physics, Deputy director for development of business areas
3South Ural State University, Associate professor at the Department of Economics and project management

Abstract
This article deals with the analysis of methods of quality assessment of socio-economic and innova-tion systems. It is proposed to revise the methodological approach to this assessment on the basis of combining principles of self-organization and value-based approach to the project management. As a key criterion of quality of innovation systems functioning and development, it is proposed to use the contribution of the innovation system to the growth of efficiency of functioning of system of higher order.

Keywords: innovative development management, principles of self-organization, project management, value-based management


Рубрика: 08.00.00 ЭКОНОМИЧЕСКИЕ НАУКИ

Библиографическая ссылка на статью:
Баев Л.А., Голиков О.А., Правдина Н.В. К вопросу о многокритериальном ценностном подходе в государственном управлении инновационным развитием (проектированием) // Современные научные исследования и инновации. 2016. № 1 [Электронный ресурс]. URL: https://web.snauka.ru/issues/2016/01/62273 (дата обращения: 19.04.2024).

Публикация подготовлена в рамках поддержанного РГНФ научного проекта №15-02-00353

Задача инновационного развития российской экономики, в той или иной форме ставилась неоднократно [1-7]. Также неоднократно ставилась задача конверсионного развития оборонного сектора экономики, направленного на высокотехнологичное обновление гражданского производства [8-15].

Однако, несмотря на активные политические посылы, экономические реалии инновационного развития в целом и организации конверсионных инновационных процессов оставляют желать лучшего. Так, по оценке целого ряда специалистов, ни одна из конверсионных программ оборонного комплекса не была выполнена [16-22].

Резонно поставить вопрос поиска причин неудач инновационной конверсии. Среди перечня причин называется многое: от недостаточной политической воли, до вполне традиционного недофинансирования конверсионных программ. Однако многие специалисты, в качестве основной причины указывают на отсутствие или низкую эффективность экономических механизмов инновационного развития на мезо- и микроуровнях [16-19, 21, 22].

Рыночная экономика предполагает конкурентное саморазвитие, как общественного производства в целом, так и инновационных систем, в частности. Вполне естественно, что главная задача государственного управления этими процессами заключается в создании благоприятной среды и эффективных регуляторов процессов саморазвития. При этом очень важную роль играет корректное целеполагание управленческих инициатив и критерии оценки их результатов.

Нам представляется, что решение этих задач может быть конструктивным с позиции методологии проектного управления развитием, базирующегося на простой управленческой логике: «что хотим – что имеем – что нужно делать – что можем сделать – как это сделать наилучшим образом». При этом первые вопросы, на которые следует ответить – это вопросы о том, что такое методология и что такое развитие, ибо уже здесь, среди множества авторов единство мнений отсутствует.

По нашему мнению, под методологией прикладного научного исследования следует понимать совокупность принципов, методов, технологий и методик решения определенного класса подобных задач [23, 24].

Конкретизация методологии с управленческих позиций предполагает выявление и формирование основополагающих принципов, методов, технологий и методик, применительно к управлению, в рамках взаимодействия системы объекта и субъекта управления. Если же говорить о создании механизмов управления процессами самоорганизации и развития, то на первый план выходят принципы развития самоорганизующихся систем [25˗28].

Основополагающими принципами развития самоорганизующихся социально-экономических систем (СЭС) выступают принцип целеполагания, принцип общесистемной приоритетности и принцип эффективности. Первый постулирует объективное наличие у элементов СЭС осознанного целеполагания в соответствии с их интересами, при этом цели элементов системы могут не коррелировать с общесистемными целями. Более того, элементы системы способны предпринимать действия по достижению своих целей вне зависимости от интересов и целей других элементов и системы в целом. Управленческий конструктивизм этого принципа заключается в объективной необходимости изучения и конкретизации совокупности интересов и создании экономических механизмов согласования внутрисистемных целей с общесистемными.

Конструктивность такого подхода подтверждает и принцип общесистемной приоритетности. В соответствии с этим принципом, наиболее жизнеспособными и динамично развивающимися являются те самоорганизующиеся системы, у которых общесистемные интересы преобладают, но не доминируют над внутрисистемными. То есть согласование внутрисистемных интересов с общесистемными безусловно конструктивно, но не в случае принуждения, а в случае соответствующей мотивации элементов системы.

Наиболее значимым в этой триаде является принцип эффективности, ибо он предлагает решение основного вопроса любого управления – вопроса о критерии управления.

Принцип эффективности говорит о том, что даже в отсутствии действенных механизмов управления развитием СЭС эффективность их функционирования объективно растет. Конструктивизм этого принципа заключается в том, что, во-первых, он позволяет конкретизировать развитие как рост эффективности, а, во-вторых, сформировать меру и критерий качества управления развитием СЭС через рост эффективности их функционирования.

Итак, с позиций основополагающих принципов самоорганизации мы должны констатировать, что главным критерием и мерой качества управления развитием СЭС является рост эффективности их функционирования.

В этой связи, представляется интересным оценить качество управления развитием российской экономики.

На рис. 1 приведена динамика прироста внутреннего валового продукта (ВВП) Российской федерации, Казахстана и мира в целом за период с 2004 по 2014 гг. [29].

Оценка динамики роста ВВП, измеряемая в неизменных ценах, позволяет оценить и качество управления развитием экономики страны.

Рис. 1. Динамика ВВП Россий, Казахстана и мира в целом

В соответствии с приведенными цифрами, за рассматриваемый десятилетний период ВВП России увеличился на 48,7%, при этом, например, ВВП Казахстана возрос более, чем в 2 раза.  С позиции корректной оценки качества управления развитием экономики страны, целесообразно сравнить наши темпы с общемировыми. И здесь, к сожалению, мы имеем отставание. Если же учесть, что за рассматриваемый период среднегодовая цена нефти возросла с 37,9 долларов до 99,5 долларов за баррель, то есть более, чем в 2,6 раза, а номинальный ВВП РФ вырос с 591,2 до 2057,0 млрд. долларов, то есть почти в 3,5 раза, качество управления развитием экономики России, как саморазвивающейся системой трудно признать удовлетворительным. Значимые возможности инвестиций в развитие реального сектора экономики были упущены. В значительной степени именно по этой причине не была выполнена, поставленная Президентом РФ В.В. Путиным задача удвоения ВВП за соответствующее десятилетие [30]. Вполне понятно, кризис 2014 -1015 гг. только усугубил ситуацию.

В контексте рассматриваемой в работе проблематики, представляется целесообразным констатировать, что существенную роль в повышении качества управления играет четкая конкретизация главенствующего критерия и средства экономического развития и реальное введение его в ткань механизмов принятия решений и экономического регулирования на всех уровнях экономической системы.

По нашему мнению, главной целью и критерием качества экономического развития должны выступать уровень и темпы роста эффективности производства. Этот критерий в полной мере соответствует политэкономической необходимости увеличения производительности общественного труда, с одно стороны, и ключевым принципам самоорганизации, и закономерностям развития технологических систем, с другой [31].

Рис. 2. Динамика эффективности функционирования инновационной технологии при ее развитии

На рисунке 2 представлена кривая жизненного цикла развития технологии. Наиболее динамичное развитие системы, с позиции эффективности ее функционирования, имеет место на этапе 3 – освоение инновационного потенциала и диффузии инновации. Именно здесь должны создаваться условия, стимулирующие ее развитие, что обеспечит динамичный рост эффективности и ускоренное достижение инновационного потенциала. Этап 4 тоже может способствовать росту эффективности инновационной системы в целом, при достаточно высоком потенциале технологической инновации и ее динамичной диффузии.

Переходя к рассмотрению развития инновационной системы в целом, следует рассмотреть, процессы развития и взаимодействия отдельных технологических решений.

Взаимодействие и смена альтернативных технологий, представлена на рис. 3.

Рис. 3. Процесс развития альтернативных технологий

Рисунок иллюстрирует процесс замещения технологии с меньшим инновационным потенциалом, более прогрессивной альтернативной технологией. В процессе развития, в общем случае, генерируются улучшающие (1), организационные (2) и базисные инновации (3) [32].  Наличие рациональных базисных и организационных инноваций может существенно ускорить процесс достижения инновационного потенциала технологической системы, повысить эффективность общественного производства и приблизить этап реализации инновации базисной. Особенно значимо управление самоорганизацией в зоне А, где без специальных регулирующих воздействий развитие более прогрессивной технологии может быть просто подавлено технологией старой, через рыночную конкуренцию. Реальные условия осуществления такого сценария создает неравенство стартовой эффективности зарождающейся новой технологии, по сравнению с уже развитой старой.

Разработка эффективных механизмов и моделей управления саморазвитием инновационных и социально-экономических систем – это вопрос отдельных исследований.  Здесь же приведенный материал иллюстрирует лишь наше утверждение о том, что главенствующим критерием ценностного проектного управления саморазвитием инновационных систем должен быть критерий роста эффективности производства. Особенно актуальна такая постановка вопроса в странах с низким уровнем эффективности общественного производства и, как следствие с низким уровнем жизни. Вполне понятно, что для нашей экономики, где эти показатели находятся за пределами первой полусотни стран мира такая постановка вопроса более чем обоснована.

В этой связи целесообразно рассмотреть показатели эффективности, которые рекомендуются отечественными методиками для оценки развития территориальных и инновационных образований. На сегодняшний день существует целый ряд методических рекомендаций и указаний в области оценки эффективности инновационного развития различных субъектов экономической деятельности, которые можно разделить на несколько групп, в том числе: рекомендации по разработке и оценке эффективности комплексных программ инновационного развития; рекомендации по оценке эффективности особых экономических зон; рекомендации по оценке эффективности территорий опережающего социально-экономического развития; рекомендации по оценке эффективности бизнес-структур (технопарков, инкубаторов, акселераторов и т.п.).

В таблице 1 представлены материалы и документы, по оценке эффективности инновационного развития социально-экономических систем.

Таблица 1. Перечень материалов и документов по оценке эффективности инновационного развития СЭС

Объекты оценки эффективности

Материалы и документы

Комплексные программы инновационного развития -     Методические материалы по разработке программ инновационного развития акционерных обществ с государственным участием, государственных корпораций и федеральных государственных унитарных предприятий (2011 г.)

-     Методические указания по разработке (актуализации) программ инновационного развития акционерных обществ с государственным участием, государственных корпораций и федеральных государственных унитарных предприятий (2015 г.)

-     Рекомендации по ключевому показателю эффективности инновационной деятельности (2015 г.)

Особые экономические зоны Постановление Правительства РФ от 10 июня 2013 г. N 491 “Об утверждении Правил оценки эффективности функционирования особых экономических зон”
Территории опережающего социально-экономического развития Указ Президента РФ «Об оценке эффективности деятельности органов исполнительной власти субъектов Российской Федерации» от 21.08.2012 № 1199
Технопарки Методика оценки эффективности использования средств федерального бюджета, направляемых на создание технопарков в сфере высоких технологий

Так, к первой группе относятся методические материалы по разработке программ инновационного развития акционерных обществ с государственным участием, государственных корпораций и федеральных государственных унитарных предприятий 2011 г. [33]. Анализ перечня показателей данных материалов был проведен авторами в работе [34]. В результате анализа было констатировано отсутствие показателей эффективности, при расчете которых задействуется не просто результат, а экономический эффект от инновационной деятельности. Данное обстоятельство делает предлагаемую систему показателей неадекватной с позиции главной цели всей инновационной деятельности – обеспечения динамичного роста эффективности общественного производства.

На основе методических материалов по разработке программ инновационного развития акционерных обществ с государственным участием, государственных корпораций и федеральных государственных унитарных предприятий [33] была разработана программа инновационного развития и технологической модернизации ГК «Росатом» на период до 2020 г. [35]. Перечень показателей эффективности программы представлен в таблице 2.

Таблица 2. Ключевые показатели эффективности программы инновационного развития и технологической модернизации ГК «Росатом» на период до 2020 г.

КПЭ из ПИР Госкорпорации

Ед. изм.

Целевое значение КПЭ

2011

2012

2013

2015

2020

Объем финансирования НИОКР

% от выручки

3,9

4,48

4,50

4,50

4,50

Достижение ключевых событий в соответствии с картами проектов Комиссии Президента

да/нет

да

да

да

да

да

Количество международных патентов (страны ЕС, США, Японии и др.) по результатам НИОКР

шт./год

7

9

11

13

15

Количество оформленных секретов производства на результаты интеллектуальной деятельной в научно-технической сфере

шт./год

47

53

59

65

71

Выручка на человека (из расчета на сотрудников НИИ)

тыс. руб. в год

880

1090

1250

1400

3000

Доля финансирования заказов НИОКР в ВУЗах от общего объема финансирования НИОКР

%

2,7

3,5

4

5

10

КИУМ АЭС

%

80

82,2

83,8

84,4

86,6

Сокращение потребления энергоресурсов для всех организаций Госкорпорации

%, накопленным итогом к 2009 г.

10

14,5

20

>25

>30

Доля коллективной дозы облучения населения, обусловленная деятельностью в области использования атомной энергии в Российской Федерации

%

0,05

0,05

0,05

0,04

0,04

Анализ приведенного перечня показателей эффективности, проведенный в рамках работы [34], позволяет констатировать аналогичный недостаток, а именно: отсутствие показателей собственно эффективности, то есть показателей, характеризующих соотношение экономического эффекта и затрат, связанных с инновационной деятельностью, что, очевидно, снижает управленческую ценность всего документа.

В 2015 г. Министерством экономического развития Российской Федерации был разработан и опубликован ряд новых методических рекомендаций, связанных с оценкой реализации программ инновационного развития [36, 37].

Анализ, в частности, новых методических указаний по разработке (актуализации) программ инновационного развития акционерных обществ с государственным участием, государственных корпораций и федеральных государственных унитарных предприятий [36] позволяет констатировать более адекватный подход к формированию перечня показателей эффективности с точки зрения основополагающих принципов развития самоорганизующихся социально-экономических систем. Так, в упомянутых методических указаниях, имеется прямая рекомендация «предусмотреть ключевые показатели эффективности, характеризующие результативность, эффективность, интенсивность и организацию инновационной деятельности в компании» [36, с. 5] путем расчета, помимо прочего, показателя экономической эффективности инвестиций в инновации. При этом конкретная методика расчета данного показателя не представлена.

В рекомендациях по ключевому показателю эффективности инновационной деятельности [37], предлагается рассчитывать «интегральный ключевой показатель эффективности инновационной деятельности как комбинацию до 4-х показателей, 3 из которых должны характеризовать деятельность компании на стадиях жизненного цикла инноваций (разработка/закупка, внедрение/использование, коммерциализация):

1) разработка/закупка: например – объем/доля закупок несырьевой инновационной продукции российского производства у предприятий малого и среднего бизнеса, или объем финансирования НИОКР за счет собственных средств (в % к выручке, без учета бюджетных средств, используемых компанией для проведения НИОКР), или число объектов интеллектуальной собственности (ОИС), созданных за период, или рост стоимости ОИС по сравнению с предыдущим периодом;

2) внедрение/использование: например – соотношение числа ОИС (объем финансирования НИОКР), внедренных в производство, к общему количеству созданных ОИС (объему финансирования НИОКР);

3) коммерциализация: например – доля выручки от экспорта несырьевой (инновационной) продукции в общей выручке компании, или отношение объема продаж инновационных продуктов и лицензий нарастающим итогом к объему инвестиций по завершенным НИОКР нарастающим итогом; или отношение объема операционной прибыли компании от инновационных продуктов и лицензий нарастающим итогом к объему инвестиций по завершенным НИОКР нарастающим итогом; или экономический эффект от разработки (покупки) и внедрения новых технологий и инновационных решений (абсолютный, в млн. руб., и относительно инвестиций в разработку (покупку) и внедрение)» [37, с. 1-2].

Как видим, в составе рекомендуемых показателей присутствуют показатели собственно эффективности, например, «отношение объема операционной прибыли компании от инновационных продуктов и лицензий нарастающим итогом к объему инвестиций по завершенным НИОКР нарастающим итогом» или относительный «экономический эффект от разработки (покупки) и внедрения новых технологий и инновационных решений».

В процессе построение интегрального КПЭ инновационной деятельности, вес приведенных групп показателей рекомендуется на уровне 70% для оговариваемой методикой группы госкомпаний и 100% для прочих госкомпаний. При этом веса между отдельными показателями выделенных групп предлагается назначать с учетом их специфики.

Отмечая безусловное методологическое продвижение предлагаемых показателей к реальной оценке эффективности следует констатировать методическую непроработанность технологий получения как отдельных оценок, так и интегрального критерия. Вопросы разработки корректных технологических решений по оценке таких показателей являются ключевыми методологическими проблемами многокритериальной оценки и управления эффективностью инновационной деятельности. Наиболее распространенными решениями этой задачи является группировка показателей по целевым признакам (социальные, экономические, инновационные и пр.), и формирование групповых обобщающих показателей и интегральных оценок качества развития как суммы пронормированных частных оценок. Введение в эту процедуру весовых коэффициентов, формально повышает качество оценивания, но высокий уровень субъективизма процедур взвешивания, даже в случае использования специальных технологий (теория нечетких множеств, метод анализа иерархий), делает получаемые обобщенные критерии весьма условными, субъективными и размытыми.

Говоря об оценке эффективности особых экономических зон (ОЭЗ) как территорий, призванных обеспечить ускоренное инновационное развитие в соответствующих регионах, необходимо упомянуть Постановление Правительства РФ от 10 июня 2013 г. N 491 “Об утверждении Правил оценки эффективности функционирования особых экономических зон” [38]. В соответствии с правилами показатели эффективности подразделяются на пять групп:

а) абсолютные количественные показатели функционирования особой экономической зоны;

б) относительные количественные показатели, отражающие эффективность деятельности резидентов особой экономической зоны;

в) относительные количественные показатели, отражающие эффективность вложения средств федерального бюджета, бюджетов субъектов Российской Федерации и местных бюджетов в создание объектов инженерной, транспортной, социальной, инновационной и иной инфраструктуры особой экономической зоны;

г) относительные количественные показатели, отражающие влияние функционирования особой экономической зоны на социально- экономическое развитие региона, на территории которого она создана;

д) относительные количественные показатели, отражающие деятельность управляющей компании по исполнению функций по управлению особой экономической зоной и созданию объектов инфраструктуры в соответствии с перечнем объектов инфраструктуры.

Первая группа включает такие показатели как количество резидентов ОЭЗ, количество рабочих мест, количество объектов инженерной инфраструктуры и т.п.

При расчете показателей второй группы предлагается соотносить фактические значения ряда показателей первой группы с их плановыми значениями.

Оценку эффективности вложений бюджетных средств рекомендуется проводить путем соотнесения налоговых и таможенных платежей резидентов ОЭЗ и объема бюджетных средств, направленных на создание инфраструктуры ОЭЗ, что соответствует методологии оценки бюджетной эффективности капитальных вложений.

Для оценки влияния ОЭЗ на социально-экономическое развитие региона предлагается рассчитывать соотношение значений определенных показателей по резидентам ОЭЗ и по территории в целом (например, соотношение количества рабочих мест, созданных резидентами ОЭЗ и численности населения муниципального образования, на территории которого создана особая экономическая зона). Такой подход представляется системно логичным, однако важнейшим условием его конструктивной реализации является корректный выбор показателей сравнения. Так, например, соотношение создаваемых резидентами рабочих мест с общей численностью работающих ориентирует на уменьшение безработицы, а если речь вести только о высокопроизводительных рабочих местах, то здесь уже можно говорить об ориентации на рост эффективности. Однако в последнем случае возникает вопрос о критерии выделения высокопроизводительных рабочих мест, который также может быть назначен весьма валюнтаристически. Общее же количество рабочих мест можно легко измерить. В этой связи важно констатировать, что в условиях многокритериальной оценки показателей функционирования и развития различного рода инновационных систем в качестве КПЭ рекомендуется то, что легко измерить, в ущерб тому, что нужно оценивать и измерять.

Наконец, оценку деятельности управляющей компании ОЭЗ рекомендуется проводить с помощью соотношений фактических и плановых показателей, показателей доли суммарной площади земельных участков, предоставленных в аренду и (или) находящихся в собственности резидентов особой экономической зоны, в общей площади особой экономической зоны и т.д.

Как видим, большинство перечисленных показателей не позволяют оценить собственно эффективность функционирования особой экономической зоны. Исключение составляют только показатели оценки эффективности вложений бюджетных средств, в рамках которых соотносятся доходы бюджета в виде налоговых или таможенных платежей и вложения бюджетных средств в создание инфраструктуры ОЭЗ.

Говоря об оценке эффективности создания и функционирования территорий опережающего социально-экономического развития (ТОСЭР) как инструмента государственной политики, нацеленной на инновационное развитие отдельных регионов и муниципальных образований, следует констатировать отсутствие специальных методических рекомендаций по данному вопросу. Так в работе Мякишевой Е.А. [39] предлагается рассматривать в качестве базового подхода для оценки эффективности ТОСЭР подход, положенный в основу оценки эффективности деятельности органов исполнительной власти субъектов Российской Федерации. Наиболее актуальным в этом плане является Указ Президента РФ «Об оценке эффективности деятельности органов исполнительной власти субъектов Российской Федерации» от 21.08.2012 № 1199 [40].

Перечень, изложенный в Указе, насчитывает 11 показателей, в том числе: ожидаемая продолжительность жизни при рождении; численность населения; объем инвестиций в основной капитал (за исключение бюджетных средств); оборот продукции (услуг), производимой малыми предприятиями, в том числе микропредприятиями, и индивидуальными предпринимателями; объем налоговых и неналоговых доходов консолидированного бюджета субъекта Российской Федерации; уровень безработицы в среднем за год; реальные располагаемые денежные доходы населения; удельный вес введенной общей площади жилых домов по отношению к общей площади жилищного фонда; доля обучающихся в государственных (муниципальных) общеобразовательных организациях, занимающихся в одну смену, в общей численности обучающихся в государственных (муниципальных) общеобразовательных организациях; смертность населения (без показателей смертности от внешних причин); оценка населением деятельности органов исполнительной власти субъекта Российской Федерации.

По мнению Мякишевой Е.А. [39], создание и развитие ТОСЭР в рамках отдельного муниципального образования оказывает влияние на предпринимательский климат, а значит, в конечном итоге, перечисленные показатели характеризуют как деятельность органов исполнительной власти, так и деятельность ТОСЭР.

Далее автор предлагает ввести интегральный показатель эффективности ТОСЭР, учитывающий значения всех представленных в оценках эффективности ТОСЭР абсолютных и относительных показателей, в том числе и их весовых долей в общем объеме:

 

где ki – весовой коэффициент i-й группы показателей в общем их объеме (i=1…n);

pij – весовой коэффициент j-го показателя i-й группы (для каждой группы количество показателей различно);

Oij – оценочный параметр, соответствующий значению j-го показателя i-й группы.

Кроме того, в работе Мякишевой Е.А. разработан алгоритм оценки эффективности ТОСЭР в экономике региона на основе технологии BSC (сбалансированная система показателей), учитывающий возможность и необходимость балансировки социального, экономического, экологического и институционального развития ТОСЭР и региона в целом [39, с. 111].

Приведенная «методика» является примером распространенного среди экономистов подхода к получению интегральных оценок и технологии «сбалансированных» систем показателей «эффективности», о субъективизме и размытости которого мы говорили ранее.

Наглядным примером использования такого рода методик, может быть оценка развития закрытого территориального образования г. Снежинск, проведенная авторами данной работы при разработке комплексной программы развития города и градообразующего предприятия, выполненной в 2014 году [41]. Согласно методике, рекомендованной Госкорпорацией «Росатом», оценка развития города и градообразующего предприятия базируется на расчете простого арифметического среднего индекса роста ряда показателей. При этом индексы стоимостных показателей рассчитываются с учетом задаваемого Росатомом дефлятора.

Сводный индекс развития города оценивается как среднеарифметическое 24 показателей, сведенных в 4 группы, а индекс развития градообразующего предприятия – как среднеарифметическое трех показателей. Для прояснения сути множества подобных подходов рассмотрим эти показатели более подробно.

При расчете сводного индекса развития города 24 разнородных показателя объединяются в четыре группы: индекс качества жизни, индекс состояния городской среды, бюджетный индекс муниципального образования и индекс развития экономики муниципального образования. Индекс качества жизни рассчитывается как среднеарифметическое индексов прироста численности населения муниципального образования, доли экономически активного населения, рождаемости, средней заработной платы по городу, среднего значения суммы обязательных коммунальных платежей, средней обеспеченности населения общей жилой площадью, обеспеченности населения услугами учреждений культуры и отдыха, обеспеченности населения спортивными сооружениями, обеспеченности населения врачами, безработицы и преступности. В процессе расчета сводного индекса качества жизни, индексы роста вышеназванных показателей по годам суммируются и рассчитывается величина простого арифметического среднего. Аналогично рассчитывается индекс состояния городской среды, который объединяет индексы роста средней степени износа жилого фонда, средней степени износа объектов социальной инфраструктуры, доли дорог, подлежащих капитальному ремонты, общей      задолженности муниципальных предприятий перед ресурсоснабжающими организациями, средней заработной платы в бюджетном секторе и объема введенного жилья. Бюджетный индекс муниципального образования рассчитывается как среднеарифметическое индексов доходов бюджета муниципального образования, удельных доходов бюджета на одного жителя и прямых суммарных трансфертов федерального бюджета. И, наконец, индекс развития экономики муниципального образования рассчитывается как среднеарифметическое индексов роста прибыли прибыльных предприятий, доли убыточных предприятий, числа субъектов малого и среднего предпринимательства, зарегистрированных в ЗАТО, доли населения, занятого, на градообразующем предприятии, числа занятых на малых и средних предприятиях.

Индекс развития градообразующего предприятия рассчитывается более прозрачно. Он является функцией индексов роста численности занятых на предприятии, средней заработной платы и начисленных налогов во все уровни бюджетов.

Далее, динамика сводных индексов развития ЗАТО и градообразующего предприятия за отчетный и плановый период сравниваются, делается заключение о существенном опережении развития предприятия по сравнению с городом и необходимости государственных субсидий на развитие города. Абсолютно очевидно, что такой вывод можно было сделать и на базе группировки других показателей. Достаточно было, например, сравнить динамику городского бюджета и «эбиды» предприятия, при желании добавив в методику сравнения еще и показатели динамики средней заработной платы.

Мы сознательно привели этот пример, для того, чтобы обоснованно констатировать, что вопросы построение подобных методик выходит не только за рамки данной статьи, но и за рамки научных интересов ее авторов.

Дело в том, что, по нашему мнению, многокритериальная, сводимая к интегральному критерию методом «от частного к общему», оценка качества развития социально-экономических объектов, будь то город или предприятие, контрпродуктивна в целом. Причины этого следующие.

  1. Множественность и валюнтаризм в выборе показателей, характеризующих качество социально-экономического развития.
  2. Нацеленность разработчиков методик на легко измеримые показатели.
  3. Практическое и теоретическое отсутствие возможности сколь-нибудь объективного сведения множества разнокачественных показателей к интегральному критерию.
  4. Низкая чувствительностью обобщающих показателей к отдельным переменным интегрального критерия и отсутствие возможности выделения главных факторов управляющего воздействия.

С учетом вышесказанного, при разработке концепции создания ТОСЭР в г. Снежинск, в условиях отсутствия официально утвержденных методик, авторы концепции разработали индивидуальный, существенно сокращенный перечень показателей эффективности реализации и развития подобных проектов.

При разработке концепции создания ТОСЭР в ЗАТО г. Снежинск были рассчитаны показатели бюджетной эффективности (соотношение дополнительных налоговых поступлений и вложений бюджетных средств в создание инфраструктуры ТОСЭР), социальной эффективности (количество дополнительных рабочих мест), эффективности для городского округа (прирост инвестиций в проекты резидентов ТОСЭР и прирост объемов промышленного производства в результате создания ТОСЭР).

Выбор авторов концепции тоже далеко не бесспорен, но, безусловно, он значительно более транспарентен и, с позиции проблематики и целей создания ТОСЭР, более конструктивен. Правда и в этой ситуации, проблематика технологий сведения предложенных критериев к интегральной оценке никуда не уходит.

Говоря об оценке эффективности технопарков, целесообразно проанализировать «Методику оценки эффективности использования средств федерального бюджета, направляемых на создание технопарков в сфере высоких технологий», принятую Министерством связи и массовых коммуникаций Российской Федерации [42]. В рамках методики предлагается проводить оценку эффективности с использованием качественных, количественных и макроэкономических критериев. К качественным критериям относятся такие, как: наличие четко сформулированной цели инвестиционного проекта создания технопарка в сфере высоких технологий с определением количественного показателя (показателей) результатов его осуществления; соответствие цели инвестиционного проекта создания технопарка в сфере высоких технологий приоритетам и целям, определенным в прогнозах и программах социально-экономического развития Российской Федерации, государственной программе вооружения, концепциях и стратегиях развития на среднесрочный и долгосрочный и др.

К количественным критериям, в соответствии с методикой, относятся: количество создаваемых (сохраняемых) рабочих мест; доля частных инвестиций в общей стоимости проекта создания технопарка; бюджетная эффективность проекта (возврат федеральных и региональных средств в виде налоговых поступлений); величина сметной стоимости площади 1 кв. м. инвестиционного проекта.

Наконец, макроэкономические критерии: индекс промышленного производства, за период с начала года в процентах к соответствующему периоду прошлого года; инвестиционный потенциал региона; численность персонала, занятого исследованиями разработками; научный потенциал субъекта Российской Федерации; уровень бюджетной обеспеченности до распределения дотаций.

По каждой группе критериев предлагается рассчитать среднее значение с учетом представленных в Методике допустимых баллов оценки. Далее рассчитывается интегральный критерий как средневзвешенная сумма оценок эффективности на основе всех трех групп критериев. При этом по качественным критериям предлагается использовать весовой критерий – 0,3, количественным – 0,4, макроэкономическим – 0,3.

Собственно, эффективность в данной методике измеряется только с помощью критерия «бюджетная эффективность» из всей группы количественных критериев.

Как следует из описания, и методике оценки эффективности технопарков в полной мере присущи недостатки, отмеченные нами ранее.

Авторам статьи представляется, что решение проблемы многокритериальных оценок качества экономического развития лежит не в рамках разработки «более совершенных» методик и алгоритмов, а требует изменения и конкретизации методологических принципов управления инновационными системами.

Соответствующий методологический подход может быть сформирован на базе совмещения принципов самоорганизации и методологии ценностного подхода к проектному управлению.

Существо основополагающих принципов управления развитием самоорганизующихся систем описано ранее. Здесь же остановимся на соответствующей конкретизации ценностного подхода в методологии проектного управления.

Говоря о ценностной концепции проектного подхода к управлению развитием СЭС в целом и инновационных систем, в частности, следует разобраться с его существом [43].

В общем случае можно выделить три трактовки «ценностного подхода» в проектном управлении (рис. 4).

Рис.4. Понятие ценности в проектном управлении

Проведенный авторами исследования анализ подходов позволяет констатировать, что, при безусловной содержательности каждого из вышеприведенных понятий, в управлении саморазвитием СЭС и инновационных систем следует рассматривать управление проектами на основе ценностей.

Ориентируясь на основной принцип самоорганизации – принцип роста эффективности, следует рассматривать интересы и ценности стейкходеров как факторы, определяющие возможности и ограничения увеличения эффективности. При этом проведение ценностного анализа и создания механизмов учета и использования интересов и ценностей стейкхолдеров должно осуществляться с позиций задачи максимизации эффективности функционирования и развития управляемой инновационной системы и ее вклада в рост эффективности общественного производства. Такой подход качественно меняет саму постановку задачи, заменяя задачу формирования обобщенного критерия методом «от частного к общему», на задачу оценки взаимосвязи объективно заданного общего критерия роста эффективности с факторами на него влияющими. Нужно сказать, что, принципиальной новизны в перелагаемом подходе нет. В классической теории проектного управления так и делается: поиск рационального сочетания TCQ – оценок результативности проекта осуществляется с учетом интересов стейкхолдеров. Отличие предлагаемого подхода заключается в том, что, дополнительно акцентируя интересы стейкхолдеров, сторонники ценностного подхода, предлагают заменить множество критериальных оценок в треугольнике «Time-Cost-Quality» (TCQ), на множество оценок в более многомерном пространстве, учитывающем интересы стейкхолдеров, размывая критериальное пространство. Предлагаемый же подход – заменяет треугольник TCQ, на единственный критерий вклада инновационной системы в рост эффективности функционирования системы более высокого порядка (в общем случае – в рост эффективности общественного производства), предельно конкретизируя задачу. И такое решение совершенно оправдано, поскольку задача оптимизации проектного решения в треугольнике TCQ относится к оценке и управлению конкретным проектом, с заданными временными, стоимостными и качественными характеристиками, а задача максимизации вклада инновационной системы в рост эффективности общественного производства – к оценке и управлению ее развитием по общесистемному целевому критерию. Более того, такой подход отвечает принципу общесистемной приоритетности и конкретизирует принцип целеполагания с системных позиций.

Раскрытие существа постановки задачи управления развитием инновационной системы с позиций принципов самоорганизации и ценностного подхода, требует определиться с отношениями инновационной и общеэкономической системой в целом.

Авторам работы представляется, что задача обеспечения сбалансированности развития социально-экономических систем – это самостоятельная задача, связанная и инновационными системами лишь с позиций обеспечения последними роста общесистемной эффективности. То есть, проект-менеджмент по развитию инновационных систем должен решать вполне конкретную задачу максимизации вклада инновационной системы в рост эффективности общественного производства и роста на этой основе бюджетных поступлений, а менеджмент органов государственной власти – решать задачу эффективного использования бюджета, с позиций обеспечения сбалансированного улучшения всей совокупности социально-экономических характеристик.

Такой подход делает задачу управления инновационным развитием совершенно прозрачной и, по сути, однокритериальной.  При этом, безусловно, должны решаться задачи создания экономических механизмов оценки и согласования интересов стейкхолдеров инновационной системы, с одной стороны и создания общесистемных механизмов стимулирования развития инновационной системы, с другой.

Соответствующая предлагаемому подходу концептуальная схема управления инновационным развитием применительно к задаче ТОСЭР приведена на рис. 5.

Рис. 5. Концептуальная схема управления развитием инновационных систем в рамках территорий опережающего социально-экономического развития

Предлагаемый на схеме подход разделяет экономические функции собственно производственно-инновационных систем и функции органов территориального управления. Основной задачей менеджмента инновационной системы является задача максимизации вклада системы в рост эффективности функционирования ТОСЭР. При этом многокритериальная задача эффективной балансировки ресурсных, законодательных ограничений и интересов стейкхолдеров отдается на откуп менеджменту инновационной системы.

Конкретизация методов оценки вклада инновационной системы в рост эффективности функционирования ТОСЭР требует дополнительных исследований, также, как и методы и модели параметризации и балансировки ограничений. На данной этапе исследований заметим лишь, что подход к оценке вклада инновационной системы не должен оцениваться через денежные потоки, поступающие от инновационной системы в бюджеты различных уровней. С позиций регулирования саморазвития системы, может оказаться, что динамика развития потребует сохранения за саморазвивающейся инновационной системой большей части создаваемой ею добавочной стоимости.

Совершенно аналогично должна решаться задача развития ТОСЭР в целом. С одной стороны, органы территориального управления ТОСЭР должны создавать условия для динамичного саморазвития инновационных систем и максимизировать вклад ТОСЭР в рост эффективности функционирования экономики страны в целом, а с другой – обеспечивать должный баланс социального развития территории.

Проведенные исследования позволяют сделать следующие выводы.

  1. Отсутствие единого критерия оценки качества инновационного развития делает задачу управления инновационной деятельностью многокритериальной, размытой и неопределенной.
  2. Многокритериальный подход и построение обобщающего критерия методом «от частного к общему» в принципе не решает задачу корректного построения и оценки единого целевого критерия вследствие субъективного выбора множества частных факторов и принципиального отсутствия объективных методов сведения частных показателей к интегральному критерию.
  3. Конструктивным путем решения задачи системного управления инновационным развитием может быть подход «от общего к частному», объединяющий основные принципы развития самоорганизующихся систем и методологические основы ценностного подхода в проектном управлении.
  4. В соответствии с предлагаемым подходом, единым критерием качества функционирования и развития экономических инновационных систем является критерий вклада инновационной системы в рост эффективности функционирования системы более высокого порядка (территории, страны). При этом многомерные ценностные ориентиры стейкхолдеров проектов развития должны рассматриваться как ограничения в задаче максимизации эффективности.
  5. Указанный подход в полной мере соответствует объективным принципам и закономерностям саморазвития социально-экономических систем, витальным потребностям текущего периода развития и сводит размытую задачу многокритериального управления инновационным развитием, к транспорентной однокритериальной задаче.
  6. Методологические основы управления развитием и инновационных систем более высокого порядка, таких, как например, территории опережающего социально-экономического развития ТОСЭР, также должны постулировать вклад ТОСЭР в рост эффективности общественного производства в целом как основной интегральный критерий, а социально-экономические показатели развития самой ТОСЭР – как систему ограничений.
  7. Для конструктивной реализации сформулированного методологического подхода в рамках создания эффективный систем управления инновационным развитием, необходима разработка методов оценки вклада конкретных инновационных систем в рост эффективности систем более высокого порядка, а также методов и моделей оценки влияния на это внутрисистемных ограничений.

Библиографический список
  1. Федеральный закон от 23 августа 1996 г. N 127-ФЗ “О науке и государственной научно-технической политике” // “Российская газета”. – 1996. – (3 сент.).
  2. Федеральный закон от 2 августа 2009 г. N 217-ФЗ “О внесении изменений в отдельные законодательные акты Российской Федерации по вопросам создания бюджетными научными и образовательными учреждениями хозяйственных обществ в целях практического применения (внедрения) результатов интеллектуальной деятельности” // “Российская газета”. – 2009. – № 39 (1 сент.).
  3. Постановление Правительства РФ от 15 апреля 2014 г. N 301 “Об утверждении государственной программы Российской Федерации “Развитие науки и технологий” на 2013 – 2020 годы” // Собрание законодательства Российской Федерации. – 2014. – № 18 (часть I). – ст. 2150.
  4. Распоряжение Правительства Российской Федерации № 2227-р от 8 декабря 2011 г. «Стратегия инновационного развития Российской Федерации до 2020 г.» [Электронный ресурс]. – Режим доступа: http://minsvyaz.ru/common/upload/2227-pril.pdf, свободный.
  5. Закон Челябинской области от 26 мая 2005 года № 383-ЗО
    «О стимулировании инновационной деятельности в Челябинской области» [Электронный ресурс]. – Режим доступа: http://chelreg-innov.ru/articles/?trolsect=1&element_id=1145, свободный.
  6. Стратегия развития инновационной деятельности в Челябинской области до 2020 года [Электронный ресурс]. – Режим доступа: http://chelreg-innov.ru/articles/?trolsect=1&element_id=1358, свободный.
  7. Паспорт Программы инновационного развития и технологической модернизации Госкорпорации «Росатом» на период до 2020 года (в гражданской части) [Электронный ресурс]. – Режим доступа: http://www.innov-rosatom.ru/news/news_65.html, свободный.
  8. Постановление государственного комитета обороны от 26 мая 1945 г. «О мероприятиях по перестройке промышленности в связи с сокращением производства вооружения» [Электронный ресурс]. – Режим доступа: http://www.teatrskazka.com/Raznoe/PostanovGKO/GKO194505.html, свободный.
  9. Постановление Совета Министров СССР № 2498–1031 от 23 сентября 1953 г. «О порядке утверждения планов опытно-конструкторских и научно-исследовательских работ по вооружению и военной технике, подлежащих выполнению по заказам Министерства обороны СССР» [Электронный ресурс]. – Режим доступа: http://new.rusarchives.ru/secret/bul5/15.shtml, свободный.
  10. Федеральный закон от 20 марта 1992 г. № 2552-1 «О конверсии оборонной промышленности в российской федерации» // «Российская газета. – 1992. – № 97 (27 апр.).
  11. Постановление Правительства Российской Федерации от 26 декабря 1995 года N 1274 «О Федеральной целевой программе конверсии оборонной
    промышленности на 1995 – 1997 годы» // Собрание законодательства Российской Федерации. – 1996. – № 3 (15 янв.).
  12. Федеральный закон от 13 апреля 1998 г. N 60-ФЗ “О конверсии оборонной промышленности в Российской Федерации” // «Российская газета». – 1998. -  № 74, (16 апр.).
  13. Постановление Правительства Российской Федерации от 24 июня 1998 года N 625 «О Федеральной целевой программе реструктуризации и конверсии оборонной промышленности на 1998-2000 годы» [Электронный ресурс] / Электрон. текстовые данные. – Режим доступа: http://docs.cntd.ru/document/901711690, свободный.
  14. Указ Президента РФ от 23.10.2000 № 1768 «О мерах по обеспечению концентрации и рационализации оборонного производства в Российской Федерации» // «Российская газета». – 2000. – № 209, (28 окт.).
  15. Федеральная целевая программа “Реформирование и развитие оборонно-промышленного комплекса (2002-2006 годы)” [Электронный ресурс] / Электрон. текстовые данные. – Режим доступа: http://fcp.economy.gov.ru/cgi-bin/cis/fcp.cgi/Fcp/ViewFcp/View/2006/125, свободный.
  16. Боханов, А.Н. История России. XX век [Текст] / А.Н. Боханов, М.М. Горинов, В.П. Дмитренко. - М.: АСТ, 2001. – 608 с.
  17. Быстрова, И. В. Военно-промышленный комплекс в экономике СССР в годы холодной войны [Электронный ресурс] / И.В. Быстрова. – Электрон. текстовые данные. – Режим доступа: http://http://www.observer.materik.ru, свободный.
  18.  Быстрова, И.В.  Военно-промышленный комплекс СССР в 1920-е – 1980-е гг.: экономические аспекты развития [Текст] / И.В. Быстрова // Экономическая история. Ежегодник 2003. – 2004. – с. 234 – 248.
  19. Дятлов, С.А. Оборонно-промышленный комплекс России как основа инновационного развития экономики страны [Текст] / С.А. Дятлов, Т.А. Селищева // Вестник омского университета. Серия «Экономика». – 2009. – №4. – С.6-20.
  20. Конверсия ВПК: состояние и тенденции. Материалы «Круглого стола» // Клуб «Реалисты»: Информационно-аналитический бюллетень № 27. М., 1996.
  21. Омаров, М.А. Конверсия ВПК в системе государственной политики современной России [Текст]: автореферат дис. на соиск. уч. степени доктора полит. наук (23.00.02) / Магомед Алиевич Омаров. Моск. гос. университет им. М.В. Ломоносова. – Москва, 2010. – 49 с.
  22. Симонов, Н.С. Военно-промышленный комплекс СССР в 1920–1950-е годы: темпы экономического роста, структура, организация производства и управление [Текст] / Н.С. Симонов. – М.: «Российская политическая энциклопедия» (РОССПЭН), 1996. – 336 с.
  23. Новиков, А.М. Что такое методология и почему необходимо учить студентов ее основам / А.М. Новиков, Новиков Д.А. // Специалист. – 2009. – №№ 2,3,4.
  24. Баев, Л.А. Управление производственными запасами: теоретические предпосылки и практика моделирования / Л.А. Баев, Н.С. Дзензелюк, Ю.Н. Тарасов // Проблемы теории и практики управления. – 2014. -  № 1. – с. 101-106.
  25.  Моисеев, Н.Н. Алгоритмы развития / Н.Н. Моисеев. – М.: Наука, 1987 – 303 с.
  26.  Баев, Л.А. Интенсивная самоорганизация экономических систем. Концепция, теория, модели / Л.А. Баев. – Челябинск: ЧГТУ, 1992. – 268с.
  27.  Гиг, Дж. ван.  Прикладная общая теория систем / Дж. Ван Гиг. – Кн. 1. – М.:  Мир. – 1981. -336 с.
  28.  Гиг, Дж. ван.  Прикладная общая теория систем / Дж. Ван Гиг. – Кн. 2. – М.: Мир, 1981. – 735 с.
  29. Показатели стран мира [Электронный ресурс]. – Режим доступа: http://www.ereport.ru/stat.php?razdel=country, свободный.
  30. Послание Президента РФ В.В. Путина Федеральному Собранию РФ от 16 мая 2003 г. // Российская газета. – 2003. – № 93 (17 мая).
  31. Твисс, Б. Управление научно-техническими нововведениями / Б. Твисс. – М.: Экономика. – 1989. – 217 с.
  32. Баев, Л.А. Теоретические аспекты многокритериальной оценки и управления инновационными проектами / Л.А. Баев. О.А. Голиков, М.Г. Литке // Вестник УрФУ. Серия: Экономика и управление. – 2014. - № 6. – с. 19-27.
  33. Распоряжение Министерства экономического развития Российской Федерации от 31.01.2011 г. № 3Р-ОФ «Об утверждении методических материалов по разработке программ инновационного развития акционерных обществ с государственным участием, государственных корпораций и федеральных государственных унитарных предприятий» [Электронный ресурс]. – Режим доступа: http://docs.cntd.ru/document/902306418, свободный.
  34. Баев, Л.А. Ключевые показатели эффективности как элемент механизма целевого управления развитием дочерних инновационных предприятий во взаимодействии с базисными организациями ВПК / Л.А. Баев, О.А. Голиков, Н.В. Правдина // Сборник «Наука ЮУрГУ. 67-я научно-практическая конференция». – Челябинск: Изд-во ЮУрГУ. – с. 536-539.
  35. Паспорт Программы инновационного развития и технологической модернизации Госкорпорации «Росатом» на период до 2020 года (в гражданской части) [Электронный ресурс]. – Режим доступа: http://www.innov-rosatom.ru/news/news_65.html, свободный.
  36. Постановление Правительства РФ от 10 июня 2013 г. N 491 “Об утверждении Правил оценки эффективности функционирования особых экономических зон” // Собрание законодательства Российской Федерации. – 2013. – № 25 (24 июня). – ст. 3155.
  37. Мякишева, Е.А. Методическое обеспечение стратегического управления территорией опережающего социально-экономического развития // Автор. дис. … к.э.н. [Электронный ресурс]. – Режим доступа: http://disser.tsutmb.ru/uploaddocuments/2015/mykisheva/dissertacia-mykisheva.pdf, свободный.
  38. Указ Президента РФ от 21.08.2012 № 1199 «Об оценке эффективности деятельности органов исполнительной власти субъектов Российской Федерации» // Собрание законодательства Российской Федерации. – 2012. – № 35 (27 авг.). – ст. 4774.
  39. Комплексная программа развития ФГУП «РФЯЦ-ВНИИТФ им. академ. Е.И. Забабахина» ЗАТО г. Снежинск на период до 2020 года Электронный ресурс]. ˗ Режим доступа: http://www.snzadm.ru/?art=8131, свободный.
  40. Методика оценки эффективности использования средств федерального бюджета, направляемых на создание технопарков в сфере высоких технологий [Электронный ресурс]. ˗ Режим доступа: http://minsvyaz.ru/uploaded/files/Metodika_otsenki_ispolzovaniya_sredstv, свободный.
  41. Баев, Л.А. Ценностно-ориентированное управление проектами: сущность, задачи, проблемы и возможности / Л.А. Баев, О.А. Голиков, Н.В. Правдина // Экономика и предпринимательство. – Москва. – т. 9. – с. 746-751.
  42. Методические указания по разработке (актуализации) программ инновационного развития акционерных обществ с государственным участием, государственных корпораций и федеральных государственных унитарных предприятий [Электронный ресурс]. – Режим доступа: http://economy.gov.ru/minec/about/structure/depino/201507035473, свободный.
  43. Рекомендации по ключевому показателю эффективности инновационной деятельности, включаемому в долгосрочные программы развития и системы ключевых показателей эффективности, применяемых для мотивации менеджмента госкомпаний [Электронный ресурс]. – Режим доступа: http://economy.gov.ru/minec/about/structure/depino/20150703467, свободный.


Количество просмотров публикации: Please wait

Все статьи автора «Правдина Наталья Викторовна»


© Если вы обнаружили нарушение авторских или смежных прав, пожалуйста, незамедлительно сообщите нам об этом по электронной почте или через форму обратной связи.

Связь с автором (комментарии/рецензии к статье)

Оставить комментарий

Вы должны авторизоваться, чтобы оставить комментарий.

Если Вы еще не зарегистрированы на сайте, то Вам необходимо зарегистрироваться:
  • Регистрация