Измерение вклада наук в социально-экономическое развитие: российские подходы в мировом пространстве идей

Цель данного обзора – представить современное состояние дел в теории и практике измерения вклада науки в социально-экономический прогресс и место отечественных достижений в мировом пространстве идей.

Метод или методология проведения работы. Для исследования полидисциплинарной выборки академических публикаций и «серой литературы» использованы методы многофакторной систематизации, критического анализа, синтетического обобщения в широком контексте («helicopter view»).

Результаты работы. Представлена краткая история проблематики в контексте использования государством науки в качестве инструмента социально-экономического развития. Показаны основные направления развития научной мысли, состояние понятийного аппарата, актуальные подходы к измерению вклада наук, ограничения и риски оценочной практики.

Выводы. Ключевые направления научной мысли в исследуемой области за 100 лет: (1) развитие эконометрических подходов для учета «доходной стороны» науки; (2) попытки выявления и измерения социетальных эффектов науки; (3) научная поддержка экспериментов государства по использованию оценочных технологий для повышения отдачи от инвестиций в науку; (4) концептуализация и универсализация понятий. Ни в одной из этих областей бесспорных решений не найдено, а разочарование во всеобъемлющих индикаторах и универсальных метриках стимулирует разработку адресных методик и подходов, ориентированных на процессы.

Отечественные исследования охватывают весь спектр проблематики, но их известность в мире (за исключением ряда достижений советского времени) невелика. Недостаток институциональной памяти ведет к переоткрытию идей ХХ века. Перспективная задача – установление эквивалентности терминов и подходов, которыми оперировали ученые разных стран и периодов. Это позволит эффективно использовать научное наследие, избежать дублирования исследований и обеспечить российским достижениям справедливое место в мировой науке. 

1. Arimoto T., Sato Y. Rebuilding Public Trust in Science for Policy-Making // Science. 2012. Volume 337. Issue 6099. P. 1176–1177. DOI: 10.1126/science.1224004

2. Ruff K., Olsen S. The Need for Analysts in Social Impact Measurement: How Evaluators Can Help //American Journal of Evaluation. 2018. Volume 39. Issue 3. P. 402–407. DOI: https://doi.org/10.1177/1098214018778809

3. Bornmann L. What Is Societal Impact of Research and How Can It Be Assessed? A Literature Survey // Journal of the American Society for Information Science and Technology. 2013. Volume 64. Issue 2. P. 217–233. DOI: https://doi.org/10.1002/asi.22803

4. De Jong S., Barker K., Cox D., Sveinsdottir T, Van den Besselaar P. Understanding societal impact through studying productive interactions. Working paper 1304. Den Haag: Rathenau Instituut, 2013. 24 p.

5. Penfield T., Baker M.J., Scoble R., Wykes M.C. Assessment, evaluations, and definitions of research impact: A review // Research Evaluation. 2014. Volume 23. Issue 1. P. 21–32. DOI: https://doi.org/10.1093/reseval/rvt021

6. Samuel G.N., Derrick G. Societal Impact Evaluation: Exploring Evaluator Perceptions of the Characterization of Impact Under the REF2014 // Research Evaluation. 2015. Volume 24. Issue. 3. P. 229–241. DOI: https://doi.org/10.1093/reseval/rvv007

7. Paez A. Gray literature: An important resource in systematic reviews // Journal of Evidence-Based Medicine. 2017. Volume 10. Issue 3. P. 233–240. DOI: https://doi.org/10.1111/jebm.12266

8. Павлов Л.П. Серая литература как источник научной и технической информации. М.: Горячая линия – Телеком, 2016. 298 с.

9. Schneider H.W. Science and Social Progress: A Philosophical Introduction to Moral Science. Lancaster, PA: New era printing Company, 1920. 65 p.

10. Bronowski J. Science and Human Values. New York: Harper and Bros., 1956. 94 p.

11. К. Маркс, Ф. Энгельс, В.И. Ленин о науке и технике. Т. 2. Роль науки и техники в развитии общества. М.: Наука, 1985. 480 с.

12. Latour B. Science in Action: How to Follow Scientists and Engineers Through Society. Cambridge, MA: Harvard University Press, 1987. 276 p.

13. Годэн Б. Концептуальные основы научной, технологической и инновационной политики // Форсайт. 2010. Т. 4. № 2. С. 34–43. URL: https://www.elibrary.ru/item.asp?id=16111082

14. Mokyr J. The Gifts of Athena: Historical Origins of the Knowledge Economy. Princeton N.J.: Princeton University Press, 2004. 384 p.

15. Никифоров А.Л. Роль науки в современном обществе // Философия науки и техники. 2014. № 1. С. 38–63. URL: https://www.elibrary.ru/item.asp?id=23150997

16. Наука, общество, государство: история взаимодействия, баланс интересов, взаимная ответственность, современные императивы / Глазьев С.Ю. и др. М.: Колмогоров И. А., 2016. 417 с.

17. Garfield E. Uses and Misuses of Citation Frequency // Essays of an Information Scientist. 1985. Volume 8. P. 403–409.

18. Социальные показатели в системе научно-технической политики: сборник переводов с английского / общ. ред. А.А. Игнатьев и др. М.: Прогресс, 1986. 483 с.

19. Измерение философии. Об основаниях и критериях оценки результативности философских и социогуманитарных исследований / отв. ред. А.В. Рубцов. М.: ИФРАН, 2012. 159 с.

20. Акоев М.А., Маркусова В.А., Москалева О.В., Писляков В.В. Руководство по наукометрии: индикаторы развития науки и технологии. Екатеринбург: Издательство Уральского университета, 2014. 250 с. URL: https://kubsau.ru/upload/science/pub-act/guide_to_scientometrics.pdf (дата обращения: 30.07.2021)

21. Орлов А.И. О показателях эффективности научной деятельности // Экономический анализ: теория и практика. 2014. № 7. С. 21–29. URL: https://www.elibrary.ru/item.asp?id=21161641

22. Миндели Л.Э., Чистякова В.Е. Методологические основы оценки вклада науки в развитие экономики. М.: ИПРАН РАН, 2017. 48 с.

23. Гусев А.Б., Доронина Е.Г., Вершинин И.В., Малахов В.А. Мониторинг и оценка результатов научно-технической деятельности: зарубежный опыт и российская практика // Наука. Инновации. Образование. 2018. № 1. С. 65–91. URL: https://www.elibrary.ru/item.asp?id=32651996

24. Лопатин В.Н. О конкуренции в сфере научной деятельности, критериях ее успешности, стимулах и рейтингах // Российское конкурентное право и экономика. 2018. № 1. С. 12–30. DOI: https://doi.org/10.32686/2542-0259-2018-1-12-30

25. Маркусова В.А. Введение. К 50-летию Science Citation Index: История и развитие наукометрии // Руководство по наукометрии: индикаторы развития науки и технологии. Екатеринбург: Издательство Уральского университета, 2014. С. 14–48. DOI: 10.15826/B978-5-7996-1352-5.0003. URL: https://www.elibrary.ru/item.asp?id=23113820

26. Володарская Е.А. Динамика критериев оценки результативности научных исследований // Социология науки и технологий. 2019. Т. 10. № 2. С. 120–128. DOI: https://doi.org/10.24411/2079-0910-2019-12007

27. Герасименко П.В. Модификации индекса Хирша для дифференцированной оценки результатов творческой деятельности ученых // Управление наукой и наукометрия. 2020. Т. 15. №. 1. С. 55–71. DOI: https://doi.org/10.33873/2686-6706.2020.15-1.55-71

28. Ефанов Д.В., Сапожников В.В. Итерационный подход к формированию настраиваемых наукометрических показателей на основе учета полного множества цитирований работ ученого // Эксперт: теория и практика. 2021. № 3. С. 68–79. DOI: https://doi.org/10.51608/26867818_2021_3_68

29. Акоев М.А., Маркусова В.А., Москалева О.В., Писляков В.В. Руководство по наукометрии: индикаторы развития науки и технологии. Екатеринбург: Издательство Уральского университета, 2021. 358 с.

30. Вернадский В.И. Труды по истории науки в России. М.: Наука, 1988. 467 с.

31. Титаренко М.Л. Мо Ди // Духовная культура Китая: энциклопедия: в 5 т. Т. 1. Философия. М.: Восточная литература, 2006. С. 352–355.

32. Bray F. Science and Civilisation in China. Volume 6, Part II: Agriculture. Cambridge: Cambridge University Press, 1984. 724 p.

33. Гасслер Х., Шибани А. «Непрактичная» наука: как оценить результативность фундаментальных исследований // Форсайт. 2011. Т. 5. № 1. С. 40–47. URL: https://www.elibrary.ru/item.asp?id=15630230

34. Pielke Sr. R.A. In Retrospect: Science – The Endless Frontier // Nature. 2010. Volume 466. Issue 7309. P. 922–923. DOI: https://doi.org/10.1038/466922a

35. Мирский Э.М. Наука как социальный институт // Высшее образование в России. 2004. № 8. С. 89– 108.

36. Böhme G., van den Daele W., Krohn W. Die Finalisierung der Wissenschaft // Zeitschrift für Soziologie. 1973. Jahrgang 2. Heft 2. S. 128–144.

37. Pfetsch F.R. The «Finalization» Debate in Germany: Some Comments and Explanations // Social Studies of Science. 1979. Volume 9. Issue 1. P. 115–124.

38. Баланс народного хозяйства Союза ССР 1923– 24 года. Репринт издания 1926. М.: Республиканский информационно-издательский центр, 1993. 654 с.

39. Леонтьев В.В. Баланс народного хозяйства. Методологический разбор работы ЦСУ // Плановое хозяйство. 1925. № 12. С. 254–258.

40. Дмитриев В.К. Экономические очерки. М.: ГУВШЭ, 2001. 580 с.

41. Струмилин С.Г. Проблемы экономики труда: Очерки и этюды. М.: Вопросы труда, 1925. 224 с.

42. Щербаков А.И., Косолапов В.В., Король Е.В. Наука, ученые и их труд в условиях современной научно-технической революции. Новосибирск: Институт горного дела АН СССР. Сибирское отделение, 1971. 273 с.

43. Волков Г.Н. Истоки и горизонты прогресса. Социологические проблемы развития науки и техники. М.: Политиздат, 1976. 335 с.

44. Sveikauskas L. The contribution of R&D to productivity growth // Monthly Labor Review. Washington: U.S. Bureau of Labor Statistics. March 1986. P. 16–20.

45. Griliches Z. Issues in Assessing the Contribution of Research and Development to Productivity Growth // R&D and Productivity: The Econometric Evidence / Zavi Griliches (ed.). Chicago: University of Chicago Press, 1998. P. 17–45. URL: https://www.nber.org/system/files/chapters/c8340/c8340.pdf (дата обращения: 30.07.2021)

46. Погосов И.А. Факторы долгосрочного экономического роста: научно-технический прогресс и капиталоемкость производства // Проблемы прогнозирования. 2015. № 5. С. 11–16. URL: https://ecfor.ru/publication/nauchno-tehnicheskijprogress-i-kapitaloemkost-proizvodstva/ (дата обращения: 30.07.2021)

47. Verdoorn P.J. Factors that Determine the Growth of Labour Productivity // Productivity Growth and Economic Performance / McCombie J., Pugno M., Soro B. (Eds.). London: Palgrave Macmillan, 2002. P. 28–36.

48. Acemoglu D. Introduction to Modern Economic Growth. Princeton: Princeton University Press, 2008. 1248 p.

49. Скворцова В.А., Скворцов А.О. Знания как экономический ресурс // Известия высших учебных заведений. Поволжский регион. Экономические науки. 2014. №. 1. С. 12–21. URL: https://cyberleninka.ru/article/n/znaniya-kak-ekonomicheskiy-resurs-1 (дата обращения: 30.07.2021)

50. Ильин В.А., Гулин К.А., Ускова Т.В. Стратегические резервы роста производительности труда в региональной экономике // Экономические и социальные перемены: факты, тенденции, прогноз. 2010. № 1(9). С. 24–38. URL: https://www.elibrary.ru/item.asp?id=13081721

51. Симачев Ю.В., Кузык М.Г., Федюнина А.А., Зайцев А.А., Юревич М.А. Производительность труда в несырьевых секторах российской экономики: факторы роста на уровне компаний // Вопросы экономики. 2021. № 3. С. 31–67. DOI: https://doi.org/10.32609/0042-8736-2021-3-31-67

52. Екимова Н.А. Факторы и резервы роста производительности труда в России: концепции и количественные оценки // Вестник УрФУ. Серия экономика и управление. 2019 Том 18. № 6. С. 944–966. DOI: https://doi.org/10.15826/vestnik.2019.18.6.046

53. Bush V. Science – The Endless Frontier. A Report to the President on a program for postwar scientific research (Washington: United States Government Printing Office, 1945). Reprint. Washington, DC: National Science Foundation, 1960. 256 p. URL: https://archive.org/details/scienceendlessfr00unit/page/n15/mode/2up (дата обращения: 30.07.2021)

54. Гиндилис Н.Л. Из истории советского науковедения: 70-е годы // Науковедческие исследования. 2012. № 2012. С. 161–215. URL: https://www.elibrary.ru/item.asp?id=18280269

55. Гиндилис Н.Л. Из истории советского науковедения: 80-е годы // Науковедческие исследования. 2013. № 2013. С. 171–214. URL: https://www.elibrary.ru/item.asp?id=20958871

56. Гиндилис Н.Л. Становление и развитие науковедения в ХХ веке // Социология науки и технологий. 2015. Т. 6. №. 1. С. 98–104. URL: https://www.elibrary.ru/item.asp?id=23733395

57. Канторович Л.В. Математика в экономике: достижения, трудности, перспективы: Лекция в Шведской королевской академии наук в связи с присуждением Нобелевской премии за 1975 год // Экономика и организация промышленного производства (ЭКО). 1976. № 3. С. 124–134.

58. Канторович Л.В., Гавурин М.К. Математика и экономика – взаимопроникновение наук // Вестник Ленинградского университета. Серия 1: Математика, механика, астрономия, 1977. Т. 13. № 3. С. 31–38.

59. Кутателадзе С.С. Идеи Канторовича и современность // Сибирские электронные математические известия. 2012. Т. 9. С. А1–А6. URL: http://www.mathnet.ru/links/29212a1f819a35ce6e1fc774e28 1b27c/semr339.pdf (дата обращения: 30.07.2021)

60. Garfield E. Citation Indexes for Science: A New Dimension in Documentation through Association of Ideas // Science. 1955. Volume 122. Issue 3159. P. 108–111.

61. Налимов В.В. Количественные методы исследования процесса развития науки // Вопросы философии. 1966. № 12. С. 38–47.

62. Налимов В.В., Мульченко З.М. Наукометрия. Изучение развития науки как информационного процесса. М.: Наука, 1969. 192 с.

63. Weinberg A.M. Impact of Large-Scale Science on the United States // Science. 1961. Volume 134. № 3473. P. 161–164.

64. Price D.J.S. Little science, big science. New York: Columbia University Press, 1963. 119 p.

65. Price D.J.S. Little science, big science… and beyond. New York: Columbia University Press, 1986. 301 p.

66. Ленчук Е.Б., Войтоловский Ф.Г., Кувалин Д.Б. Стратегическое планирование в государственном управлении: опыт, возможности и перспективы // Проблемы прогнозирования. 2020. № 6. С. 46–55. DOI: https://doi.org/10.47711/0868-6351-183-46-55

67. Полтерович В.М. Реформа государственной системы проектной деятельности, 2018–2019 годы // Terra Economicus. 2020. Т. 18. № 1. С. 6–27. DOI: https://doi.org/10.18522/2073-6606-2020-18-1-6-27

68. Миндели Л.Э., Остапюк С.Ф., Фетисов В.П. Роль мониторинга в стратегическом планировании научно-технологического развития // Инновации. 2019. № 3. С. 25–32. URL: https://www.elibrary.ru/item.asp?id=39145567

69. Попова С.М. От менеджериализма к «медленной науке»: что полезного может дать опыт Нидерландов? // Политика и Общество. 2019. № 6. С. 41–54. DOI: https://doi.org/10.7256/2454-0684.2019.6.31714

70. Sen A. Development as Freedom. New York: Alfred A. Knopf, 1999. 366 p. 71. Степашин С.В. Государственный аудит и экономика будущего. М.: Наука, 2008. 608 с.

71. Stiglitz J., Sen A., Fitoussi, J.-P. Mismeasuring Our Lives: Why GDP Doesn’t Add Up. New York: New Press, 2010. 176 p.

72. Кислицына О.А. Подходы к измерению прогресса и качества жизни (благополучия) // Экономический анализ: теория и практика. 2016. № 10(457). С. 28–38. URL: https://www.elibrary.ru/item.asp?id=27187218

73. Миндели Л.Э., Чистякова В.Е. Совершенствование методологии учета затрат и измерения результатов НИОКР // Инновации. 2013. № 9. С. 36–42. URL: https://www.elibrary.ru/item.asp?id=22017415

74. Buxton M., Hanney S. How can payback from health services research be assessed? // Journal of Health Service Research and Policy. 1996. Volume 1. Issue 1. P. 35–43.

75. Buxton M., Hanney S., Jones T. Estimating the economic value to societies of the impact of health research: a critical review // Bulletin of the World Health Organization. 2004. Issue 82. P. 733–739. URL: https://www.who.int/bulletin/volumes/82/10/733.pdf (дата обращения: 30.07.2021)

76. Thomas D.A., Nedeva M., Tirado M.M., Jacob M. Changing research on research evaluation: A critical literature review to revisit the agenda // Research Evaluation. 2020. Volume 29. Issue 3. P. 275–288. DOI: https://doi.org/10.1093/reseval/rvaa008

77. Щербаков А.И. Эффективность научной деятельности в СССР: Методологический аспект. М.: Экономика, 1982. 223 с.

78. Godin B., Doré C. Measuring the impacts of science; beyond the economic dimension. Quebec: Department of Research, Science and Technology, 2005. 44 p.

79. Осипов Г.В., Климовицкий С.В. Индикаторы науки и технологии: история, методология, стандарты измерения. М.: ИСПИ РАН, 2014. 180 с.

80. Осипов Г.В., Климовицкий С.В. Оценка общественной эффективности фундаментальных научных исследований // Социально-гуманитарные знания. 2014. № 5. С. 54–62. URL: https://www.elibrary.ru/item.asp?id=22138582

81. Бухарин Н.И. Борьба двух миров и задачи науки. М.; Л.: Гос. соц.-экон. изд-во, 1931. 31 с.

82. Тощенко Ж.Т., Аитов Н.А., Лапин Н.И. Социальное проектирование. М.: Мысль, 1982. 254 с.

83. Голосовский С.И. Эффективность научных исследований в промышленности. М.: Экономика, 1986. 159 с.

84. Muhonen R., Benneworth P., Olmos-Peñuela J. From productive interactions to impact pathways: Understanding the key dimensions in developing SSH research societal impact // Research Evaluation. 2020. Volume 29. Issue 1. P. 34–47. DOI: https://doi.org/10.1093/reseval/rvz003

85. Molas J., Salter A.J., Patel P., Scott A., Duran X. Measuring Third Stream Activities. Falmer, UK: University of Sussex, 2002. 89 p.

86. Зиневич О.В., Балмасова Т.А. «Третья миссия» и социальная вовлеченность университетов: к постановке проблемы // Власть. 2015. №. 6. С. 67–72. URL: https://www.elibrary.ru/item.asp?id=23888341

87. MacFadden B.J. Broader Impacts of Science on Society. Cambridge: Cambridge University Press, 2019. 320 p.

88. Sivertsen G., Meijer I. Normal versus extraordinary societal impact: how to understand, evaluate, and improve research activities in their relations to society? // Research Evaluation. 2020. Volume 29. Issue. 1. P. 66–70. DOI: https://doi.org/10.1093/reseval/rvz032

89. De Jong S.P.L., Muhonen R. Who benefits from ex ante societal impact evaluation in the European funding arena? A cross-country comparison of societal impact capacity in the social sciences and humanities // Research Evaluation. 2020. Volume 29. Issue 1. P. 22–33. DOI: https://doi.org/10.1093/reseval/rvy036

90. Mayne J. Useful Theory of .Change Models // Canadian Journal of Program Evaluation. 2015. Issue 30. P. 119–142. DOI: https://doi.org/10.3138/cjpe.230

91. Boshoff N., de Jong S.P.L. Conceptualizing the societal impact of research in terms of elements of logic models: a survey of researchers in sub-Saharan Africa // Research Evaluation. 2020. Volume 29. Issue 1. P. 48–65. DOI: https://doi.org/10.1093/RESEVAL/RVZ020

92. Reed M.S., Ferré M., Martin-Ortega J., Blanche R., Lawford-Rolfe R., Dallimer M., Holden J. Evaluating impact from research: A methodological framework // Research Policy. 2021. Volume 50. Issue 4. Article 104147. DOI: https://doi.org/10.1016/j.respol.2020.104147

93. Подуфалов Н.Д., Ханнанов Н.К. Разработка подходов к анализу эффективности научных исследований в РАО (на примере мониторинга результатов исследований 2007–2008 гг.) // Проблемы современного образования. 2011. № 2. С. 78–98. URL: https://www.elibrary.ru/item.asp?id=16341113

94. Грицкевич О.В. Экономический, социальный и экологический эффекты от инновационных программ в современной России // Интерэкспо Гео-Сибирь. 2014. № 1. С.113–117. URL: https://www.elibrary.ru/item.asp?id=21456471

95. Watson P., Wilson J., Thilmany D., Winter S. Determining Economic Contributions and Impacts: What is the difference and why do we care? // The Journal of Regional Analysis & Policy. 2007. Volume 37. Issue 2. P. 7–19. URL: https://jrap.scholasticahq.com/article/9291 (дата обращения: 30.07.2021)

96. Миркин Б.Г. О понятии научного вклада и его измерителях // Управление большими системами. 2013. № 44. С. 292–307. URL: https://www.elibrary.ru/item.asp?id=20363660

97. Щербин В. Научные знания: товар или общественное благо? // Наука и инновации. 2010. Т. 9. №. 91. С. 66–69. URL: https://www.elibrary.ru/item.asp?id=28826091

98. Лебединцева Л.А. К вопросу об оценке результатов интеллектуального труда в науке // Проблемы современной экономики. 2012. № 1(41). С. 365–369. URL: https://www.elibrary.ru/item.asp?id=17924742

99. Касавин И.Т. Наука как общественное благо // Вестник Томского государственного университета. Философия. Социология. Политология. 2021. № 60. С. 217–227. DOI: https://doi.org/10.17223/1998863X/60/19

100. Макаров В.Л. Экономика знаний: уроки для России // Вестник Российской академии наук. 2003. Т. 73. № 5. С. 450–456. URL: https://www.elibrary.ru/item.asp?id=17184733

101. Цыбулевский С.Е., Муракаев И.М. К вопросу о влиянии космической деятельности на социально-экономическое состояние общества и генерацию общественных благ // Московский экономический журнал. 2019. № 4. С. 4. DOI: 10.24411/2413-046X-2019-14004. URL: https://www.elibrary.ru/item.asp?id=37341607

102. Пайсон Д.Б. Особенности применения категории общественного блага к анализу результативности и институционального оформления космической деятельности // Теоретическая и прикладная экономика. 2018. № 4. С. 1–20. DOI: https://doi.org/10.25136/2409-8647.2018.4.27646

103. Chen H.-T. Theory-driven evaluations: Need, difficulties and options // Evaluation Practice. 1994. Volume 15. Issue 1. P. 79–82.

104. Weiss C.H. Theory-based evaluation: Past, present, and future // New Directions for Evaluation. 1997. Issue 76. P. 41–55.

105. Rogers P., Weiss C.H. Theory-based evaluation: Reflections ten years on: Theory-based evaluation: Past, present, and future // New Directions for Evaluation. 2007. Volume 2007. Issue 114. P. 63– 81. DOI: https://doi.org/10.1002/ev.225

106. Иванова Н., Савченко Н. Как оценить эффективность НИОКР // Экономика и жизнь. 2019. № 8(9774). URL: https://www.eg-online.ru/article/394831/ (дата обращения: 30.07.2021)

107. Медведев В.Ю., Гаспарян Э.Г., Панкова А.Р. Эффективность и результативность: соотношение понятий и методы их оценки // Молодой ученый. 2021. № 11. С. 64–65. URL: https://moluch.ru/archive/353/79184/ (дата обращения: 30.07.2021)

108. Акоев М.А. Наука, технология и общество // Руководство по наукометрии: индикаторы развития науки и технологии. Екатеринбург: Издательство Уральского университета, 2014. С. 49–74.

109. Zhuo L., Lu Y., Deng X. Study on the Contribution Rate of Scientific and Technological Progress to Economic Growth in a Coal Enterprise // Xu J., Nickel S., Machado V., Hajiyev A. (Eds.). Proceedings of the Ninth International Conference on Management Science and Engineering Management. Advances in Intelligent Systems and Computing. Volume 362. Berlin, Heidelberg: Springer, 2015. P. 1319–1328. DOI: https://doi.org/10.1007/978-3-662-47241- 5_111

110. Сухарев О.С. «Экономика знаний» и её вклад в формирование темпов экономического роста // Общество и экономика. 2020. № 1. С. 22–37. DOI: https://doi.org/10.31857/S020736760008028-9

111. Bozeman B., Rogers J.D. A churn model of scientific knowledge value: Internet researchers as a knowledge value collective // Research Policy. 2002. Issue 31. P. 769–794. DOI: http://doi.org/10.1016/S0048-7333(01)00146-9

112. Boldov O.N. The correlation between economic growth and national wealth dynamics with accounting for intangible capital // Studies on Russian Economic Development. 2010. Volume 21. Issue 2. P. 124–131. DOI: https://doi.org/10.1134/S1075700710020024

113. Абдикеев Н.М., Гринева Н.В. Модели стоимостной оценки интеллектуального капитала организаций в условиях цифровой трансформации // Проблемы экономики и юридической практики. 2020. № 6. С. 23–30. URL: https://urvak.ru/articles/probl-9992-vypusk-6-modeli-stoimostnoyotsenki-int/ (дата обращения: 30.07.2021)

114. Jardon C.M., Martinez-Cobas X. Measuring intellectual capital with financial data // PLoS ONE. 2021. Volume 16. Issue 5. Article e0249989. DOI: https://doi.org/10.1371/journal.pone.0249989

115. Лукашов В.Н., Лукашов Н.В., Слепинина А.К. Совершенствование методологии экономической оценки фундаментальных ориентированных исследований // Инновации. 2016. № 12. С. 55–66. URL: https://maginnov.ru/ru/zhurnal/arhiv/2016/innovacii-n12-2016/sovershenstvovanie-metodologii-ekonomicheskojocenki-fundamentalnyh-orientirovannyhissledovanij (дата обращения: 30.07.2021)

116. Покровский В.А. Повышение эффективности научных исследований и разработок. М.: Экономика, 1978. 199 с.

117. Вегер Л.Л. Экономический эффект и управление НИОКР. М.: Наука, 1985. 132 с.

118. Экономическое стимулирование разработок и внедрение новой техники / под ред. К.Ф. Пузыни. Л.: Издательство ЛИЭИ, 1987. 159 с.

119. Беляков С.А., Краснова Г.А. Оценка вклада системы образования в социально-экономическое развитие региона: международные тенденции и российский опыт // Университетское управление: практика и анализ. 2016. № 3. С. 8–15. DOI: https://doi.org/10.15826/umj.2016.103.011

120. Курбатова М.В. Каган Е.С. Роль университетов в формировании научно-технического потенциала и в развитии регионов Российской Федерации // Университетское управление: практика и анализ. 2017. Т. 21. № 5. С. 74–81. DOI: https://doi.org/10.15826/umpa.2017.05.063

121. Кранзеева Е.А. Новые модели университетов: вклад в региональное развитие // Университетское управление: практика и анализ. 2017. Т. 21. № 5. С. 64–73. DOI: https://doi.org/10.15826/umpa.2017.05.062

122. Унтура Г.А. Оценка влияния человеческого капитала на экономический рост российских регионов в условиях финансовых ограничений // Пространственная экономика. 2019. Т. 15. №. 1. С. 109–133. DOI: https://doi.org/10.14530/se.2019.1.107-131

123. Weiss C.H., Connell J.P. Nothing as Practical as Good Theory: Exploring Theory-Based Evaluation for Comprehensive Community Initiatives for Children and Families // New Approaches to Evaluating Community Initiatives: Concepts, Methods, and Contexts / Connell J. et al. (Eds.). Washington, DC: Aspen Institute, 1995. P. 65–92.

124. Ebrahim A., Rangan V.R. What Impact? A Framework for Measuring the Scale & Scope of Social Performance // California Management Review. 2014. Volume 56. Issue 3. P. 118–141. DOI: https://doi.org/10.1525/cmr.2014.56.3.118

125. Reale E., Avramov D., Canhial K., Donovan C., Flecha R., Holm P., Larkin C., Lepori B., MosoniFried J., Oliver E., Primeri E., Puigvert L., Scharnhorst A., Schubert A., Soler M, Soòs S., Sordé T., Travis C., van Horik R. A review of literature on evaluating the scientific, social and political impact of social sciences and humanities research // Research Evaluation. 2018. Volume 27. Issue 4. P. 298–308. DOI: https://doi.org/10.1093/reseval/rvx025

126. Díaz Mariño B.L., Caballero-Rico F.C., Roque Hernández R.V., Ramírez de León J.A., GonzálezBandala D.A. Towards the Construction of Productive Interactions for Social Impact // Sustainability. 2021. Volume 13. Issue 2. Article 485. DOI: https://doi.org/10.3390/su13020485

127. Belcher B.M., Davel R., Clausa R. A refined method for theory-based evaluation of the societal impacts of research // MethodsX. 2020. Volume 7. Article 100788. DOI: https://doi.org/10.1016/j.mex.2020.100788

128. Кузьмин А.И., Кошелева Н.А. Теория изменений: общие рекомендации к применению (из опыта БДФ «Виктория»). М.: Проспект, 2014. 59 с. URL: https://victoriacf.ru/wp-content/uploads/2012/12/909.pdf (дата обращения: 30.07.2021)

129. Кузнецова С.В. Проблемы оценки социальных результатов и эффектов деятельности социальных предприятий // Московский экономический журнал. 2021. № 3. URL: https://qje.su/en/ekonomicheskaya-teoriya/moskovskijekonomicheskij-zhurnal-3-2021-57/ (дата обращения: 30.07.2021)

130. Mayne J. Contribution Analysis: An Approach to Exploring Cause and Effect // ILAC Brief. 2008. Issue 16. P. 1–4. URL: https://www.betterevaluation.org/sites/default/files/ILAC_Brief16_Contribution_Analysis.pdf (дата обращения: 30.07.2021)

131. Mayne J. Contribution analysis: Coming of age? // Evaluation. 2012. Volume 18. Issue 3. P. 270–280. DOI: https://doi.org/10.1177/1356389012451663

132. Mayne J. Linking Evaluation to Expenditure Reviews: Not Realistic Nor a Good Idea // Canadian Journal of Program Evaluation. 2018. Volume 32. Issue 3. P. 316–326. DOI: https://doi:10.3138/cjpe.43178

133. Mayne J. Revisiting Contribution Analysis // Canadian Journal of Program Evaluation. 2019. Volume 34. Issue 2. P. 171–191. DOI: https://doi:10.3138/cjpe.68004

134. Kok M.O., Schuit A.J. Contribution mapping: a method for mapping the contribution of research to enhance its impact // Health Research Policy and Systems. 2012. Volume 10. Issue. 1. P. 21–37. DOI: https://doi.org/10.1186/1478-4505-10-21

135. Morton S. Creating Research Impact: The Roles of Research Users in Interactive Research Mobilisation // Evidence and Policy. 2015. Volume 11. Issue 1. P. 35–55. DOI: https://doi.org/10.1332/174426514X13976529631798

136. Morton S. Progressing research impact assessment: A ‘contributions’ approach // Research Evaluation. 2015. Volume 24. Issue 4. P. 405–419. DOI: https://doi.org/10.1093/reseval/rvv016

137. Phipps D., Morton S. Qualities of knowledge brokers: reflections from practice // Evidence & Policy. 2013. Volume 9. Issue 2. P. 255–265. DOI: https://doi.org/10.1332/174426413X667784

138. Tanner S. Measuring the Impact of Digital Resources: The Balanced Value Impact Model. London: King's College, 2012. 112 p.

139. Bozeman B. Public value mapping of science outcomes: theory and method // Knowledge Flows and Knowledge Collectives: Understanding the Role of Science & Technology Policies in Development. 2003. Volume 2. Issue1. P. 3–48. URL: https://cord.asu.edu/sites/default/files/wpcontent/uploads/2015/02/Bozeman-B.-2003.pdf (дата обращения: 30.07.2021)

140. Spaapen J., van Drooge L. Introducing «Productive Interactions» in Social Impact Assessment // Research Evaluation. 2011. Volume 20. Issue 3. P. 211–218. DOI: https://doi.org/10.3152/095820211X12941371876742

141. Molas-Gallart J., Tang P. Tracing «productive interactions» to identify social impacts; an example from the social sciences // Research Evaluation. 2011. Volume 20. Issue 3. P. 219–226. DOI: https://doi.org/10.3152/095820211X12941371876706

142. Wolf B., Lindenthal T., Szerencsits M., Holbrook J.B., Heß J. Evaluating Research beyond Scientific Impact. How to Include Criteria for Productive Interactions and Impact on Practice and Society // GAIA – Ecological Perspectives on Science and Society. 2013. Volume 22. Issue. 2. P. 104–114. DOI: https://doi.org/10.14512/gaia.22.2.9

143. De Jong S., Barker K., Cox D., Sveinsdottir T, Van den Besselaar P. Understanding societal impact through studying productive interactions. Den Haag: Rathenau Instituut, 2013. 24 p.

144. Калужский А.Д. Об оценке эффективности функционирования систем: метод дискретной эффектометрии // Национальная ассоциация ученых. 2021. № 65. С. 24–29. DOI: https://doi.org/10.31618/nas.2413-5291.2021.4.65.398

145. Sindyashkina E.N. An assessment of the forms of social effect when implementing investment projects // Studies on Russian Economic Development. 2010. Issue 21. P. 99–103. DOI: https://doi.org/10.1134/S1075700710010107

146. Игнатьева Г.А., Крайникова М.Н., Матукина А.Н. Социальные эффекты проектно-сетевого института инновационного образования как прообразы новой общественной практики // Интеграция образования. 2014. № 3. С. 12–18. URL: http://edumag.mrsu.ru/index.php/ru/articles/32-14-3/99-10-15507-inted-076-018-201403-012 (дата обращения: 30.07.2021)

147. Хайруллин В.А., Терехов И.Г., Огнева А.С. Метод расчёта социального эффекта в ходе реализации инвестиционно-строительного процесса // Интернет-журнал Науковедение. 2013. № 4. URL: https://naukovedenie.ru/PDF/59evn413.pdf (дата обращения: 30.07.2021)

148. Иващенко Н.П., Булыгина Н.И. К вопросу об эффективности поддержки социального предпринимательства в России // Вестник Московского университета. Серия 6. Экономика. 2019. № 3. С. 127–154. DOI: https://doi.org/10.38050/01300105201938. URL: https://msuecon.elpub.ru/jour/article/view/534 (дата обращения: 30.07.2021)

149. Nelson R. The agenda for growth theory: A different point of view // Cambridge Journal of Economics. 1998. Volume 22. № 4. P. 497–520.

150. Писаренко Э.Е. Патриарх отечественного обществоведения // Вестник Российской академии наук. 1999. Т. 69. № 1. С. 50–56.

151. Юревич А.В., Цапенко И.П. Еще раз об оценке мирового вклада российской науки // Наука. Инновации. Образование. 2013. № 13. С. 60–83. URL: https://sie-journal.ru/eshhe-razob-oczenke-mirovogo-vklada-rossijskoj-nauki (дата обращения: 30.07.2021)

152. Пипия Л.К., Дорогокупец В.С. К вопросу об оценке результатов научной деятельности // Инновации. 2017. № 1. С. 39–45. URL: https://maginnov.ru/assets/files/volumes/2017.01/k-voprosu-obocenke-rezultatov-nauchnoj-deyatelnosti.pdf (дата обращения: 30.07.2021)

153. Иванчик А.И. Особенности оценки исследователей и исследовательских программ в гуманитарных науках // Вестник Российской академии наук. 2018. Т. 88. № 11. С. 985–991. DOI: 10.31857/S086958730002331-2. URL: https://www.elibrary.ru/item.asp?id=36516354

154. Лукашов В.Н., Лукашов Н.В., Слепинина А.К. Анализ подходов к экономической оценке фундаментальных исследований в рамках полных инновационных проектов // Инновации. 2016. № 9. С. 55–61. URL: http://maginnov.ru/ru/zhurnal/arhiv/2016/innovacii-n9-2016/analiz-podhodovk-ekonomicheskoj-ocenke-fundamentalnyhissledovanij-v-ramkah-polnyh-innovacionnyhproektov (дата обращения: 30.07.2021)

155. Бабиюк Г.В. Основы научных исследований. Алчевск: ДонГТУ, 2007. 247 с.

156. Петровский А.Б., Тихонов И.П. Фундаментальные исследования, ориентированные на практический результат: подходы к оценке эффективности // Вестник Российской академии наук. 2009. Т. 79. № 11. С. 1006–1011. URL: https://www.elibrary.ru/item.asp?id=12989691

157. Усольцев И.А. Концептуальные основы оценки потенциала интеллектуальных продуктов научной сферы // Журнал экономической теории. 2011. № 2. С. 159–163. URL: https://www.elibrary.ru/item.asp?id=16538154

158. Трошин Д.В. Метод оценки результатов научно-исследовательских работ // Экономический анализ: теория и практика. 2014. № 46(397). С. 50–59. URL: https://www.elibrary.ru/item.asp?id=22565418

159. Pedersen D.B., Grønvad J.F., Hvidtfeldt R. Methods for mapping the impact of social sciences and humanities – A literature review // Research Evaluation. 2020. Volume 29. Issue 1. P. 4–21. DOI: https://doi.org/10.1093/reseval/rvz033

160. Spaapen J., Sivertsen G. Assessing societal impact of SSH in an engaging world: focus on productive interaction, creative pathways and enhanced visibility of SSH research // Research Evaluation. 2020. Volume 29. Issue 1. P. 1–3. DOI: https://doi.org/10.1093/reseval/rvz035

161. Горшков М.К., Черныш М.Ф. О критериях оценки результативности деятельности научных организаций и ученых в области общественных наук // Образование и наука в России: Состояние и потенциал развития. 2018. № 3. С. 663–677. URL: https://elibrary.ru/download/elibrary_36721372_84018685.pdfhttps://elibrary.ru/download/elibrary_36721372_84018685.pdf (дата обращения: 30.07.2021)

162. Татаринов Ю.Б. Количественная и качественная оценка результатов фундаментальных исследований // Вестник Академии наук СССР. 1989. № 10. С. 28–41.

163. Либенсон B.C. Шкала для оценки значимости научных работ // Проблемы деятельности ученого и научных коллективов. 1971. Вып. IV. С. 300–304.

164. Либенсон В.С. Информационный подход к оценке научных достижений // Вестник Академии наук СССР. 1979. № 1. С. 62–65.

165. Patton R.M., Stahl C.G., Wells J.C. Measuring Scientific Impact Beyond Citation Counts // D-Lib Magazine. 2016. Volume 22. Issue 9/10. DOI: https://doi.org/10.1045/september2016-patton

166. Martin B.R. The Research Excellence Framework and the "Impact Agenda": Are We Creating a Frankenstein Monster? // Research Evaluation. 2011. Volume 20. Issue 3. P. 247–254. DOI: https://doi.org/10.3152/095820211x13118583635693

167. Hicks D., Wouters P., Waltman L., de Rijcke S., Rafols I. Bibliometrics: The Leiden Manifesto for research metrics // Nature. 2015. Volume 520. Issue 7548. P. 429–431. DOI: https://doi. org/10.1038/520429a

168. Wilsdon J., Allen L., Belfiore E., Campbell P., Curry S., Hill S., Jones R., Kain R., Kerridge S., Thelwall M., Tinkler J., Viney I., Wouters P., Hill J., Johnson B. The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. Bristol: HEFCE, 2015. 163 p. DOI: 10.13140/RG.2.1.4929.1363

169. Nichols T. The Death of Expertise. The Campaign Against Established Knowledge and Why It Matters. Cary, NC: Oxford University Press, 2017. 252 p.

170. Williams L.D.A., Moore S. Guest Editorial: Conceptualizing Justice and Counter-Expertise // Science as Culture. 2019. Volume 28. Issue 3. P. 251–276. DOI: https://doi.org/10.1080/09505 431.2019.1632820

171. Brown M.J., Havstad J.C. The Disconnect Problem, Scientific Authority, and Climate Policy // Perspectives on Science. 2016. Volume 25. Issue 1. P. 67–94. DOI: https://doi.org/10.1162/POSC_a_00235

172. Nowotny H., Scott P., Gibbons M. Re-Thinking Science: Knowledge and the Public in an Age of Uncertainty. Cambridge/Malden, MA: Polity/ Blackwell, 2001. 278 p.

173. Тищенко П.Д. Эпистимическая несправедливость как системная коммуникативная дисфункция // Эпистемология и философия науки. 2020. Т. 57. № 2. С. 42–47. DOI: https://doi.org/10.5840/eps202057219

174. Шевченко С.Ю. Презирать и подсказывать: эпистемическая несправедливость и контрэкспертиза // Эпистемология и философия науки. 2020. Т. 57. № 2. С. 20–32. DOI: https://doi.org/10.5840/eps202057217

175. Fricker M. Epistemic Injustice: Power and the Ethics of Knowing. Oxford: Oxford University Press, 2007. 208 p.

176. Joly P.-B., Gaunand А., Colinet L., Larédo P., Lemarié S., Matt M. ASIRPA: A Comprehensive Theory-Based Approach to Assessing the Societal Impacts of a Research Organization // Research Evaluation. 2015. Volume 24. Issue 4. P. 440–453. DOI: https://doi.org/10.1093/reseval/rvv015

177. Aiello E., Donovan C., Duque E., Fabrizio S., Flecha R. Holm P., Molina S., Oliver E., Reale E. Effective strategies that enhance the social impact of social sciences and humanities research // Evidence & Policy. 2020. Volume 10. Issue. 10. P. 1–16. DOI: https://doi.org/10.1332/174426420X15834126054137

178. Burget M, Bardone E, Pedaste M. Definitions and Conceptual Dimensions of Responsible Research and Innovation: A Literature Review // Science and Engineering Ethics. 2017. Volume 23. Issue 1. P. 1–19. DOI: https://doi.org/10.1007/s11948-016-9782-1

179. Delgado A., Åm H. Experiments in interdisciplinarity: Responsible research and innovation and the public good // PLoS Biology. 2018. Volume 16. Issue 3. Article e2003921. DOI: https://doi.org/10.1371/journal.pbio.2003921

180. Гребенщикова Е.Г. Ответственные исследования и инновации (RRI): переосмысление ответственности и партиципативные стратегии // Электронный научно-практический журнал «Гуманитарные научные исследования». 2015. № 12. URL: https://human.snauka.ru/2015/12/13269 (дата обращения: 30.07.2021)

181. Гаврилина Е.А., Казакова А.А. Институционализация социальной оценки техники и технологий (ta/rri) в России: состояние и перспективы // Философия науки и техники. 2019. № 2. С. 162– 169. DOI: https://doi.org/10.21146/2413-9084-2019-24-2-162-169

182. Степин В.С. Научное познание и ценности техногенной цивилизации // Вопросы философии. 1989. № 10. С. 3–18.

183. Юдин Б.Г. Этика науки и ответственность ученого // Философия и методология науки. Ч. II. М.: SvR–Аргус, 1994. С. 132–154.

184. Степин В.С., Горохов В.Г., Розов М.А. Философия науки техники. М.: Гардарика, 1996. 400 с.

185. Губанов Н.Н., Губанов Н.И., Черемных Л.Г., Турова Е.И. Социальная ответственность ученого и свобода научного творчества // Гуманитарный вестник. 2020. № 5. С. 1–16. DOI: https://doi.org/10.18698/2306-8477-2020-5-681

186. Kowszyk Y., Vanclay F. The possibilities and limitations regarding the use of impact evaluation in corporate social responsibility programs in Latin America // Corporate Governance. 2021. Volume 21. Issue 2. P. 279–293. DOI: https://doi.org/10.1108/CG-01-2020-0038

187. Стрижкова Л.А., Куранов Г.О. Потенциалы и ограничения инструментария «затраты-выпуск» (к 60-летнему юбилею статистических работ в области межотраслевых исследований на пространстве СНГ) // Мир новой экономики. 2021. Т. 15. № 1. С. 60–74. DOI: https://doi.org/10.26794/2220-6469-2021-15-1-60-74

188. Merton R.K. Sociology of science and sociology as science. New York, NY: Columbia University Press, 2010. 320 p.

189. Sigurðarson E.S. Capacities, capabilities, and the societal impact of the humanities // Research Evaluation. 2020. Volume 29. Issue 1. P. 71–76. DOI: https://doi.org/10.1093/reseval/rvz031

190. Collingridge D. The Social Control of Technology. New York: St. Martin's Press, 1980. 200 p.

191. David P.A. Clio and the Economics of QWERTY // American Economic Review. 1985. Volume 75. Issue 2. P. 332–337.

192. North D.C. Institutions, Institutional Change and Economic Performance. Cambridge: Cambridge University Press, 1990. 159 p.

193. Pierson P. Increasing returns, path dependence, and the study of politics // American Political Science Review. 2000. Issue. 92. P. 251–267. DOI: https://doi.org/10.2307/2586011

194. Stephan P.E. Research Efficiency: Perverse Incentives // Nature. 2012. Volume 484. Issue 7392. P. 29– 31. DOI: https://doi.org/10.1038/484029a

195. Stephan P.E. How Economics Shapes Science. Cambridge, MA: Harvard University Press, 2012. 384 p.

196. Комков Н.И., Чекаданова М.В. Методические основы целевого управления развитием социально-экономических систем // Научные труды: Институт народнохозяйственного прогнозирования РАН. 2019. № 17. С. 75–96. DOI: https://doi.org/10.29003/m812.sp_ief_ras2019/75-96

197. Полтерович В.М. Институциональные ловушки: есть ли выход? // Общественные науки и современность. 2004. № 3. С. 5–16. URL: https://www.elibrary.ru/item.asp?id=17664394

198. Полтерович В.М. Стратегии институциональных реформ. Перспективные траектории // Экономика и математические методы. 2006. Т. 42. № 1. С. 3–18. URL: https://www.elibrary.ru/item.asp?id=9245387

199. Аузан А. Развитие и «колея» зависимости // Мировая экономика и международные отношения. 2017. Т. 61. № 10. С. 96–105. DOI: https://doi.org/10.20542/0131-2227-2017-61-10-96-105

200. Donovan C. For Ethical «Impactology» // Journal of Responsible Innovation. 2019. Volume 6. Issue 1. P. 78–83. DOI: https://doi.org/10.1080/2329946 0.2017.1300756

201. Åm H., Solbu G., Sørensen K.H. The imagined scientist of science governance // Social Studies of Science. 2021. Volume 51. Issue 2. P. 277–297. DOI: https://doi.org/10.1177/0306312720962573

202. Bono P.-H., Debu S., Desplatz R., Hayet M., Lacouette-Fougère C., Trannoy A. Vingt ans d’évaluations d’impact en France et à l’étranger. Paris: France Stratégie, 2018. 54 p. URL: https://www.strategie.gouv.fr/sites/strategie.gouv.fr/files/atoms/files/fs-dt-impact-politiques-publiquesdecembre-2018.pdf (дата обращения: 30.07.2021)

203. Фонотов А.Г. Цели, оценки, программы // Целевая стадия планирования и проблемы принятия социально-экономических решений. М.: ЦЭМИ АН СССР, 1972. С. 34–45.

204. Агафонов В.А. Анализ стратегий и разработка комплексных программ. М.: Наука, 1990. 214 с.

205. Тамбовцев В.Л., Рождественская И.А. Программно-целевое планирование: вчера, сегодня… завтра? // Вопросы экономики. 2016. № 6. С. 76–90. DOI: https://doi.org/10.32609/0042-8736-2016-6-76-90