МОНІТОРИНГ ТА ОЦІНКА МІСЦЕВОГО ЕКОНОМІЧНОГО РОЗВИТКУ

Зміст і сутність моніторингу та оцінки

Моніторинг МЕР є комплексом різноманітних (організаційних, технічних, контрольних та інших) засобів, які забезпечують регулярний процес збору, обробки й аналізу інформації для відстеження результатів виконання запланованих заходів, програм і проєктів (дотримання графіків реалізації, використання ресурсів і коштів, створення продуктів тощо).

На практиці моніторинг полягає у проведенні низки однотипних замірів з певною періодичністю та з подальшою оцінкою отриманих результатів для виявлення досягнень, певних закономірностей та тенденцій і змін, що дозволяє зробити висновок щодо правильності планів та дій громади у сфері МЕР. Постійний моніторинг дає можливість зрозуміти загальний стан програм і проєктів та визначити, на які питання слід звернути особливу увагу.

Розрізняють проміжну та підсумкову оцінку моніторингу.

Проміжна оцінка моніторингу виконується в процесі реалізації програми/проєкту для визначення прогресу у досягненні поставлених цілей (очікуваних результатів) МЕР та виявлення факторів, які сприяють чи перешкоджають їх досягненню. Отримані результати проміжного оцінювання показують чи відповідає виконання запланованій діяльності, а також є підставою для її певного коригування  в рамках програми/проєкту.

Підсумкова оцінка моніторингу проводиться через певний період по завершенню реалізації  програми/проєкту з метою відстеження кінцевих результатів, досягнення цілей, впливу та наслідків реалізованої програми/проєкту. Дані, отримані в результаті моніторингу, мають використовуватися для оцінки ефективності програм і проєктів, що випливають зі стратегії територіальної громади в контексті МЕР.

Оцінка — це ретельне та незалежне вимірювання триваючої або завершеної діяльності задля встановлення рівня досягнення поставлених цілей та ухваленню відповідних управлінських рішень (з урахуванням отриманих показників ефективності та впливу). Вона базується на певних індикаторах, тобто показниках, які були встановлені для вимірювання на етапі планувального процесу (до початку практичного впровадження відповідних рішень, регулювання, реалізації програм та проєктів).

Оцінка полягає у точкових діях на певних етапах чи в кінці моніторингу, які дозволяють зіставити і проаналізувати накопичені дані та отримані індикатори з очікуваними результатами. Оцінка не є одноразовим заходом, вона може відбуватись наприкінці або після завершення повного циклу робіт (проекту, плану, програми чи навіть стратегії). Також оцінка може відбуватися в процесі діяльності, згідно зі встановленим графіком чи вибірково в любий час, якщо в цьому виникла необхідність.

Моніторинг і оцінка мають важливе значення для процесу управління, оскільки лежать в основі побудови об’єктивних, правдивих звітів про результати. Інформаційна звітність відкриває можливість для критичного аналізу, набуття організаційного знання, обґрунтованого ухвалення рішень, оцінки впливу, відкритості та публічності перед громадою. Моніторинг і оцінка допомагають зосередитися на визначених цілях і завданнях розвитку територіальної громади та підвищити ефективність і результативність використання ресурсів громади та публічних інвестицій.

Моніторинг та оцінка в МЕР – це вагомий і обов’язковий етап у процесі впровадження політики МЕР, реалізації програм та проєктів. Виступаючи в якості системи ефективного зворотного зв’язку, моніторинг і оцінка відіграють надзвичайно важливу роль в управлінні процесом досягнення цілей та виконання планів розвитку. Моніторинг та оцінка дозволяють відстежувати ризики і проблемні питання у процесі реалізації запланованих дій, своєчасно приймати рішення, необхідні для коригування відхилень у ході виконання завдань та запобігати виникненню небажаних наслідків.

Розрізняють внутрішній, зовнішній та змішаний моніторинг.

Внутрішній моніторинг досягнення показників МЕР здійснюють безпосередньо виконавці програми/проєкту. Вони повинні бути добре обізнані із ситуацією, мати змогу швидко знаходити необхідну інформацію, взаємодіяти з різними структурними підрозділами виконавчого органу місцевої влади, інформувати керівництво громади про необхідність вжиття певних заходів для розв’язання проблемних питань, що виникають в процесі реалізації. Недоліками внутрішнього моніторингу можуть бути бажання показати кращі, завищені показники, складність в отриманні реальних даних для порівняння, недостатня професійна підготовка для використання інструментів моніторингу.

Зовнішній моніторинг полягає у залученні зовнішніх структур чи експертів, як незалежних, так і тих, що представляють органи, уповноважені проводити моніторинг (зокрема при використанні залученого фінансування). Перевага такого моніторингу у високій професійності, незацікавленості у викривленні об’єктивних даних, бажанні і здатності допомогти з поліпшенням ситуації у реалізації програми/проєкту та МЕР в цілому. Недоліком цього варіанту може бути недостатнє знання громади, нерозуміння специфіки й особливостей ОМС, обмежене володіння ситуацією щодо бізнес середовища громади тощо.

Змішаний моніторинг – здійснюється із залученням як зовнішньої, так і внутрішньої експертизи і може бути найбільш доцільним. Поєднання знання внутрішньої ситуації з професіоналізмом щодо застосування методів моніторингу може привести до виявлення й аналізу багатьох прихованих моментів реалізації програми/проєкту, професійних висновків і рекомендацій щодо шляхів поліпшення ситуації у сфері МЕР.

Індикатори (показники) для проведення моніторингу

Здійснення ефективної системи моніторингу та оцінки потребує, щоб на етапі планування були дотримані певні вимоги:

• чітко і недвозначно сформульовані очікувані результати для програми та проєктів МЕР (мають бути включені до зазначених документів, наприклад у вигляді таблиці результатів);
• ці результати мають корелюватися з визначеними стратегією розвитку громади результатів (в рамках відповідних стратегічної та оперативних цілей);
• мають бути визначені індикатори вимірювання (конкретні показники розвитку, як фактичні (наявні на час підготовки) так і планові, цільові, які використовують для визначення змін) для кожного результату;
• мають бути визначені джерел інформації, які будуть використовуватися для вимірювання.

Показники для моніторингу можна поділити на такі групи:

• ресурсні та фінансові показники (внески) — джерело, обсяг та частка виділених матеріальних, фінансових, людських та інших ресурсів відповідно до передбаченого кошторису, які використовуються для виконання програми/проєкту (наприклад виділені для бізнесу земельні ділянки, об’єкти нерухомості, обсяг вкладених публічних коштів для фінансової допомоги підприємців-початківців тощо);
• показники продуктів — визначають кількість виконаних робіт і наданих послуг для цільових груп у процесі реалізації програми/проєкту, та їхніх безпосередніх користувачів (наприклад, кількість прийнятих актів регулювання, кількість підтриманих стартапів, кількість проведених семінарів для МСП та кількість учасників, кількість наданих консультацій щодо грантів для жінок і молоді, кількість підприємців, які отримали кредитні ресурси та їхній обсяг, кількість безробітних, що отримали одноразову допомогу для започаткування власної справи);
• показники результатів — відображають опосередкований вплив від реалізації програми/проєкту на цільову аудиторію та бенефіціарів[1] політики МЕР загалом.

Показники результатів поділяють на:

• показники наслідків — як правило це середньострокові зміни у сфері реалізації програми/проєкту, що можуть стосуватися зрушень у поведінці бенефіціарів або в місцевій політиці ОМС, середовищі програми загалом (у сфері МЕР це, наприклад, кількість створених робочих місць, збільшення чисельності жінок чи молоді у бізнесі, ріст суб’єктів малого підприємництва серед інших суб’єктів господарювання тощо);
• показники впливу — довгострокові зміни у сфері дії програми/проєкту та територіальної громади в цілому, що зазвичай демонструють досягнення загальної мети політики МЕР (наприклад, питома вага малого підприємництва у надходженні до місцевого бюджету, зростання обсягу у виробництві товарів послуг, інноваційної продукції, що експортується, зменшення рівня безробіття тощо).

Таблиця 1. Фактичні та очікувані результати виконання програми

Результати	Показники	Вихідні дані	Цільові значення)	Джерело інформації / Засоби перевірки	Ризики і припущення
Кількість створених робочих місць	Од.	1000	1100	Звітність СГД	Буде досягнуто за умов припинення війни та встановлення стабільного миру
Зростання чисельності ФОП	Од.	80	100	Звітність	Буде досягнуто за умови 100% фінансування передбаченого на мікрогранти для початківців

Для потреб моніторингу та оцінки застосовують різні типи індикаторів з урахуванням конкретної ситуації та необхідності індивідуального підходу. Разом з тим при визначенні  індикаторів необхідно дотримуватися певних вимог та правил.

Отже, індикатори повинні:

• бути однозначними та вимірюваними (га, кв м, дні, особи (підприємці, мешканці) відсотки, млн грн, $ або € (ПІІ або експорту), кількість і т.п.);
• враховувати періодичність та циклічність процесу/явища, який підлягає моніторингу задля регулярності відстежування;
• бути загальнодоступними (джерела інформації) та доцільними в процесі збору (не повинні зумовлювати значні часові й фінансові витрати);
• бути практичними та придатними для відстеження проведеної діяльності та рівня досягнення цілей, які відслідковуються;
• бути чутливими до змін, які необхідно відстежити/виміряти але не повинні піддаватися впливу сторонніх, другорядних факторів;
• бути контрольованими – повинні підлягати незалежній перевірці;
• бути простими й зрозумілими для відображення у звітах та сприйняття громадськістю.

Мал.1. Вимоги до індикаторів

 

Типи індикаторів

Кількісні та якісні індикатори

Кількісні (статистичні) індикатори – показники, що мають кількісний вираз і позначаються такими формулюваннями, як одиниці (сукупності), число, частота, відсоток, частка тощо (наприклад, кількість підприємств, ФОП, безробітних, які пройшли навчання, обсяг коштів на програму і т.д.).

Якісні індикатори (судження, оцінка, сприйняття та відношення) – показники, що не мають кількісного виразу й можуть позначатися словесним описом. До якісних індикаторів належать такі показники, які важко виміряти наявними кількісними параметрами. Зазвичай якісні індикатори показують ставлення людей (споживачів послуг) до тих чи інших явищ (наприклад, рівень задоволення підприємців послугами для ФОП, обізнаність з грантовими програмами для бізнесу, задоволеність сприятливим бізнес середовищем тощо).

Прямі і непрямі індикатори

Прямі індикатори – це фіксація показників, що безпосередньо характеризують  вихідні дані та/або зміни в об’єкті спостереження (як правило короткотермінові результати програми/проєкту). Прямі індикатори є доволі  точними, повними та зручними для безпосереднього застосування.

Непрямі індикатори застосовують тоді, коли процес або явище неможливо виміряти за допомогою прямих індикаторів, тобто тоді коли результат неможливо зафіксувати та виміряти безпосередньо. Здебільшого це стосується процесів чи явищ, які знаходяться в невидному (прихованому) стані та які складно виміряти або порахувати кількісно (наприклад, рівень неофіційних платежів (корупції) в землекористуванні, рівень прихованої (не оформленої трудовим договором) зайнятості і т.п.). Також непрямі індикатори використовуються в ситуації, коли показник може бути виміряним безпосередньо, але вартість вимірювання з використанням прямих індикаторів буде невиправдано високою або ж може бути виміряним лише з плином значної кількості часу по завершенні програми/проєкту.

Проміжні та кінцеві індикатори

Проміжні індикатори встановлюються для визначення результату в певні періоди чи етапи програми/проєкту. Тому вони фактично слугують контрольними позначеннями для досягнення очікуваних кінцевих результатів.

Індикатори кінцевих результатів програми/проєкту за своєю суттю є підсумковими індикаторами.

Інші індикатори

Індикатори, що відбивають специфіку певної галузі чи сектору (наприклад, індикатори розвитку МСП, розвитку сільського господарства в громаді, проєктів ДПП, а також проєктів співробітництва територіальних громад) мають бути збалансованими шляхом доповнення їх іншими показниками, які мають міжсекторний характер і покликані віддзеркалювати, серед іншого, питання соціального розвитку (наприклад, вплив бізнесу на розвиток соціальної інфраструктури громади), екологічної безпеки (декарбонізація, збереження довкілля) тощо.

Індикатори, що відображають задоволення потреб різних груп бенефіціарів, гендерної рівності (наприклад відсоток жінок і молоді в місцевому бізнесі, кількість безробітних та незайнятих осіб, які пройшли перекваліфікацію і працевлаштувалися, частка зацікавлених у відкритті власної справи, які підготували бізнес плани і отримали гранти для започаткування бізнесу тощо).

Індикатори-індекси, які дозволяють  привести елементи складного явища до стану порівняння і є показниками, які дають змогу здійснювати оцінку ролі окремих факторів, які формують складне явище (в контексті МЕР, наприклад, щорічне вимірювання та порівняння інвестиційної привабливості громади або сприятливого бізнес середовища, для чого може бути застосовано опитування представників МСП із використанням 10-12 різних чинників, чутливих для бізнесу).

Джерела даних — це засоби, організації, що забезпечують дані для моніторингу, аналізу та оцінки, а також звітна інформація ОМС, підготовлена її фахівцями.

Джерелами даних для моніторингу МЕР, залежно від його об’єкту та поставлених завдань,  може бути:

• звітність виконавців програми/проєкту;
• звітність місцевого органу виконавчої влади (про фінансове забезпечення та виконання стратегії розвитку, програми, проєкту);
• результати статистичних спостережень, виконаних на замовлення відповідального виконавця програми/проєкту;
• інформація центральних органів виконавчої влади та їх територіальних органів;
• інформація асоціацій органів місцевого самоврядування;
• інформація державної, регіональної та місцевої статистики;
• результати опитування громадської думки, а також анкетування, фокус-групи, інтерв’ю за участю бенефіціарів і стейкхолдерів програми/проєкту (наприклад представників МСП, ФОП, ІГС, службовці ОМС, жінки, молодь тощо, з урахуванням визначених цільових груп).

Планування проведення моніторингу та оцінювання залежить, передусім, від того, хто проводитиме відстеження. Зокрема щодо внутрішнього моніторингу, то його доцільно проводити для кожного запланованого заходу. План, як правило, відображається  у формі таблиці.

Таблиця 2. План проведення моніторингу реалізації програми/проєкту

№п/п	Зміст діяльності	Індикатори	Джерела даних	Метод збору	Періодичність	Відповідальний

 

Оцінювання результатів та успішності реалізації програм і проєктів

Метою оцінювання є визначення змін за результатами впровадження політики МЕР, реалізації відповідних програм та проєктів. Оцінювання дає змогу зрозуміти наскільки вдалося змінити ситуацію та досягнути запланованих результатів, який позитивний вплив зумовили зміни, наскільки їх можна вважати успішними.

Серед критеріїв, якими можна охарактеризувати зміни, варто зазначити відповідність, результативність, ефективність,  економічність (раціональність витрат) та сталість.

Критерій відповідності дозволяє оцінити, наскільки програма/проєкт відповідає стратегії розвитку територіальної громади та пріоритетам МЕР, функціям і планам діяльності органу місцевої влади.

За критерієм результативності оцінюється ступінь досягнення встановлених цілей та їх вплив на цільові групи програми/проєкту. Він включає короткострокові, кількісні проміжні показники (зокрема створені продукти, наприклад створено центр розвитку МСП, бізнес інкубатор тощо) та довгострокові досягнення, наслідки впливу (кінцевими результатами, наприклад, можуть бути обсяг залучених інвестицій, кількість підприємців, які після ознайомлення з інформацією про державну підтримку скористалися нею і т.п.).

Критерій ефективності вказує на кількість витрачених ресурсів на одиницю результату, який доцільно порівнювати з плановими показниками або ж із показниками в інших територіальних громадах, в середньому по області чи Україні (наприклад  обсяг виділених коштів з місцевого бюджету для програми розвитку МСП на одного підприємця, вартість створення та утримання бізнес інкубатора на один стартап тощо).

Критерій економічності (раціональність та адекватність витрат) визначає сукупний обсяг ресурсів (матеріальних, фінансових, людських та інших), витрачених на досягнення результату, загальну вартість та масштаб проекту (наприклад, вартість облаштування індустріального парку у співвідношенні до потенційних інвестицій, очікувана кількість нових робочих місць на 1 (один) га площі території індустріального парку тощо).

Критерій сталості дозволяє оцінити інституційну, фінансову спроможність, а також можливий політичний вплив на продовження дії після завершення підтримки в рамках програми/проєкту (наприклад Агенція місцевого розвитку, створена у процесі виконаних проєкту після завершення фінансування донором працює далі, програму розвитку МСП продовжать фінансувати після місцевих виборів та  у разі зміни керівництва громади, розпочатий проєкт ДПП буде продовжено).

 

З проведенням моніторингу та оцінювання МЕР на практиці можна ознайомитися на прикладі Звіту про результати моніторингу та оцінювання Програми сприяння залученню інвестицій у Вінницьку міську територіальну громаду на 2018-2020 роки (наведено у додатку).

Документ містить 5 розділів.

У першому розділі відображено загальну інформацію про програму, зроблено короткий аналіз складових її структури, мети, завдань, бенефіціарів та очікуваних результатів, підкреслено її важливість в системі стратегічного планування.

Другий розділ розкриває методологію проведеного моніторингу та оцінювання,  тут дано опис інструментів збору даних, методів аналізу та джерел інформації.

У третьому розділі наведено опис основних результатів, отриманих у процесі моніторингу й оцінювання, а також зроблено їх аналіз. Він включає такі підрозділи:

–             відповідність програми потребам територіальної громади, де проаналізовано     наскільки програма узгоджується з регіональними і державними пріоритетами;

–             результативність програми, яка включає аналіз досягнення результати та планових  показників, рівень задоволеності бенефіціарів заходами та продуктами програми;

–             ефективність програми, де проаналізовано наскільки вона досягає визначених показників у встановлені терміни, співвідношення отриманих результатів та витрачених бюджетних коштів, а також задіяні організаційно-інституційні і людські ресурси;

–             економічність і сталість, де показано раціональність і економність у використанні ресурсів та зроблено аналіз даних, що демонструють інституційну спроможність місцевої влади продовжувати виконувати програму, поточний і прогнозний стани бюджетного забезпечення та враховуються інші чинники, зокрема й наслідки, спричинені на той час пандемією гострої респіраторної інфекції COVID-19.

У четвертому розділі представлені висновки, які є загальною оцінкою поточного стану програми, що спираються на отримані дані та проведений аналіз. Висновки базуються на основі змісту попереднього розділу.

Заключний п’ятий розділ містить рекомендовані заходи які, на думку експерта, бажано вжити Вінницькій міській територіальній громаді для успішного завершення програми. Рекомендації базуються на отриманих результатах та проведеному аналізі і структуровані відповідно до пріоритетних напрямків плану заходів з реалізації  програми. Крім того, з урахуванням впливу зовнішніх факторів надаються пропозиції до центральних органів виконавчої влади та інституцій центрального рівня.

Звіт також містить додаток, який демонструє узгодження та гармонізацію політик національного, регіонального та муніципального рівнів в рамках програми та зразок галузевої маркетингової бази даних (для сфери комп’ютерних технологій).

Цей матеріал створено за підтримки Міжнародного фонду «Відродження» в рамках реалізації проєкту «Стійкість та розвиток – методичні рекомендації для територіальної громади», що здійснюється ГО «Інститут громадянського суспільства». Зміст цього матеріалу представляє позицію авторів і не обов’язково відображає позицію Міжнародного фонду «Відродження».

[1] Бенефіціари – це одержувачі визначених вигод, що виникають у результаті реалізації програми або проєкту (можуть включати ширші кола (категорії), ніж було передбачено програмою чи проєктом).