INSTRUCȚIUNILE METODOLOGICE pentru elaborarea rapoartelor privind implementarea actelor normative^1CuprinsScopul procesului de evaluare a implementării actelor normativeObservații generaleInformații generale referitoare la actul normativ evaluatAspectele principale care au făcut obiectul evaluării expost/Scopul evaluăriiMetodologia de evaluareDefinirea întrebărilor de evaluareTipuri de întrebări de evaluare utilizate la evaluarea ex-postTipuri de evaluareEvaluări descriptive vs. cauzaleEvaluări formative vs. sumativeDescrierea surselor și tipurilor de date colectateColectarea datelorPlanificarea procesului de colectare a datelorCercetarea documentarăSelecția metodelor de colectare a datelorMetode cantitative de colectare a datelorAnchetaChestionarulMetode calitative de colectare a datelorAlegerea metodelor de colectare a datelorDescriere sumară a metodelor calitative de colectare a datelorEșantionareaDescrierea implicării organizațiilor societății civile, mediului de afaceri, mediului academic pe parcursul evaluării ex-postRezultatele evaluării ex-postConcluziile evaluării ex-postConcluzii cu privire la principalele criterii de evaluareAspecte pozitive (realizări)/aspecte ce trebuie în continuare îmbunătățite (provocări)RecomandăriPropuneri de măsuri nonlegislative pentru îmbunătățirea implementării proiectului/proiectelor de acte normativePropuneri de revizuire a legislației în vigoareAnexe
^1 Prezenta metodologie preia o parte din conținutul Manualului de monitorizare și evaluare a politicilor publice, publicat în cadrul proiectului „Dezvoltarea procesului de formulare a politicilor publice la nivelul administrației publice centrale“, cu sprijinul financiar al Uniunii Europene prin Programul Phare. Număr proiect RO 2006/018-147.01.03.03.01. Drepturile de autor asupra acestei publicații sunt rezervate Secretariatului General al Guvernului. Pentru o descriere detaliată a metodelor de evaluare ex-post se recomandă consultarea manualului mai sus menționat: http://sgg.gov.ro/docs/File/UPP/doc/manual-monitorizare-si-evaluare-politici-publice.pdf
Scopul procesului de evaluare a implementării actelor normative
Informații generale referitoare la actul normativ evaluat
Aspectele principale care au făcut obiectul evaluării expost/Scopul evaluării
Metodologia de evaluare
Definirea întrebărilor de evaluare
Tipuri de evaluare
Descrierea surselor și tipurilor de date colectate
Selecția metodelor de colectare a datelor
Metode cantitative de colectare a datelor
Metode calitative de colectare a datelor
Descrierea implicării organizațiilor societății civile, mediului de afaceri, mediului academic pe parcursul evaluării ex-post
Rezultatele evaluării ex-post
Concluziile evaluării ex-post
Recomandări
Anexe
Următoarele manuale și ghiduri reprezintă resurse suplimentare care conțin detalii despre cum poate fi realizată evaluarea ex-post a impactului:
• Manual de metode folosite în planificarea politicilor publice și evaluarea impactului;
• Manual pentru evaluarea ex-ante a impactului politicilor educaționale;
• Manual și metodologie pentru studii de impact în domeniul sănătății;
Manual pentru măsurarea costurilor administrative în România.
Ele pot fi accesate la următorul link: https://sgg.gov.ro/1/politici-publice-si-programe/documente/suport-metodologic/.
Rapoartele privind implementarea actelor normative sunt parte a procesului de evaluare ex-post.
Evaluarea are drept scop îmbunătățirea rezultatului și procesului intervenției publice. Acest lucru poate fi efectuat prin furnizarea de informații privind diferite aspecte ale intervenției, care ajută factorii decizionali să îmbunătățească activitatea respectivă. Astfel, evaluarea ex-post poate fi privită drept un instrument de management.
În vederea completării acestei secțiuni se recomandă furnizarea următoarelor informații:
a) o descriere a problemei/problemelor definite inițial care a/au făcut necesară emiterea actului normativ. În acest scop, un punct de plecare îl reprezintă nota de fundamentare a actului normativ și, în mod ideal, studiul de impact ex-ante al actului normativ, în măsura în care s-a realizat o astfel de analiză înainte de emiterea actului normativ;
b) scopul și obiectivele formulate la momentul adoptării actului normativ. O sursă de informații este reprezentată de documente strategice sau de management în domeniul reglementat de actul normativ. Astfel, este posibil ca la momentul adoptării actul normativ să se fi revendicat dintr-o reglementare de la nivelul Uniunii Europene, dintr-o strategie sectorială sau din Planul strategic instituțional;
c) stadiul inițial al indicatorilor monitorizați. În această secțiune trebuie furnizate date cu privire la stadiul indicatorilor, inclusiv al indicatorilor naționali de dezvoltare durabilă, la momentul adoptării actului normativ. Din nou, surse de informații utile sunt:
• nota de fundamentare a actului normativ;
• date prezentate în documente strategice sau de management din care s-a revendicat actul normativ;
• alte rapoarte referitoare la domeniul reglementat sau date colectate de Eurostat și de Institutul Național de Statistică;
• studiul de impact realizat pentru actul normativ.
Scopurile evaluării ex-post sunt variate, iar un exercițiu de evaluare se poate concentra pe una sau pe mai multe dimensiuni ale implementării actului normativ. Principalele scopuri ale evaluării ex-post a impactului pot fi:
a) generarea de informații cu privire la progresul implementării unei intervenții publice specifice/reglementări;
b) generarea de informații cu privire la situația actuală în domeniul în care s-a desfășurat intervenția publică cu scopul de a evalua relația de cauzalitate dintre intervenție și modificarea survenită în teren;
c) măsurarea eficacității intervenției publice: compararea rezultatelor și impactului generat de o intervenție publică specifică cu obiectivele inițiale;
d) responsabilizarea: furnizarea de informații cu privire la intervenție și informarea factorilor interesați și societății civile asupra modului în care sunt cheltuite fondurile publice;
e) îmbunătățirea mecanismelor de implementare a intervenției publice pentru a crește eficacitatea;
f) generarea de cunoștințe despre abordările care dau rezultate, formularea lecțiilor învățate cu scopul îmbunătățirii intervențiilor similare viitoare;
g) identificarea nevoilor adiționale ale grupurilor-țintă;
h) crearea unui stimul pentru managementul programului în scopul îmbunătățirii performanței;
i) generarea de informații cu privire la progresul implementării obiectivelor de dezvoltare durabilă în urma intervenției publice specifice/reglementării.
Întrebările de evaluare sunt acele întrebări la care evaluatorii trebuie să răspundă în raportul de evaluare. Întrebările ajută evaluatorii să își concentreze munca și astfel să ofere plus valoare clientului. Prin urmare, clientul este cel care ar trebui să formuleze întrebările de evaluare specifice pentru fiecare exercițiu de evaluare, în cadrul consultărilor cu factorii interesați. De obicei întrebările de evaluare sunt bazate pe nevoile și așteptările specifice ale clientului și factorilor interesați cu privire la raportul de evaluare. Întrebările de evaluare joacă un rol-cheie în procesul de evaluare și ar trebui să fie definite ca atare. Dacă acestea lipsesc, atunci evaluatorii pot alege să evalueze oricare aspect din multitudinea de aspecte ce pot fi analizate în ceea ce privește o intervenție publică. Formularea întrebărilor de evaluare garantează că evaluarea va răspunde la acele întrebări specifice la care clientul și factorii interesați doresc să afle răspunsul. Uneori evaluatorii pot sugera în decursul procesului de consultare alte întrebări pe care clientul le-a scăpat din vedere și care sunt relevante pentru evaluare.
Tabelul 1 prezintă principalele aspecte pe care se focalizează întrebările de evaluare și care depind în special de scopul pentru care a fost inițiată evaluarea.
Tabelul 1. Formularea întrebărilor de evaluare în conformitate cu scopurile evaluării
Dacă scopul evaluării este...atunci întrebările de evaluare ar trebui să se concentreze pe….generarea de informațiiaspectele asupra cărora autoritatea publică (SGG/Guvern) are nevoie de informații despre progresul înregistrat de intervenție, aspectele negative și pozitive ale procesului de implementare, caracteristicile structurilor de implementare, dacă intervenția ajunge la grupurile-țintă definite anterior, care sunt problemele ce afectează activitatea x etc.responsabilizareademonstrarea folosirii adecvate a fondurilor - i.e. beneficiile obținute pentru grupurile-țintă, eficiența costurilor etc. Cel mai probabil, toate dimensiunile evaluării vor fi acoperite într-un mod echilibrat: relevanță, eficacitate, eficiență, impact, sustenabilitate etc.îmbunătățirea mecanismuluilegătura dintre nevoi și abordarea intervenției (relevanță), calitatea formulării obiectivelor și indicatorilor. îmbunătățirea implementăriianalizarea rezultatelor, obiectivelor, impactului și identificarea nevoilor ulterioaregenerarea de cunoștințe, formularea de lecțiianaliza eficacității generale a abordării aplicate în cadrul intervenției - ce a mers bine și de ce, ce nu a mers bine și de ce. În acest sens, va fi nevoie de un număr rezonabil de analize cauză-efect.
- gradul de adecvare a structurilor și proceselor de implementare prevăzute;
- problemele interne sau externe întâlnite pe parcursul implementării cu privire la structuri sau procese;
- dacă este probabil ca rezultatele prezente să asigure îndeplinirea obiectivelor intervenției în cele din urmă;
- verifică dacă indicatorii de realizare planificați mai sunt relevanți și dacă sunt monitorizați în mod adecvat;
- apreciază dacă precondițiile pentru sustenabilitate au fost identificate și sunt asigurate;
- apreciază stadiul implementării obiectivelor și calculează dacă poate fi asigurată implementarea acestora.
- analiza indicatorilor care demonstrează îndeplinirea obiectivelor;
- analiza impactului folosind metode de evaluare socioeconomice (analize cost-eficiență, cost-beneficiu), studii de caz etc.;
- analiza impactului asupra obiectivelor de dezvoltare durabilă;
- identificarea domeniilor și motivelor din cauza cărora impactul a fost sau nu a fost cel așteptat.
EXEMPLU:
Ce se poate evalua?
• eficacitatea rezultatelor programului (am redus congestiile în trafic, în ceea ce privește timpul și volumul dorit?);
• eficacitatea diferitelor strategii de management (dacă managementul descentralizat al programului este mai eficace decât managementul centralizat);
• eficacitatea diferitelor strategii de implementare (compararea aplicării flexibile a politicii de reglementare cu aplicarea rigidă, compararea contractării externe a furnizării de servicii de pază pentru închisori și servicii de siguranță împotriva incendiilor cu furnizarea internă de servicii);
• eficiența/eficacitatea propunerilor de acte normative/politici publice/strategii în ceea ce privește indicatorii naționali de dezvoltare durabilă.
Tipul întrebărilor de evaluare (tabel 2) de obicei depinde de un număr de factori:
• scopul exercițiului de evaluare;
• tipul intervenției (proiect, program, politică) supuse evaluării;
• aspectele specifice de implementare cu care se confruntă intervenția (cine și cum implementează).
Tabelul 2. Tipuri de întrebări de evaluare, grupate pe dimensiunile de evaluare
RelevanțăIntervenția a ajuns la grupul-țintă dorit?EficacitateCare au fost motivele pentru succesul înregistrat în îndeplinirea obiectivului x?EficiențăA fost activitatea x îndeplinită folosindu-se cea mai bună abordare din punctul de vedere al eficienței costurilor?ImplementareImpactDurabilitateDezvoltare durabilă
Cât de bună a fost performanța instituției x sau a procesului z?
Ce lecții pot fi învățate?
Care este impactul activității x, în comparație cu așteptările?
Care este impactul noii proceduri în comparație cu cea veche?
De ce impactul pentru regiunea x a fost mai redus decât cel așteptat?
Care sunt șansele ca rezultatele x sau y să dureze pentru o perioadă îndelungată de timp? Care sunt costurile viitoare anticipate pentru program?
Care au fost motivele pentru durabilitatea redusă a rezultatului x?
Ce lecții pot fi învățate?
Care sunt măsurile care au susținut obiectivele de dezvoltare durabilă?
Ce impact au avut aceste măsuri asupra indicatorilor de dezvoltare durabilă?
Care sunt măsurile care nu au avut efectul așteptat?
Ce lecții pot fi învățate?
În secțiunea următoare sunt enumerate succint diferite tipuri de evaluare. Alegerea tipului de evaluare depinde de scopul evaluării ex-post, concret de întrebările la care raportul de evaluare trebuie să răspundă.
Există mai multe tipuri de studii de evaluare și fiecare dintre ele adresează întrebări diferite. Astfel, tipurile de evaluare pot fi clasificate în termenii metodologiei și ai focalizării acestora. În ceea ce privește metodele folosite, evaluările pot fi descriptive sau pot analiza cauzalitatea. În privința conținutului, evaluările se pot concentra pe contribuții (inputs), procese, rezultate ale acțiunii (outputs) sau rezultatele programului (outcomes).
Evaluarea descriptivă definește diferite trăsături ale grupului-țintă. Un exemplu de evaluare descriptivă este analiza nevoilor. Alte evaluări descriptive pot analiza grupurile-țintă ale diferitelor programe, precum și contribuțiile, rezultatele acțiunii (outputs) sau ambele.
EXEMPLU:
Tipuri de evaluări descriptive
• Grupul-țintă - copii preșcolari din familii aflate sub nivelul admis de sărăcie. Evaluarea descriptivă poate analiza starea lor nutrițională, starea sănătății în general și abilitățile verbale.
• Grupul-țintă - clienți ai programelor locale de reciclare. Evaluarea descriptivă poate analiza bugetul mediu, poate descrie cine gestionează programul (Guvern sau contractant), poate caracteriza tipul de program (plata pentru returnarea sticlelor, tipuri de reciclare, tipuri de depozitare).
Evaluările cauzale de obicei analizează cauzalitatea: a generat programul rezultatele acțiunii (outputs) dorite, evitându-le pe cele nedorite? Este important pentru cei care formulează politicile ca, după implementarea acestora, să compare impacturile realizate atât în termenii rezultatelor pozitive, cât și negative. De asemenea, ei trebuie să cunoască efectul net al politicii în comparație cu desfășurarea unei alte activități sau cu scenariul „a nu face nimic“. De obicei acest lucru necesită un model de politică anume (sau teorie) și un test al acestor opțiuni folosind metode experimentale sau cvasiexperimentale (explicate mai jos) de evaluare.
EXEMPLU:
Tipuri de evaluări cauzale
• Pentru a descoperi măsura în care obiectivele de formare au fost îndeplinite și planul inițial de formare a fost implementat
• Studiu de impact privind programul de prevenire a poluării
Evaluarea formativă examinează procesul de desfășurare a programului (logica intervenției), cu accent asupra calității implementării sale și a contextului organizațional, personalului, structurilor și procedurilor. Ca abordare a evaluării orientate către schimbare, acordă o atenție deosebită diferenței dintre direcția și rezultatele așteptate ale acțiunii (outputs) din cadrul programului și ceea ce se întâmplă în realitate.
Întrebările-cheie și metodele folosite în cadrul evaluării formative sunt:
• Unde este problema și care este sfera sa?
• De ce, pentru cine și cum merge sau nu o intervenție?
• Cum ar trebui să fie îmbunătățit un program sau o politică în cazul în care eșuează?
EXEMPLU:
Tipuri de evaluări formative
- Analiza nevoilor determină cine are nevoie de program, nivelul nevoilor și ce anume ar putea fi aplicat pentru a îndeplini aceste nevoi.
- Analiza evaluabilității determină dacă un anumit program este pregătit pentru evaluare și dacă evaluarea va genera rezultate de încredere.
- Evaluarea procesului analizează dacă metodele de implementare folosite sunt adecvate sau trebuie să fie schimbate
Evaluările sumative examinează efectele sau rezultatele anumitor programe. Ele rezumă consecințele intervenției și determină legăturile dintre aceste consecințe și implementarea politicii.
Întrebările-cheie și metodele folosite în cadrul evaluărilor sumative sunt următoarele:
• Care este nivelul de eficacitate al programului?
• Care este impactul net al programului?
EXEMPLU:
Tipuri de evaluări sumative
• Analiza programului educațional: măsura rezultatului acțiunii (output measure) - notele de la testele standard, măsura rezultatului acțiunii - rata de absolvire, statutul de ocupare a forței de muncă și nivelul salarial în urma absolvirii
• Analiza programului de asistență socială sau formare la locul de muncă: câștiguri, nivel de sărăcie, mobilitate pe piața muncii, creșteri salariale pe termen lung
• Analiza programului de reglementare (de exemplu, implementarea unei legi): măsura rezultatului acțiunii - volumul de inspecții, penalități și alți indicatori de conformitate sau neconformitate, măsura rezultatului acțiunii - nivelul poluării, siguranței, accidentelor etc.
Întrebarea de evaluare prin ea însăși oferă răspunsul la întrebarea ce tip de evaluare trebuie desfășurată. Cu toate acestea, în cadrul posibilelor combinații transversale între evaluări descriptive, cauzale, formative și sumative, există posibilitatea de a alege.
În această secțiune trebuie descrise sursele și tipurile de date colectate în vederea evaluării ex-post a actului normativ. Colectarea și analiza datelor sunt activități strâns legate una de cealaltă în cadrul exercițiului de evaluare.
Există mai multe modalități de clasificare a datelor. În primul rând, se face adesea distincția între datele cantitative și cele calitative. Datele cantitative se referă la cifre - câți/câte, iar cele calitative la motive, opinii și motivație - de ce.
Datele pot fi, de asemenea, clasificate în funcție de sursele acestora, adică primare și secundare. Datele primare sunt colectate de obicei de către evaluator de la diverși actori din cadrul politicii sau programului. Datele secundare reprezintă informații colectate anterior de către alții și adesea cu scopuri diferite.
Mai mult, datele pot fi clasificate în longitudinale și transversale. Datele longitudinale sunt de obicei colectate de-a lungul anilor. Datele longitudinale prezintă schimbări ale aceluiași subiect de-a lungul unei perioade de timp. Datele transversale sunt colectate la un anumit moment în timp, comparând diferențele dintre subiecți de-a lungul vremii.
În colectarea datelor trebuie să țineți cont de următoarele aspecte:
• Ce informații trebuie să colectați pentru a răspunde întrebărilor de evaluare și cine poate furniza aceste informații
• Ce metode veți selecta pentru a obține datele necesare
• Cum vor fi colectate datele
• Cine va colecta datele
• Când veți colecta datele
• Cine va analiza datele
• Ce metode de analiză vor fi utilizate pentru datele colectate
Pentru a decide ce informații va trebui să colectați, trebuie să vă întoarceți la întrebările de evaluare, la nevoile factorilor interesați și la modelul logic. Dacă ați făcut acest lucru în prealabil, atunci alegerea datelor de care aveți nevoie va fi mult mai facilă. După identificarea nevoilor de informare, următorul pas este de a decide cine poate furniza aceste informații și ce metode de colectare a datelor veți folosi. Când selectați metodele pentru a colecta datele pentru fiecare întrebare de evaluare, trebuie să luați în considerare câteva aspecte:
• Datele de care aveți nevoie există deja sau trebuie să creați noi surse de date?
• Dacă există, cine le are?
• Dacă nu există, cine vă poate furniza această informație și cum?
• Vă permiteți costurile asociate procesului de colectare a datelor?
• Ce riscuri și constrângeri ați putea întâlni și care sunt pregătirile pe care trebuie să le faceți?
Pentru a schița activitățile majore în cadrul colectării de date, puteți folosi tabelul de mai jos.
Tabel. Șablon pentru planul de colectare a datelor
Întrebările de evaluareInformațiile necesareCine le poate furniza?Metode de colectare a datelorCine/CândRiscuriPregătiri prealabile
Este foarte probabil ca deciziile pe care le luați în această etapă să se schimbe odată cu demararea procesului de colectare a datelor. S-ar putea să fie nevoie să vă întoarceți la plan și să modificați perioadele de timp și metodele de colectare. Cu toate acestea, aceste aspecte sunt importante și trebuie discutate de la început, de preferat pe parcursul perioadei de planificare a evaluării, deoarece vor reflecta ce tip de și câte resurse, în termeni de persoane, timp, bani, va fi nevoie să alocați pentru colectarea datelor. Veți putea, de asemenea, să identificați ce pregătiri trebuie să efectuați în avans (de exemplu, formarea intervievatorilor) și dacă pot apărea anumite riscuri (de exemplu, sensibilitatea sau lipsa anumitor date, date dificil de obținut etc.).
De obicei, echipa de evaluare joacă un rol foarte important în proiectarea și procesul de colectare a datelor. Astfel, trebuie să vă asigurați că membrii echipei de evaluare:
• au cunoștințe despre subiectul supus evaluării;
• au abilitatea de a identifica surse pentru informațiile relevante;
• au acces facil la sursele necesare de date.
Cercetarea documentară este o revizuire a datelor secundare. De obicei, există un volum foarte mare de date care deja au fost colectate de către alții. Cercetarea documentară implică strângerea datelor de la diversele surse existente:
• Datele pot fi disponibile în rapoartele de activitate sau de performanță pe care managerii de program sau personalul relevant le colectează.
• Datele secundare pot fi păstrate în cadrul instituțiilor de implementare pe care dvs. va trebui să le vizitați pentru a obține exemplare ale acestor documente.
• Institutul Național de Statistică și institutele de cercetare subordonate ministerelor colectează de obicei date care sunt disponibile și care pot fi folosite pentru evaluarea dvs.
• Personalul din program poate avea rezultatele în urma anchetelor desfășurate în trecut.
• Organizațiile europene sau internaționale sunt o sursă relevantă pentru a consulta cercetările, studiile, revizuirile desfășurate anterior sau pentru a folosi baza de date a indicatorilor.
O sursă importantă de date cantitative secundare (existente) ce trebuie utilizate în procesul de evaluare ex-post a impactului este reprezentată de aplicația IT de monitorizare a planurilor strategice instituționale (PSI). Această aplicație este descrisă pe larg în metodologia de elaborare, monitorizare și raportare a planurilor strategice instituționale (PSI), precum și în manualul de utilizare a acesteia. PSI reprezintă documentul de planificare și management care operaționalizează politicile unui minister în corelare cu cadrul financiar pe termen mediu (1+3 ani). PSI conține indicatori cantitativi pe patru niveluri de planificare, și anume: indicatori de produs și eficiență, indicatori de ieșire (outputs), indicatori de rezultat (outcomes) și indicatori de impact. Mai mult, conform metodologiei PSI, indicatorii de impact și de rezultat sunt aliniați cu indicatori generali pentru care Institutul Național de Statistică (INS) colectează în mod regulat date, precum și cu indicatorii monitorizați în vederea monitorizării atingerii obiectivelor de dezvoltare durabilă. În acest context este recomandabilă utilizarea cu precădere a datelor oferite de sistemul de monitorizare a PSI, iar acolo unde aceste date nu sunt suficiente, se recomandă colectarea de date suplimentare. În acest sens, se pot utiliza metodele de colectare a datelor cantitative descrise în continuare.
După ce ați finalizat cercetarea documentară, veți putea identifica ce alte informații suplimentare mai sunt necesare de la sursele primare.
Politicile sau programele dvs. pot implica o gamă largă de actori diferiți de la care dvs. este posibil să aveți nevoie de informații. În principiu aceștia sunt:
• utilizatorii de servicii sau beneficiarii programului: aceștia sunt persoanele-țintă în program;
• cei care livrează programul: de exemplu, personalul din agenție sau centru care furnizează servicii pentru beneficiarii programului, furnizori de formare;
• cei responsabili de direcția strategică și management: de exemplu, factorii decizionali, managerii de program de la diferite niveluri sau personal în cadrul programului;
• grupuri mai largi de persoane afectate (pozitiv sau negativ) indirect de programul dvs.: de exemplu, societatea, media sau alte instituții care sunt interesate de program.
Următoarea întrebare la care trebuie să răspundeți este ce metode vor fi folosite pentru generarea informațiilor primare. Metodele sunt grupate în 2 secțiuni majore mai jos:
• cantitative;
• calitative.
Colectarea datelor cantitative este folosită pentru a răspunde la întrebările legate de „cifre“ - câți oameni au participat la program, câți dintre aceștia consideră că programul a fost unul util etc. Cea mai des întâlnită metodă cantitativă de colectare a datelor este ancheta.
Este important ca atunci când se desfășoară cercetări cantitative să se rețină următoarele aspecte:
• trebuie să adresați aceeași întrebare în același mod fiecărui respondent - va trebui să adunați răspunsurile la un loc;
• informațiile pe care trebuie să le colectați pentru evaluare ar trebui să fie reprezentative pentru toate persoanele care au participat la program - s-ar putea să aveți nevoie de eșantionare.
Ancheta este un instrument folosit pentru colectarea informațiilor cantitative cu privire la diverși actori, evenimente sau servicii legate de politica sau programul dvs. Este foarte des folosit pentru a ancheta evenimente și persoane din sectoarele guvernamental, social, sănătate, educație și alte sectoare în care este nevoie de colectare de informații sau opinii.
Ancheta este una dintre cele mai frecvent folosite tehnici de colectare a informațiilor primare. Se desfășoară cu ajutorul unui chestionar aplicat persoanelor anchetate pentru a obține informații despre politică sau program. Există mai multe metode de colectare a acestor informații:
• interviu față în față;
• la telefon; sau
• prin completarea unui chestionar tipărit sau în variantă electronică prin e-mail (autocompletare).
Tipul care va fi ales se va decide în funcție de anumiți factori, inclusiv resursele disponibile (de timp, umane, financiare), de gradul de acuratețe al rezultatelor și trăsăturile grupului-țintă.
Tabel. Sumar al tehnicilor de colectare a datelor cantitative
Tipul sondajuluiAplicareAvantajeDezavantajeFață în fațăCele mai potrivite pentru eșantioane mai miciTelefonAutocompletare pe hârtie/internet/ e-mailSolicitare date de la deținătorul național
Date de o înaltă calitate:
- o mai bună înțelegere a întrebărilor (le puteți repeta/explica);
- știți că au răspuns oamenii potriviți;
- puteți folosi chestionare mai lungi.
Consumă multe resurse și sunt mai costisitoare.
Riscul de apariție a distorsiunii/părtinirii
Cele mai potrivite pentru eșantioane mai mici
Le puteți folosi ca tehnică de urmărire a unui sondaj de autocompletare.
Date de o calitate destul de bună:
- o mai bună înțelegere a întrebărilor (le puteți repeta/explica);
- aveți șansa să știți că au răspuns oamenii potriviți.
Și acestea consumă multe resurse, dar sunt mai ieftine decât interviurile față în față.
Trebuie să folosiți chestionare mai scurte (10-15 min.).
Nu toată lumea poate fi găsită la telefon.
Folosite pentru eșantioane mai mari sau când eșantionul acoperă o zonă geografică vastă
Folosite când aveți un eșantion bine definit
Utile când interviurile ar fi prea dificile, consumă timp și le lipsește confidențialitatea
Relativ ieftine
Puteți folosi chestionare mai lungi.
Exclude părtinirea intervievatorilor.
Date ușor de analizat
Calitate redusă a datelor:
- nu puteți fi sigur că întrebările au fost înțelese;
- nu puteți fi sigur că au răspuns oamenii potriviți.
Poate genera o rată de răspuns redusă.
Folosită pentru eșantioane mari
Atribuită eșantioanelor reprezentative sau datelor care nu necesită interviu față în față
Datele sunt prelucrate inițial, având avantajul eliminării valorilor aberante.
Eroare de eșantion sau de intervievator este redusă.
Avantajul existenței seriilor de date pentru intervale de timp (ani), care permite o analiză a impactului.
Sunt disponibile cu precădere date sintetice sau semisintetice.
Datele existente sunt deja prelucrate și anonimizate, fapt care determină o standardizare a analizelor în sensul imposibilității determinării opiniilor sau percepțiilor respondenților.
Datele sunt pretabile la analize de impact asupra unor obiective la nivel macrosocial, în dauna percepțiilor indivizilor unei populații.
Chestionarul este un instrument de sondaj/anchetă elaborat pentru a colecta informații pentru analize statistice. Poate fi o metodă foarte eficientă din punctul de vedere al costurilor pentru a ajunge la un grup larg de persoane în cadrul unei zone geografice vaste. Adesea, are răspunsuri standardizate, astfel încât datele sunt mai ușor de analizat. Întrebările folosite în cadrul chestionarului pot fi cu răspuns deschis și închis.
Întrebările cu răspuns deschis solicită respondentului să furnizeze propriile răspunsuri. Răspunsurile la întrebările deschise sunt analizate prin diverse categorii de date (cel mai adesea folosind analiza conținutului care este explicată mai jos în Pasul 4). Întrebările deschise sunt mai dificil de răspuns și ar trebui folosite cu atenție în cadrul anchetelor.
Întrebările cu răspuns închis solicită respondentului să aleagă răspunsul dintr-o gamă de opțiuni. Numărul de răspunsuri ar trebui să fie limitat. Există mai multe categorii de întrebări închise:
• întrebări dihotomice - de obicei respondentul are două opțiuni - întrebări de tipul da/nu, adevărat/fals;
• întrebări cu alegere multiplă - respondenții au mai mult de două opțiuni;
• întrebări scalate - respondenții trebuie să categorizeze răspunsurile la întrebări cu scală dată.
Chestionarele pot fi atât structurate, cât și semistructurate, în funcție de tipul și scopurile anchetei.
Un chestionar structurat este o secvențiere de întrebări furnizate către toți respondenții în același mod. În aceste cazuri, întrebările pot fi închise sau deschise. Chestionarul structurat poate fi folosit drept o metodă de intervievare, prin telefon sau autocompletare.
Un chestionar semistructurat este de obicei completat în cadrul întâlnirilor față în față unde anumite întrebări și secvențialitatea lor sunt stabilite în prealabil, în timp ce altele apar pe măsură ce se desfășoară interviul.
Modalitatea de elaborare și aplicare a chestionarelor este detaliată în Manualul de monitorizare și evaluare a politicilor publice care stă la baza acestei metodologii.
Metodele calitative de colectare a datelor permit obținerea de informații cu privire la aspecte mai profunde, cum ar fi de ce oamenilor le-a plăcut/nu le-a plăcut programul, de ce cred ei că a fost/nu a fost un program de succes sau ce anume poate fi făcut pentru a fi îmbunătățit.
Cele mai frecvent utilizate metode calitate de colectare a datelor sunt:
• interviurile aprofundate (pot fi semistructurate);
• focus-grupuri;
• vizite la fața locului (pe teren);
• observația participativă.
Metodele calitative de colectare a datelor sunt detaliate în Manualul de monitorizare și evaluare a politicilor publice care stă la baza acestei metodologii.
Este important să vă asigurați că metodele selectate generează date care răspund cel mai bine la întrebările de evaluare. În practică, nicio metodă de colectare a datelor folosită exclusiv nu va fi potrivită pentru a răspunde la întrebările de evaluare, prin urmare este nevoie de o combinație de mai multe metode. Adesea, întrebarea va fi care metode - cantitative sau calitative - vor fi preponderente și pe care dintre metodele calitative sau cantitative să le alegeți.
Ca regulă, evaluarea formativă favorizează metodele calitative pentru a identifica problemele și a furniza recomandări de îmbunătățire. De obicei, pentru a sprijini constatările, este completată de metode cantitative care necesită mai puține resurse.
Evaluarea sumativă, pe de altă parte, ar putea necesita focalizarea pe metode cantitative, deoarece trebuie de obicei să răspundă la întrebările legate de eficacitatea programului și dacă acesta din urmă va mai continua sau nu. Astfel de decizii trebuie fundamentate folosindu-se informații/dovezi corecte și de încredere. Observațiile personalului și beneficiarilor programului, care au fost colectate folosindu-se metode calitative, pot furniza informații valoroase asupra impactului programului și a necesității acestuia.
Indiferent de tipul evaluării, alegerea metodelor depinde de următorii factori și adesea de o combinație între aceștia:
• Scopul evaluării. Pentru evaluările la scară redusă îndreptate spre formularea sau implementarea de politici, evaluatorii poate vor dori să selecteze metode calitative și poate metode cantitative care sunt mai eficiente din punctul de vedere al resurselor, cum ar fi anchetele prin e-mail sau internet. Cu toate acestea, pentru evaluările cauzale la scară largă, în cazul cărora scopul este de a dovedi/respinge ipoteze, sau când se intenționează folosirea analizei statistice pentru evaluările descriptive, este foarte probabil să se facă alegerea unor metode cantitative care vor genera informații semnificative din punct de vedere statistic.
• Resursele disponibile. Constrângerile legate de resurse pot afecta în mod semnificativ deciziile și chiar alegerea metodelor. Chiar dacă scopul evaluării și nevoia de a obține informații semnificative din punct de vedere statistic vor necesita metode care să genereze informații corecte și precise, constrângerile financiare și umane vor produce un schimb între a desfășura activitatea cu acuratețe și a desfășura activitatea cu resurse limitate. Adesea va trebui să alegeți între metodele de anchetă mai mult sau mai puțin costisitoare (de exemplu, ancheta prin email versus cea față în față) și metodele calitative care necesită mai mult sau mai puțin efort (efortul în termeni de resurse va depinde de fiecare caz în parte, în funcție de numărul populației-țintă și de persoanele care au abilități).
• Perioada de timp. Uneori, mai ales când sunt solicitate de la nivelul managementului ministerial, evaluările trebuie să fie desfășurate sub presiunea timpului. În aceste cazuri, evaluatorii vor trebui să își aleagă metodele care pot genera informații întrun timp scurt. Alegerea metodelor va depinde de cât de mare este eșantionul și dacă aveți nevoie de informații semnificative din punct de vedere statistic. Dacă dimensiunea eșantionului nu este mare, atunci ancheta față în față va genera informații de încredere într-un timp scurt. Oricum, în cazul unui eșantion mare, o anchetă prin e-mail sau poștă ar putea fi mult mai eficientă din punctul de vedere al timpului.
În ceea ce privește metodele calitative, alegerea va depinde de informațiile pe care doriți să le colectați și de grupul-țintă. Interviurile aprofundate sunt cele mai obișnuite forme de colectare a informațiilor și vor fi folosite de majoritatea evaluatorilor. Acestea sunt de obicei gestionate chiar de evaluatori. Focus-grupurile necesită în mod obișnuit mai multe pregătiri și un moderator experimentat, prin urmare, vor fi folosite pentru evaluările la scară largă și atunci când informațiile generate de dinamica grupului sunt foarte valoroase pentru evaluare.
Metoda
Descriere
Când se folosește
Avantaje
Dezavantaje
Resurse necesare
Interviul aprofundat
Discuție formală sau informală cu o persoană pentru a strânge informații detaliate asupra unor subiecte specifice
Când doriți să obțineți informații detaliate de la persoanele-cheie.
Când există un număr relativ redus de persoane
Când persoanele pot ezita în a-și exprima opiniile de față cu alți oameni
Pentru oamenii care sunt ocupați, au o funcție
înaltă sau când reprezintă un grup de oameni specific
Nu este potrivită când doriți obținerea de informații numerice sau comparative.
Creează oportunitatea de a analiza subiectele în detaliu.
Generează date bogate și detalii despre program.
Poate genera opinii sincere, perspective individuale, idei noi.
Permite intervievatorului să explice întrebările și să obțină răspunsuri utile.
Oferă flexibilitate intervievatorului pentru a se ajusta în funcție de situație.
Poate obține răspunsuri spontane.
Necesită multe resurse și costisitoare pentru a ajunge la un număr mare de persoane.
Volum prea mare de informații și dificil de înregistrat
Este nevoie de oameni cunoscători și intervievatori buni în același timp.
Poate conduce către o accentuare a temelor favorite ale intervievaților.
Intervievator format
Dispozitive audio (opțional)
O persoană care bate la mașină transcrierea
O persoană care analizează răspunsurile
Sală de întâlniri
Focus-grupuri
Discuții în grupuri mici în jurul unui set de întrebări îndrumate de un moderator
Când doriți să adresați întrebări de tipul de ce și cum
Când doriți să testați/clarificați aspecte ce apar în timpul evaluării
Folosită pentru a observa percepțiile directe în comportamentul, atitudinile și limbajul respondenților
Interacțiunea respondenților poate genera răspunsuri detaliate și idei noi.
Participanții pot extinde ideile bazându-se pe comentariile celorlalți.
Permite analiza problemelor din diferite perspective și se obține o anumită sinergie.
Pot fi auzite mai multe opinii și idei.
Permite introducerea și testarea noilor idei.
Poate fi mai rapidă decât ancheta.
Poate fi mai puțin costisitoare (comparată cu multe interviuri aprofundate).
Poate ajunge la mai multe persoane decât interviurile aprofundate.
O singură persoană poate domina discuția și unele opinii pot fi trecute sub tăcere.
Succesul depinde de dinamica discuțiilor de grup.
Necesită multe resurse și este costisitoare.
Necesită un moderator experimentat și o sală specială.
Poate fi nereprezentativ din cauza unui număr redus de respondenți.
Este nevoie să aveți un număr acceptabil de participanți într-o singură sală și pe o perioadă de timp definită.
Moderator format
Dispozitive audio
Sală de întâlnire
O persoană care să analizeze răspunsurile
Vizitele la fața locului
Vizite la spațiile care furnizează servicii
Folosite pentru a obține informații directe și vizuale asupra furnizării de servicii și a schimbărilor raportate în mediul respectiv
Puteți fi sigur că veți obține informații directe și puteți observa furnizarea de servicii pe teren.
Poate combina vizitele la fața locului cu interviurile aprofundate sau anchetele.
- Poate necesita multe resurse și poate fi costisitoare în cazul în care sunt planificate multe activități.
- Poate necesita o echipă de evaluatori (formați) care să desfășoare mai multe activități diferite în decursul unei singure vizite.
Intervievatori și moderator formați (în cazul în care sunt prevăzute mai multe activități)
Dispozitive audio
Sală de întâlnire
O persoană care analizează răspunsurile
Dacă numărul utilizatorilor programului sau politicii supuși sondajului este redus și îi puteți acoperi pe toți, atunci realizați un recensământ^2. În cazul în care programul acoperă un număr mare de beneficiari, este nevoie să alegeți un eșantion pentru a evita costurile ridicate ale colectării de date. Eșantionarea este procesul de selectare a unităților (persoane, organizații, obiecte sau evenimente) acoperite de politică sau program astfel încât prin analiza eșantionului să puteți aplica rezultatele asupra utilizatorilor programului din rândul cărora ați selectat eșantionul. Un eșantion reprezintă numărul de unități incluse în sondajul dvs.
^2 În eșantionare, recensământul este un studiu ce acoperă toate unitățile populației-țintă.
Procesul de eșantionare implică anumite etape:
• determinarea cadrului de eșantionare;
• alegerea metodei de eșantionare;
• determinarea volumului eșantionului;
• realizarea eșantionării.
Procesul de eșantionare este descris în detaliu în Manualul de monitorizare și evaluare a politicilor publice care stă la baza acestei metodologii. Tot în acest manual sunt detaliate și principalele metode de analiză a datelor cantitative și calitative.
a) Instituții/Organizații/Asociații consultate
În această secțiune vor fi prezentate instituțiile, organizațiile și asociațiile consultate pe parcursul evaluării ex-post a actului normativ, precum și criteriile care au stat la baza selecției respectivelor entități.
De asemenea, se va descrie procesul de consultare, oferindu-se informații precum:
• modalitatea de consultare - chestionar, interviu, întâlnire față în față etc.;
• frecvența/numărul întâlnirilor - după caz.
b) Principalele contribuții ale entităților consultate în procesul de evaluare
În această secțiune vor fi prezentate contribuțiile părților consultate și, după caz, se va menționa care contribuții au fost preluate și care nu, oferindu-se și o scurtă justificare în acest sens.
În procesul de consultare este recomandat să se țină cont de prevederile Legii nr. 52/2003 privind transparența decizională în administrația publică, republicată, cu modificările ulterioare.
Evaluarea procesului de implementare
a) În această secțiune se va prezenta arhitectura instituțională implicată în implementarea actului normativ și se vor detalia competențele și responsabilitățile instituției/instituțiilor implicată/e, inclusiv a direcțiilor/departamentelor, procesele administrative etc.
b) Se vor descrie activitățile implementate conform actului normativ evaluat și, pe cât posibil, se vor oferi informații cu privire la resursele financiare, umane și logistice utilizate în implementare. Totodată, acolo unde există date, se va prezenta stadiul indicatorilor măsurați, prin raportare la țintele asumate inițial. Se va diferenția între activitățile finalizate și cele încă în curs de implementare și se vor oferi explicații cu privire la eventualele întârzieri.
Evaluarea impactului proiectului/proiectelor de acte normative^3
^3 Acolo unde impactul nu poate fi cuantificat/monetizat se vor descrie detaliat rezultatele obținute ca urmare a implementării proiectului/proiectelor de acte normative.
Această secțiune trebuie să conțină descrierea principalelor schimbări produse în situația grupurilor-țintă, în perioada implementării actului normativ^4. Astfel, pentru indicatorii stabiliți, pe baza datelor primare și secundare colectate pe parcursul procesului de evaluare, se vor descrie, prin comparație, principalele modificări survenite în domeniul reglementat de actul normativ evaluat. În funcție de scopul evaluării și de întrebările de evaluare stabilite la începutul procesului, accentul poate fi pus pe una, mai multe sau toate dimensiunile de impact enumerate mai jos:
a) impactul macroeconomic;
b) impactul macroeconomic și asupra mediului concurențial;
c) impactul asupra mediului de afaceri;
d) impactul social;
e) impactul asupra mediului înconjurător;
f) impactul asupra inovării și digitalizării^5;
^5 Se vor completa subpunctele relevante, în funcție de aspectele care au fost evaluate și tipul de impact generat.
g) impactul asupra obiectivelor de dezvoltare durabilă.
^4 Descrierea va include prezentarea principalilor indicatori la momentul evaluării comparativ cu stadiul lor la momentul adoptării proiectului/proiectelor de acte normative.
Metodele de evaluare a tipurilor de impact enumerate mai sus sunt similare cu cele utilizate în cazul evaluărilor ex-ante și sunt detaliate în Manualul de monitorizare și evaluare a politicilor publice care stă la baza acestei metodologii.
Aprecieri generale cu privire la implementarea proiectului/proiectelor de acte normative
În această secțiune se vor descrie principalele concluzii ale evaluării, prezentându-se atât aspectele pozitive, cât și elementele care necesită ajustări/îmbunătățiri sau la care se poate renunța.
În această secțiune se vor detalia rezultatele evaluării în funcție de criteriile de evaluare enumerate în continuare:
a) relevanță - argumentarea relevanței intervenției pe baza nevoilor societății;
• se va explica în ce măsură implementarea actului normativ a răspuns nevoilor reale ale societății așa cum au fost identificate acestea la momentul inițierii;
b) eficacitate - descrierea nivelului de îndeplinire a rezultatelor directe și a celor pe termen lung;
• se va descrie în ce măsură activitățile prevăzute în actul normativ au avut rezultatul scontat;
c) eficiență - descrierea rezultatelor din perspectiva raportului cost-beneficiu;
• se va descrie în ce măsură rezultatele realizate au fost obținute în mod eficient (cu cel mai bun raport cost-beneficiu);
d) implementare - performanța mecanismului de implementare a intervenției: structuri și procese;
• se vor descrie structurile și procesele de implementare și se va evalua performanța acestora;
e) impact - analiza impactului intervenției/în ce măsură schimbarea observată în urma evaluării este cauzată de reglementarea implementată;
• se va descrie în ce măsură impactul măsurat a fost determinat de implementarea actului normativ sau a avut la bază și alți factori externi aflați în afara controlului structurilor de implementare;
f) sustenabilitate - măsura în care rezultatele obținute pot fi de durată;
• se va explica în ce măsură rezultatele implementării actului normativ au generat schimbări de durată sau dacă sunt necesare intervenții suplimentare în vederea consolidării acestora. Se pot analiza diferite aspecte ale sustenabilității, precum: o schimbare de durată a situației conform obiectivelor propuse, sustenabilitatea economico-financiară a intervenției, sustenabilitate de mediu etc.;
g) dezvoltare durabilă
• se va explica în ce măsură rezultatele implementării actului normativ au generat schimbări asupra obiectivelor de dezvoltare durabilă sau dacă sunt necesare intervenții suplimentare în vederea consolidării acestuia. Se vor analiza cele 17 obiective de dezvoltare durabilă, fiind precizat tipul impactului (fără impact, impact minim, impact mediu, impact major) și se va motiva alegerea acelui impact.
În această secțiune se vor descrie distinct aspectele pozitive (realizările) implementării, precum și aspectele care nu s-au desfășurat conform așteptărilor și care necesită ajustări și îmbunătățiri (provocările).
Realizările și provocările vor fi analizate din perspectiva tuturor criteriilor de evaluare prezentate la secțiunea anterioară (IV.2).
Aici se vor descrie principalele recomandări de îmbunătățire a implementării care nu necesită modificări legislative. Acestea pot viza:
• îmbunătățiri de proces;
• ajustări de ținte;
• atragerea de resurse suplimentare (financiare, umane, logistice).
a) descrierea aspectelor ce necesită reglementare;
Se vor descrie acele aspecte observate în urma evaluării care necesită intervenții legislative pentru a putea fi ajustate/îmbunătățite și se va explica de ce se consideră necesară revizuirea legislației existente.
b) lista actelor normative ce vor trebui elaborate și/care necesită revizuiri, instituții responsabile și termene.
Se vor enumera actele normative care necesită modificări și se va specifica dacă este necesară emiterea unui act normativ nou.
Pot include:
a) lista documentelor/studiilor consultate în contextul evaluării;
b) analize aprofundate ale diferitelor aspecte evaluate;
b) studii de caz;
c) chestionare/ghiduri pentru interviuri și alte instrumente de cercetare utilizate.
Source: legislatie.just.ro (Official Gazette). The text shown is the current consolidated form (in Romanian).
We use cookies to analyze site traffic. See our Privacy Policy for details.