Evaluarea programelor in administratia publica

Evaluarea este o practica naturala, intalnita in toate aspectele vietii de zi cu zi. La un nivel de baza evaluarea programelor inseamna deplasarea acestui demers de evaluare cotidiana (de la gustul mancarii la temperatura apei din piscina) pentru a determina in ce masura eforturi organizate, numite programe, sunt destinate ajutarii, sprijinirii oamenilor care au nevoie de servicii ale administratiei publice. Evaluarea programelor inseamna un ansamblu de metode si abilitati necesare pentru a determina daca un serviciu public este necesar si va fi folosit, daca este suficient de bine organizat pentru a raspunde nevoilor existente, daca este oferit la nivelul la care s-a dorit si daca acest serviciu ofera asistenta celor care au nevoie, la un cost rezonabil si fara efecte secundare inacceptabile. Utilizand metode de cercetare din domeniul psihologiei, sociologiei, stiintei administratiei, economiei, educatiei, evaluatorii incearca sa contribuie la imbunatatirea programelor.

Exista cateva diferente esentiale intre evaluarile naturale, aproape automate, pe care le facem in viata de zi cu zi si evaluarile de programe in cazul organizatiilor publice. Aceste diferente fac evaluarea programelor mult mai dificila decat auto-evaluarea individuala:

Eforturile organizationale sunt aproape intotdeauna initiate si dezvoltate de catre o echipa de oameni. Aceasta specializare inseamna ca responsabilitatea in domeniul evaluarii programelor este difuzata la nivelul mai multor persoane. Mai mult, “produsul” programului in cauza (fie ca este vorba de un student bine educat, un pacient sanatos, etc.) nu reprezinta responsabilitatea unica a unui singur membru al echipei.

Cele mai multe programe vizeaza obiective ce pot fi observate mai degraba candva in viitor decat peste cateva minute, ca si in cazul evaluarilor noastre cotidiene. Datorita perioadei mai largi existente intre activitatea propriu-zisa si aparitia rezultatelor este mai dificil de stabilit ce trebuie urmarit pentru a decide daca activitatea in cauza este dezvoltata de o maniera pozitiva sau negativa si ceea ce trebuie facut pentru a imbunatati rezultatele existente. Mai mult, alegerea criteriilor pe baza carora se decide daca un program functioneaza bine sau nu produce dezbateri intre evaluatori, institutiile care aloca fondurile, clienti, in interiorul personalului, etc.;

Atunci cand isi evalueaza propria munca un individ joaca mai multe roluri: muncitor, evaluator, beneficiar al muncii, posesor al feed-back-ului, etc.; atunci cand este vorba de o evaluare de program aceste roluri sunt distribuite intre mai multi indivizi, ceea ce poate crea sensibilitati si probleme specifice.

Abordari ale conceptului de evaluare

1. Evaluarea actiunii unui program poate insemna explicarea mecanismului prin intermediul caruia actiunea in cauza este susceptibila a atinge obiectivul vizat.

2. Evaluarea unui program se poate situa la un nivel superior: care sunt nevoile colective ce trebuie satisfacute? Sunt ele reale? In ce masura pot fi ele satisfacute?

3. Evaluarea unui program poate insemna realizarea unui control asupra activitatii managerului de program: a urmarit acesta recomandarile ce i-au fost facute? A indeplinit obiectivele desemnate? Daca nu a facut-o care sunt motivele? A propus acesta modificari ale programului capabile sa il amelioreze?

4. Evaluarea unui program poate permite asigurarea coerentei intre obiective si scopurile organizatiei: corespunde realizarea obiectivelor programului cu scopurile generale ale institutiei publice?

5. In prelungirea punctului anterior, pentru a cunoaste consecintele unui program este necesar un demers de evaluare a impactului real al programului in cauza.

Putem, de asemenea, distinge:

evaluarea “a posteriori”, realizata dupa terminarea programului;

evaluarea programata, realizata in cursul punerii in practica a unei decizii publice.

Obiective ale evaluarii programelor

Folosirea regulata a metodelor stiintelor sociale in vederea monitorizarii

si evaluarii calitatii serviciilor a inceput in anii ’60, atunci cand guvernul

Statelor Unite a dorit sa isi construiasca activitatile de o maniera rationala,

efectiva si masurabila. Planificarea rationala a devenit o preocupare in anii ’60

datorita faptului ca extinderea rapida a programelor finantate de guvern a facut

ca abordarile traditionale sa fie depasite. In conditiile in care, spre exemplu,

intre 1960 si 1974 sprijinul federal pentru educatie a crescut de la 1% la 4,6%

iar cheltuielile in domeniul sanitar au avansat de la 1% la 7,6%, s-au facut

simtite atacuri care puneau sub semnul intrebarii eficienta acestei interventii

guvernamentale. Pe acest fond evaluarea programelor a devenit tot mai necesara

pentru obtinerea sprijinului in dezvoltarea acestui tip de actiuni.

Folosirea evaluarii programelor a cunoscut o crestere rapida pentru ca

informatia este necesara pentru a realiza obligatia de a oferi servicii eficiente.

Aceasta obligatie poate fi exprimata prin intermediul a sapte responsabilitati

direct legate de modalitatea in care metodele specifice evaluarii programelor pot

fi folosite pentru a le respecta.

1. Directionarea resurselor inspre satisfacerea unor nevoi ignorate

Serviciile publice trebuie sa vizeze satisfacerea unor nevoi ignorate pana

atunci; desi aceasta remarca poate parea de la sine inteleasa, deseori serviciile

sunt oferite in lipsa unui dialog real cu cetateanul vizat. Cu cat distanta intre cei

ce planifica aceste servicii si clienti este mai mare cu atat posibilitatile de a gresi

sunt mai mari.

2. Necesitatea de a verifica daca programele planificate ofera cu adevarat

servicii

Problema fundamentala in cazul programelor proiectate este ca multe nu

vor fi implementate niciodata sau vor fi implementate de o maniera diluata, ce

nu furnizeaza nici un beneficiu sau un beneficiu minimal celor care ar avea

nevoie. Este deci nevoie ca evaluatorii sa confirme ca personalul necesar

programului a fost angajat, birourile au fost deschise, serviciile sunt oferite iar

clientii beneficiaza in mod direct de ele. Exista multe exemple in care

programele, desi finantate, nu au fost puse in practica niciodata; uneori acest

lucru s-a datorat unor fraude, dar de multe ori a fost vorba de o slaba organizare

sau o intelegere gresita a nevoilor populatiei vizate.

3. Examinarea rezultatelor

Managerii, finantatorii, legislatorii doresc sa observe activitatea atunci

cand un program incepe sa se deruleze; aceste activitati exista insa cu adevarat

doar atunci cand rezultatele pot fi observate. A opera un serviciu nu inseamna a

oferi cu adevarat un serviciu publicului iar aceste doua concepte nu inseamna

automat a oferi un serviciu de calitate (Speer, Trapp, 1976). Pe baza acestor

observatii apare ca fiind necesar ca cei ce elaboreaza programele sa stabileasca

criterii susceptibile a identifica rezultatele existente.

4. Determinarea serviciilor care produc cele mai bune rezultate

Desi un program particular poate da rezultate bune, trebuie retinut faptul

ca serviciile publice pot fi oferite in diferite moduri, unele fiind mai eficiente

decat altele. Spre exemplu numeroase teorii incearca sa explice de ce unii

adolescenti adera la bandele urbane si comit infractiuni; pot fi sustinute idei

conform carora adolescentii cauta un substitut pentru familie, sunt atrasi de

“fructul oprit” sau banda in cauza le ofera protectie fata de alte grupari de acest

fel

Daca rezultatele mai multor programe din aceeasi sfera de interes sunt

foarte apropiate va fi aleasa varianta cea mai putin scumpa, ce va permite mai

multor oameni sa fie serviti sau oferirea unor servicii aditionale.

5. Selectarea tipurilor de programe ce ofera cele mai cerute servicii

In cazul administratiei publice pot fi oferite mai multe tipuri de servicii;

din nefericire nici o societate nu poate oferi toate serviciile pe care fiecare

persoana si le-ar dori. Evaluatorii cauta sa sprijine administratia in compararea

beneficiilor programelor ce se adreseaza diferitelor nevoi, pe baza unei varietati

de potentiali candidati. In mod traditional acest tip de alegeri a fost facut pe

baza intensitatii sprijinului/interventiei politice; desi politica este si va ramane

un factor puternic de influenta in democratii, abilitatile de a compara diferite

alternative se pot dovedi deosebit de folositoare in luarea unor decizii atunci

cand resursele sunt limitate, asa cum de obicei si sunt.

6. Furnizarea informatiei necesare pentru a mentine si imbunatati calitatea

serviciilor

Este interesant de observat faptul ca functionarea unui program, oferirea

de catre acesta, la un moment dat, a unor servicii catre cetatean este un aspect

distinct fata de mentinerea calitatii acestui program. Evaluatorii au dezvoltat

tehnici de monitorizare a programelor atat pentru a verifica daca serviciile sunt

oferite, acoperind cea dintai obligatie, cat si pentru a asigura clientii si

personalul ca aceeasi calitate va fi mentinuta.

Mai mult, noile abordari vizeaza nu atat ilustrarea efectului benefic al

programului la inceputurile sale sau mentinerea calitatii cat cautarea

imbunatatirii serviciilor existente.

Observarea efectelor secundare

Un alt element ce dovedeste importanta demersului evaluativ se refera la

faptul ca efortul de a rezolva o problema creeaza de multe ori efecte secundare

semnificative. Spre exemplu, o medicamentatie ce se dovedeste deosebit de

benefica intr-o anumita maladie poate crea probleme aditionale in alte domenii;

uneori aceste efecte sunt minore, alteori solicita atentie medicala particulara sau,

mai rar, sunt fatale. Pacientii si medicii trebuie sa constientizeze pericolul

reprezentat de aceste efecte, evitand atat minimizarea cat si maximizarea

importantei lor.

Evaluarea programelor poate contribui la dezvoltarea pozitiva a societatii

doar daca evaluatorii isi indeplinesc cu succes obligatia de a sprijini

administratia publica in identificarea nevoilor cele mai importante, in

planificarea eficienta, in domeniul monitorizarii atente, in evaluarea calitatii, in

detectarea efectelor secundare nedorite.

Tipologia evaluarii programelor

Obiectivele primare ale evaluarii (discutate in capitolul anterior) pot fi

atinse utilizand diferite tipuri de evaluare de programe; cele mai importante se

refera la studierea nevoilor, proceselor, rezultatelor si eficientei.

1. Evaluarea nevoilor

Evaluarea nevoilor urmareste identificarea si masurarea nivelului

nevoilor nesatisfacute in interiorul unei organizatii sau comunitati. Evaluarea

acestui tip de nevoi reprezinta primul pas necesar inainte de inceperea

proiectarii efective a programului in cauza. Proiectarea programului presupune

luarea in considerare a unei varietati de alternative in ceea ce priveste

satisfacerea acestor nevoi. In cadrul procesului de selectare a unor alternative

cei ce elaboreaza programul angajeaza o forma a evaluarii, lucru ce semnaleaza

asocierea stransa ce se face intre cei ce proiecteaza si cei ce evalueaza un

program

Ca parte a evaluarii nevoilor, evaluatorii pot examina profilul socioeconomic

al comunitatii in cauza, nivelul problemelor sociale, agentiile si

institutiile administrative implicate in oferirea de servicii. Prin intermediul

contactelor cu cetatenii si liderii comunitatii evaluatorii pot determina aspectele

din cadrul programului care pot fi folositoare precum si cele care apar a fi

inacceptabile

Diferite tipuri de nevoi:

Nevoi pe termen scurt. Multe programe sunt puse in aplicare pentru a ajuta

oameni aflati intr-o situatie de criza (asistenta medicala, sprijin financiar in

caz de catastrofe, etc.). Evaluarea unui program de pregatire a functionarilor

publici in vederea asimilarii de noi abilitati va fi diferita de cea a

programelor de pregatire dintr-o scoala generala.

Nevoi pe termen lung. Pentru a satisface anumite nevoi, serviciile publice

trebuie sa fie disponibile pe o perioada lunga de timp. Educatia pentru copii,

tratamentul unor boli, reabilitarea unor persoane ce sufera de alcoolism, etc.

sunt programe ce nu pot fi rezolvate intr-o perioada scurta de timp.

Nevoi potentiale. In mod ideal problemele existente nu trebuie sa se

dezvolte, sa devina mai complexe. Programele preventive sunt conduse in

ideea evitarii sau amanarii largirii problemelor (vezi educatia sanitara). In

mod evident evaluarea programelor de prevenire trebuie sa fie diferita fata de

evaluarea programelor ce vizeaza confruntarea cu problemele curente.

2. Evaluarea proceselor

Odata ce programul a fost dezvoltat si initiat evaluatorii se deplaseaza

spre misiunea de a identifica gradul in care implementarea are loc, profilul

oamenilor ce beneficiaza de program, nivelul la care el opereaza asa cum se

astepta. Evaluarea procesului include verificarea ipotezelor facute in faza

elaborarii programului. Corespund nevoile organizatiei/comunitatii cu ceea ce sa

crezut in faza de proiectare? Exista elemente care sa sustina evaluarea

REFERAT: Interguvernamentalismul - neofunctionalismul - se caracterizeaza prin REFERAT: RUSIA si spatiul heartland - problema Rimland-ului

nevoilor facuta in acea faza? Prezinta presupunerile de ordin teoretic facute de

initiatorii programului vreo legatura cu realitatea? Este esential sa se cunoasca

modul in care programul functioneaza cu adevarat, inainte de a fi implementat

in alt domeniu.

Necesitatea verificarii gradului de implementare a unui program poate fi

ilustrata de un exemplu prezentat de catre revista Time; acesta se refera la o

fabrica ruseasca de tractoare ce trebuia sa fie un model de eficienta. In realitate,

probleme majore aparute in faza de constructie au dus la abandonarea

proiectului; pentru a evita criticile, responsabilii proiectului au pretins ca fabrica

a fost terminata si ca, mai mult, a dat o productie record.

3. Evaluarea rezultatelor

Daca studiul de specialitate arata ca un program a fost implementat bine

si ca cetatenii se folosesc de serviciile oferite, o estimare a rezultatelor

programului in cauza poate deveni principala tinta a evaluarii. Aceasta evaluare

se poate desfasura pe cateva nivele de complexitate. Nivelul elementar se refera

la situatia celor care au beneficiat de serviciile oferite; la un nivel superior se

vor evalua performantele celor care au beneficiat de program, comparativ cu cei

care nu au facut-o. O evaluare plasata la un nivel si mai crescut de dificultate va

incerca sa determine daca cei ce au beneficiat de serviciile in cauza au cunoscut

o schimbare in bine a conditiei proprii.

Evaluatorii, ce cauta sa stabileasca rezultatele unui program, descopera

deseori ca oamenii au opinii diferite despre ce inseamna un rezultat de succes.

Spre exemplu, un program de pregatire a somerilor poate plati pentru ca acestia

sa invete o meserie noua, capabila sa le ofere un loc intr-o firma privata. Unii

dintre politicienii locali pot vedea accesul la acest curs ca o recompensa pentru

cei care au lucrat pentru ei in campania electorala; instructorii din cadrul

programului il pot percepe ca o slujba temporara destul de buna. In aceste

conditii este putin dificil sa se defineasca un rezultat pozitiv.

4. Evaluarea eficientei

Chiar atunci cand evaluatorii pot arata ca un program a ajutat

participantii, ei trebuie sa opereze cu probleme de cost. Guvernul si institutiile

administrative trebuie sa selecteze serviciile care pot fi sustinute financiar; un

program de succes, ce solicita insa o mare cantitate de resurse, se poate dovedi o

alegere proasta, in cazul in care rezultate similare se pot obtine pe baza unor

resurse reduse. Daca un evaluator este chemat sa compare doua sau mai multe

programe proiectate sa produca rezultate similare, eficienta trebuie accentuata

de o maniera riguroasa; este vorba aici de o analiza cost-eficacitate.

Acest tip de evaluare este deosebit de important pentru ca nici o

organizatie, publica sau privata, nu poate face totul, multumi pe toata lumea;

exista intotdeauna alegeri ce trebuie facute.

Este de observat ca cele patru modalitati de evaluare se afla intr-o relatie

de interdependenta. Fara estimarea nevoilor, planificarea/proiectarea nu poate fi

rationala; fara o implementare efectiva nu se pot obtine rezultate favorabile; iar

fara a obtine rezultate favorabile nu exista nici o evaluare a eficientei.

Scopul evaluarii programelor

Exista un scop esential, valabil in cazul tuturor activitatilor de evaluare: a

contribui la propunerea unor servicii de calitate celor care au nevoie de ele.

Aceasta contributie este adusa prin oferirea de feed-back referitor la activitatile

si rezultatele programelor celor care decid ce tip de servicii vor fi initiate. Fara

acest feed-back serviciile publice nu pot fi dezvoltate in mod eficient.

Figura de mai jos ilustreaza pozitia evaluarii programelor ca feed-back in

domeniul serviciilor publice.

Evaluarea programelor

Planuri si alocari

bugetare

Servicii publice Rezultate

Feed-back-ul poate fi oferit pe baza unor motivatii diferite. In primul

rand, evaluarile pot intari proiectele referitoare la un serviciu public si

functionarea acestuia in ideea imbunatatirii rezultatelor programului si cresterii

eficientei; acestea sunt evaluarile formative pentru ca ajuta chiar la formarea

programelor

In al doilea rand evaluarile pot ajuta in a decide daca un program trebuie

inceput, continuat sau ales din doua sau mai multe alternative; este vorba de

evaluari de insumare (summative evaluations). Exista o finalitate a acestui tip

de evaluare; odata ce “valoarea” programului a fost estimata acesta poate fi

intrerupt. In realitate foarte putine evaluari determina daca un program va fi sau

nu eliminat. Decidentii detin o multitudine de surse de informatii referitoare la

programele in derulare; deoarece evaluarea este doar una dintre aceste surse, nu

este surprinzator pentru evaluatori ca, de multe ori, evaluari extrem de clare si

riguroase nu sunt urmate de decizii specifice.

Odata ce un program a fost reconfigurat pe baza feed-back-ului oferit de

evaluarea formativa si estimat ca fiind efectiv pe baza evaluarii de insumare, un

feed-back devine necesar pentru mentinerea calitatii programului. Aceasta este

evaluarea tip monitorizare. Monitorizarea proceselor esentiale si rezultatelor

programului pentru a verifica daca acesta ramane eficient reprezinta o activitate

cruciala, in faza post-implementare.

Probleme de studiu

1. Este posibila aplicarea evaluarii programelor in organizatia din care faceti

parte? Argumentati.

2. Definiti avantajele si dezavantajele evaluarii programelor in domeniul

serviciilor publice.

Pregatirea unui demers de evaluare – etape

Identificarea programului in cauza si a participantilor.

Obtinerea descrierii programului. Primul lucru necesar in evaluarea unui

program este, pentru cel ce doreste realizarea acestui lucru, obtinerea descrierii

programului. Este important astfel daca evaluarea este propusa pentru un

program nou sau pentru unul care are o anumita vechime; daca tine de un

management la nivel local sau este difuzat in multiple puncte; daca diferitele

persoane implicate in program fac acest lucru pe baza voluntara sau sunt

desemnate; daca programul se adreseaza unui numar mic sau mare de persoane;

daca din punct de vedere teoretic programul este bine articulat sau daca este

bazat pe perceptii superficiale.

Contactarea participantilor. Urmatorul lucru pe care evaluatorul trebuie

sa il ia in considerare este identificarea participantilor; acestia semnifica

persoanele implicate in program, ce obtin o parte din venituri din program, a

caror viitoare cariera poate fi afectata de calitatea programului sau cei care sunt

clienti sau potentiali beneficiari ai serviciilor oferite de acesta.

Personalul ce lucreaza in cadrul programului este de obicei mult mai

implicat din punct de vedere subiectiv decat cei ce aloca sumele necesare

(“sponsorii”) sau clientii. Directorul de program este astfel o persoana cheie cu

care evaluatorul trebuie sa se afle in legatura pe parcursul intregii actiuni. Este

important de urmarit aspecte precum: pregatirea directorului, reputatia acestuia,

filosofia programului, viziunea existenta. Totodata trebuie implicat in acest tip

de abordare si personalul existent; aceasta implicare trebuie sa fie initiata

devreme pentru a putea furniza elemente detailate privind viata interna a

organizatiei in cauza, elemente ce nu pot fi oferite decat de catre persoanele ce

cunosc cu adevarat ce se intampla in activitatea de zi cu zi, rutiniera. Relatia

intre directorul de program si personal este de asemenea extrem de importanta;

un consens asupra necesitatii unui demers de evaluare creste semnificativ

sansele ca intreg grupul sa coopereze in planificarea evaluarii, colectarea

datelor, utilizarea rezultatelor.

Cei ce aloca fondurile necesare programului (“sponsorii”) trebuie de

asemenea avuti in considerare. Uneori chiar personalul programului este cel

care ofera fondurile; alteori este vorba de fundatii, agentii guvernamentale,

diverse institutii. Este important ca evaluatorii sa se intalneasca cu aceasta

categorie de persoane inca de la inceputul procesului de evaluare.

Clientii sau beneficiarii programului trebuie, de asemenea, identificati.

Tipul de contact cu clientii va diferi in functie de diferitele tipuri de evaluari sau

de programe:

- in cadrul evaluarii serviciilor ce se refera la comunitati semnificativ

extinse se poate contacta doar un mic numar de reprezentati alesi,

- in cadrul evaluarii ce se refera la diferite institutii (scoli spre exemplu)

se poate contacta un numar mai mare de persoane implicate (parinti in

cazul amintit),

- in cadrul evaluarilor ce se refera la programe de mici dimensiuni se

pot implica, intr-o masura sau alta, toti participantii.

In toate aceste cazuri este necesar a detine o buna percepere a nevoilor

participantilor pentru ca, la urma urmelor, programele oferite de serviciile

publice se subordoneaza ideii de servire a publicului.

Familiarizarea cu informatia necesara

Un evaluator trebuie sa raspunda, in faza urmatoare identificarii

elementelor esentiale ale programului si participantilor, urmatoarelor intrebari:

1. Cine doreste realizarea acestei evaluari?

2. Ce tip de evaluare este potrivita?

3. De ce este dorita aceasta evaluare?

4. Cand este dorita realizarea acestei evaluari?

5. Ce resurse sunt disponibile pentru a sustine evaluarea?

1. Cine doreste realizarea evaluarii?

In mod ideal, atat “sponsorii” cat si personalul doresc o evaluare a

programului. In acest caz evaluatorii vor lucra cu oamenii ce doresc sa verifice

daca programul satisface asteptarile lor si care vor sa imbunatateasca

functionarea acestuia.

Daca “sponsorii” sunt cei ce initiaza demersul de evaluare, evaluatorii se

vor confrunta cu necesitatea de a-i face pe cei din personal sa perceapa pozitiv

scopurile si metodologia initiate. In caz de esec in aceasta incercare ei vor trebui

sa faca fata unei rezistente active sau pasive; in ambele cazuri ei nu vor obtine

gradul necesar de cooperare pentru a duce proiectul la bun sfarsit. Atunci cand

echipa ce lucreaza in organizatia vizata percepe evaluarea ca fiind o cale de a

imbunatati eficienta muncii prestate, oamenii vor fi mult mai dispusi sa asigure

evaluatorilor asistenta de care au nevoie in culegerea datelor si sa le furnizeze

elemente importante in procesul de interpretare a datelor.

In cazul in care personalul este cel care a initiat/propus evaluarea,

evaluatorii trebuie sa se asigure ca si “sponsorii” sunt convinsi de utilitatea

demersului. Daca acestia sunt dezinteresati nu vor sustine procesul in sine si nu

vor fi interesati in a sprijini modificarile ce vor fi recomandate.

2. Ce tip de evaluare este potrivit?

Pe parcursul intalnirilor avute cu “sponsorii” sau personalul este de multe

ori evident pentru specialisti ca termenul de evaluare de program nu are aceeasi

acceptiune pentru toata lumea. Desi ar parea a fi mai pozitiv pentru ei sa

gandeasca in termeni de evaluare formativa sau de monitorizare, care ar permite

identificarea aspectelor pozitive ale programului si modificarea/imbunatatirea

altor aspecte, de multe ori personalul prefera evidentierea eforturilor curente pe

care le depune. “Sponsorii” pot prefera o evaluare sumativa in cazul in care se

afla sub presiune pentru a canaliza resursele spre alte programe. Uneori pot

exista, de asemenea, confuzii intre colectarea de date si masurarea

performantelor individuale (similare cu cele din scoala).

In acest punct evaluatorii pot ajuta participantii la program sa inteleaga ce

tip de evaluare corespunde cel mai bine nevoilor si resurselor existente.

Alegerea se face rar intre modele distincte de evaluare; de multe ori

incorporarea unor elemente specifice diferitelor tipuri de evaluare poate fi

deosebit de benefica, in functie de scopurile programului si resursele

disponibile

3. De ce este dorita evaluarea?

Initierea unei evaluari reprezinta rareori rezultatul unei cautari stiintifice

dezinteresate; mult mai des este vorba de nevoi ale unor forte politice. Astfel

“sponsorii” trebuie de multe ori sa dea alegatorilor motive pentru a pastra un

program finantat pe baza banilor publici. Evaluarea efectiva a programelor

acorda un grad inalt de importanta identificarii motivelor ce stau la baza

solicitarii acestei evaluari. Exista anumite grupuri in interiorul organizatiei care

pun sub semnul intrebarii necesitatea existentei programului? Exista o intentie

de a folosi rezultatele evaluarii pentru a imbunatati sistemul de luare a

deciziilor? Evaluatorii sunt constienti de faptul ca diferitii participanti pot avea

diferite prioritati. Unii doresc o functionare generala satisfacatoare a

programului, altii vizeaza identificarea unor elemente de natura a le imbunatati

munca, iar altii pot urmari o extindere a programului. Unul din rolurile

evaluatorilor este de a sustine realizarea unui consens referitor la rolul evaluarii,

intre “sponsori” si participanti.

Anumite ratiuni ce stau la baza unei evaluari pot fi considerate ca fiind

indezirabile; spre exemplu atunci cand ea este ceruta pentru a permite unui

manager sa evite luarea unei decizii sau atunci cand managerul stie deja ce

decizie va lua dar doreste o legitimare.

4. Cand este dorita realizarea evaluarii?

Participantii pot dori de multe ori ca evaluarea sa fie realizata rapid.

Datorita acestui lucru planificarea demersului trebuie sa includa un echilibru

intre preferintele participantilor la program si timpul necesar realizarii unei

evaluari serioase. Este necesar ca evaluatorii sa ia in considerare timpul necesar

pentru a pregati un proiect, a culege informatiile, a aranja diversele intalniri, a

gasi un numar rezonabil de participanti si a sintetiza observatiile pentru

alcatuirea raportului final. Nu exista formule general valabile pentru a determina

cat va dura realizarea unui demers de evaluare; se poate insa dezvolta o

perceptie a relatiei intre scopul proiectului si timpul necesar pentru completarea

evaluarii. O tehnica susceptibila a oferi rezultate pozitive este impartirea

proiectului in etape mici si estimarea timpului necesar fiecareia.

5. Ce resurse sunt disponibile

Un alt factor ce poate limita evaluarea este reprezentat de resurse. Este de

recomandat pentru evaluatori realizarea unei liste initiale exacte referitoare la

resursele necesare.

Planificarea unui demers de evaluare

Documentarea

Atunci cand evaluatorii lucreaza intr-un domeniu nou pentru ei este

important sa realizeze o documentare atenta inainte de initierea demersului

propriu-zis. Ei pot identifica informatii semnificative susceptibile a oferi un

tablou metodologic si politic precum si o imagine a dificultatilor practice

existente

Atunci cand posibile rapoarte existente sunt studiate este important pentru

evaluatori sa isi orienteze studiul pe cateva intrebari cheie: In ce masura

programul evaluat inainte este similar cu cel ce urmeaza sa fie evaluat? Ce tip

de cercetare a fost adoptata? Exista un consens intre rapoartele existente? Ce

probleme importante nu au fost considerate?

Determinarea metodologiei

Dupa realizarea documentarii evaluatorii trebuie sa fie in masura a lua

anumite decizii referitoare la metodologie: proceduri de esantionare, designul

cercetarii, colectarea datelor, analize statistice.

Odata ce populatia vizata de program este identificata, evaluatorii trebuie

sa decida daca vor utiliza intreaga populatie, un esantion aleatoriu sau un

esantion ales pe baza altor argumente. Unul dintre argumentele cele mai

importante pentru a include intreaga populatie vizata este de ordin politic:

anumiti oameni pot fi ofensati de neincluderea lor in proiect. Evaluarea in

interiorul unei organizatii de mari proportii are de castigat daca toti angajatii au

posibilitatea de a participa.

Uneori selectarea anumitor grupuri in cadrul demersului de evaluare este

de preferat pentru ca exista preocupari referitoare la profilul participantilor la

program sau persoane cu probleme particulare/specifice. Unii autori sugereaza

ca evaluatorii trebuie sa includa participanti selectati pe baza unei varietati de

elemente

Exista doua motive principale pentru folosirea unui esantion de

participanti si nu a intregii populatii: evaluarea programelor trebuie sa fie

realizata intr-o perioada data de timp si pe baza unui buget. O strategie gandita

pentru a selecta un esantion si a obtine date de la un numar cat mai mare de

componenti ai acestuia este preferabila obtinerii unui numar redus de date din

ansamblul populatiei vizate (altfel spus 75 de raspunsuri obtinute dintr-un

esantion de 100 de persoane este preferabil alternativei de 25% raspunsuri dintro

populatie de 1000 de persoane). Exista uneori tendinta gresita de a se accentua

mai mult marimea esantionului decat reprezentativitatea sa.

Un alt pas important in selectarea metodologiei se refera la alegerea unui

model de cercetare; aceasta alegere depinde de constrangerile existente

(scopurile evaluarii, preferintele participantilor, timpul si fondurile avute la

dispozitie). Unele evaluari vizeaza doar o serie de interviuri, altele se bazeaza

pe o examinare creativa a datelor existente, iar altele se bazeaza pe tehnici

specifice in cercetarile tip.

Folosirea unor criterii multiple, din diferite surse, este susceptibila a

aduce cele mai bune informatii pentru realizarea evaluarii. Participantii la

program reprezinta, ei insisi, una dintre cele mai importante si accesibile surse

de date. In anumite cazuri (mai ales atunci cand participantii sunt foarte tineri)

anumite persoane apropiate acestora – cum ar fi membrii familiei - pot furniza

informatii utile.

Prezentarea unui proiect scris

In faza urmatoare documentarii si alegerii metodologiei evaluatorii

trebuie sa prezinte un proiect scris. Acceptarea acestui proiect asigura faptul ca

evaluatorii si personalul au cazut de acord in ceea ce priveste natura scopurilor

programului, criteriile folosite, si structurarea programului in vederea evaluarii.

Este important, din punct de vedere psihologic si practic, ca personalul implicat

in program sa inteleaga procesul evaluarii, sa nu il perceapa in mod negativ si

chiar sa manifeste o doza de entuziasm in ceea ce priveste informatiile ce vor fi

obtinute

In cazul existentei unui contract scris este important ca sarcinile

evaluatorului sa fie clar precizate si toate responsabilitatile sa fie foarte clare; de

asemenea este important sa se includa elemente referitoare la estimarile de

costuri existente. Oricum, realizarea unor astfel de intelegeri scrise ajuta in

mentinerea unor asteptari similare referitoare la evaluare din partea tuturor

participantilor; eventualele diferente in acest domeniu al asteptarilor pot fi

ulterior renegociate. Folosirea acestui tip de comunicare scrisa nu trebuie

interpretata ca semnificand neaparat o lipsa de incredere; ea trebuie vazuta ca o

incercare de evitare a unor probleme suplimentare datorate diferentelor de

perceptie

Modele de evaluare

Fiecare din modelele ce vor fi discutate include aspecte valabile in cazul

evaluarii programelor. Valoarea cunoasterii modelelor este direct legata de

dezvoltarea unei aprecieri a tipurilor de intrebari/abordari pe care evaluatorul le

poate lua in considerare. Problemele specifice urmarite de evaluator in cadrul

unui program specific pot face ca unul sau altul din modelele existente sa fie

privilegiat. Este deosebit de important pentru evaluatori si participantii la

program sa evite selectarea unui model ca reprezentand abordarea “corecta”

inainte de a analiza datele si tipul de probleme/intrebari la care evaluarea trebuie

sa ofere un raspuns.

1. Modelul traditional. In cazul acestui model clasic cei care ofereau servicii

publice erau liberi sa lucreze asa cum considerau a fi cel mai bine, fara a se

acorda o prea mare atentie evaluarii formale sau rezultatelor legate de eforturile

lor. Evaluarea muncii era realizata pe baza unor impresii formate de o maniera

informala de catre superiorii ierarhici. Nu este surprinzator faptul ca un

asemenea tip de evaluare tinde sa se subsumeze servirii interesului organizatiei

in cauza si nu sa vizeze in principal pe provocarea pozitiva a conducatorilor si

echipei existente. Aceasta observatie nu inseamna neaparat ca profesionistii

spatiului public ar fi prin definitie lipsiti de onestitate sau dezinteresati in

oferirea unor servicii de calitate; insa fara o analiza riguroasa, bazata pe modele

formale de evaluare, chiar si cei mai bine intentionati evaluatori pot fi

influentati in sens negativ.

2. Modelul bazat pe cercetarea specifica stiintelor sociale. Intr-un efort de a

face evaluarea mai riguroasa unii evaluatori au perceput evaluarea ca o forma

specializata a cercetarii in stiintele sociale. Gradul de a determina gradul de

succes al unui program a fost de a forma doua grupuri, oferind unuia accesul la

un anumit serviciu si folosindu-l pe celalalt ca grup de control. Dupa incheierea

programului membrii ambelor grupuri sunt supusi observatiei. Teste statistice

sunt aplicate rezultatelor; daca contrastul intre grupul ”tratat” si grupul de

control este semnificativ din punct de vedere statistic, programul este considerat

a avea succes. A concluziona ca un program nu are succes doar pentru ca un test

statistic nu a avut relevanta dorita este insa o greseala; totusi aceasta abordare a

adus un grad mai mare de rigoare si obiectivitate in evaluarea programelor.

3. Modelul de inspectie industriala. O abordare in cazul evaluarii folosita

uneori in industrie se bazeaza pe inspectarea/verificarea produsului odata ce

acesta ajunge la capatul liniei de fabricatie. Daca sunt descoperite scapari,

produsul este “reparat” inainte de a fi oferit consumatorului. Aceasta abordare

este insuficienta si conduce la costuri extrem de ridicate. Este mult mai putin

costisitor sa se realizeze o munca de calitate de la inceput.

4. Evaluarea de tipul “cutiei negre”. Aceasta abordare se refera la acele

evaluari care examineaza rezultatele unui program fara a examina si operatiile

interne. In anumite situatii acesta este tipul de evaluare cerut. Astfel, inainte de

a cumpara o masina, multi oameni studiaza reviste de specialitate pentru a vedea

care este cea mai buna alegere. Odata ce cumparatorul nu se afla in pozitia de a

corecta defectiunile sau imbunatati automobilul, este prea putin relevant sa stie

de ce motorul porneste greu sau transmisia nu este foarte buna. Consumatorul

are nevoie sa stie care masina are performante mai bune decat alta, nu care sunt

motivele ce stau la baza acestei situatii. Asemenea tip de evaluare nu poate insa

fi folosit in cazul programelor sociale in cadrul carora se asteapta ca evaluarea

sa duca la imbunatatiri a programului in cauza.

5. Evaluarea in afara scopurilor. Incercarea de a evita o prematura

concentrare asupra scopurilor duce la constatarea ca evaluatorii vor munci mai

bine in cazul in care nu cunosc scopurile stabilite ale programului. Evaluatorii

care cunosc aceste scopuri pot, in mod neintentionat, sa se directioneze inspre

informatii care le sustin si sa nu observe modul in care programul este de fapt

administrat sau impactul pe care il are asupra clientilor. Un evaluator situat in

afara definirii exacte a scopurilor foloseste o perioada mai lunga studiind

programul din punctul de vedere al administrarii, personalului implicat,

clientilor, elementelor existente si susceptibile a identifica toate aspectele

pozitive si negative ale programului. Ulterior sponsorii si personalul vor decide

in ce masura concluziile evaluatorului sunt compatibile cu scopurile declarate

ale programului si nevoile clientilor.

6. Evaluarea financiara. Teoretic, cea mai obiectiva evaluare presupune

calcularea investitiilor financiare necesare pentru a sustine un program si

“returnarea” acestor investitii. Cand se decide o investitie planificatorii

imagineaza modalitatile prin care aceasta schimbare va afecta suma banilor ce

va intra in organizatie. Evaluarea financiara reaminteste evaluatorilor ca toate

serviciile au nevoie de resurse si ca aceste costuri nu pot fi ignorate. Pe de alta

parte, multe decizii in domeniul selectarii unor servicii nu pot fi luate pe strict

pe un asemenea tip de rationament, date fiind caracteristicile serviciului public.

Modelul de tip audit. Programele bazate pe finantare din fonduri publice

trebuie sa isi foloseasca resursele in activitati care au fost prevazute atunci cand

programul a fost aprobat. Programele mari implica o multime de manageri,

situati in diferite locuri, in diferite zone geografice. Rolul institutiilor ce practica

un asemenea tip de evaluare este de a verifica daca fondurile statului sustin

servicii efective oferite grupurilor identificate a avea nevoie de ele in legislatia

ce a creat respectivul serviciu. Deoarece acest tip de evaluare se concentreaza

prea mult pe conformitatea cu legislatia, el nu poate fi aplicat in mod universal.

8. Modelul bazat pe opinia expertilor. O abordare care incearca sa inlature

auto-sustinerea abordarilor traditionale si sa evite limitele evaluarii financiare si

de tipul ”cutiei negre’ presupune implicarea unor experti care examineaza

programul. Critica in domeniul literaturii sau artei este o forma de evaluare in

care o persoana specializata examineaza si exprima o judecata referitoare la

calitatea muncii depuse; desi critica de arta este subiectiva, evaluarea bazata pe

opinia expertilor se poate baza pe date obiective. Spre exemplu o evaluare a

unor constructii de locuinte construite din fonduri publice poate include

elemente precum calitatea constructiei si design-ului, timpul necesar, etc. Unele

decizii in cazul unor studii de acest fel sunt in mod evident luate atat pe baza

unor informatii obiective, cantitative cat si pe baza unor impresii calitative.

Opinia expertilor este des folosita atunci cand entitatea studiata are dimensiuni

largi, este complexa. Spre exemplu, deciziile in domeniul acreditarii

universitare trebuie sa fie bazate pe recomandarile unei echipe de experti care

examineaza datele cantitative existente, inspecteaza cladirile, discuta cu

studentii, administratorii, personalul si profesorii existenti.

9. Modelul naturalistic. Atunci cand evaluatorii nu doresc sa isi restranga

viziunea proprie prin concentrarea exclusiva in directia scopurilor stabilite ale

organizatiei, dar doresc sa isi imbunatateasca capacitatile de a percepe

perspectivele pozitive ale programului, ei folosesc uneori metode calitative ce

conduc la o evaluare naturalista. In acest demers evaluatorul devine el insusi

instrumentul de colectare a datelor. Prin observarea personala a fazelor

programului evaluatorul cauta sa obtina o intelegere completa a programului,

clientilor acestuia si a mediului social. Datorita multitudinii de detalii incluse

rapoartele pot fi uneori extrem de lungi.

10. Modelul axat pe realizarea unor imbunatatiri. Unii autori au dezvoltat un

model de evaluare in cadrul caruia atentia este acordata in principal

imbunatatirilor ce pot fi aduse programului si nu unei metodologii particulare.

Imbunatatirile pot fi realizate in interiorul programului atunci cand discrepante

semnificative sunt observate intre ceea ce exista si ceea ce a fost planificat,

proiectat sau dorit. Evaluatorii sustin personalul programului in incercarea de a

descoperi clivajele existente intre implementarea programului si planurile

definite anterior, intre asteptarile populatiei si serviciile oferite de fapt sau intre

rezultatele obtinute si cele asteptate. Efortul de identificare a discrepantelor nu

se datoreaza vreunei tendinte punitive a evaluatorilor; insa daca scopul evaluarii

este de a imbunatati calitatea programului (si aproape intotdeauna acesta este

scopul) discrepantele ofera o posibilitate de a cauta si identifica imbunatatiri

reale, efective. Pentru a creste calitatea unui program, personalul angajat in

derularea lui trebuie sa isi explice ce nu functioneaza asa cum se astepta.

Acest model pare a intruni cele mai bune criterii necesare unei evaluari

eficiente: raspunde nevoilor participantilor, ofera informatii valide, ofera un

punct de vedere alternativ.

Utilizarea rezultatelor evaluarii

Din punctul de vedere al utilitatii evaluarea programelor poate fi privita

din trei puncte de vedere distincte:

utilizarea directa sau instrumentala; acest aspect se refera la utilizarea

specifica a rezultatelor evaluarii de catre cei care iau deciziile in domeniul

public. Spre exemplu o evaluare in domeniul medical, referitoare la durata

spitalizarii poate constata ca pacientii ce dispun de resurse limitate sunt

spitalizati pe o perioada mai scurta de timp; acest lucru poate duce la o

imbunatatire a programelor medicale pentru persoanele sarace;

utilizarea conceptuala; aceasta se refera la folosirea evaluarii in directia

influentarii perceptiei unei probleme in general. Astfel, o anumita evaluare in

domeniul serviciilor sanitare poate modifica viziunea existenta din partea

publicului, chiar daca nu duce la modificarea unor programe specifice.

utilizarea persuasiva; aceasta se refera la folosirea rezultatelor evaluarii intrun

efort ce vizeaza fie sprijinirea fie criticarea unei atitudini politice, altfel

spus pentru apararea sau atacarea status quo-ului. Spre exemplu

administratia Reagan a folosit in mod frecvent, pentru apararea politicii

proprii de reducere a programelor sociale, evaluari ce probau lipsa unui

impact pozitiv in cazul multor programe majore in acest domeniu.