Evaluarea - evaluarea propunerilor de

Evaluarea pe un nivel este specifica evalaurii unui articol deoarece intre evaluatori si autor exista o comunicare permanenta care conduce la realizarea de corectii ale lucrarii spre un optim.

In cazul evaluarii propunerilor de proiecte, lucrarea depusa este definitiva deoarece ea participa la un concurs , o licitatie si ea nu mai poate fi modificata . In acest fel, singura care se paote modifica este opinia evaluatorilor.

Se pot imagina urmatoarele situatii:

1. Evaluarea a fost realizata, toti evalautorii au punctat lucrarea cu valori apropiate, autorul accepta punctual de vedere al evaluatorilor.
2. Evaluarea a fost realizata, toti evalautorii au punctat lucrarea cu valori apropiate, autorul nu accepta punctual de vedere al evaluatorilor.

Situatii posibile:

a)      Finantatorul prevede rezultatul evaluarii ca final si se bazeaza pe faptul ca a existat un grup de evaluare.

Solutie:

Autorul ramane cu punctajul si pozitia obtinuta prin prima evaluare.

Comentariu:

Solutia poate fi privita ca discutabila data fiind sursa publica a fondurilor si necesitatea asigurarii transparentei si a sanselor egale.Cu toate acestea, solutia este una normala daca se considera evaluatorii ca persoane calificate si responsabile.

b)      Finantatorul prevede continuarea evaluarii la cererea de contestatie venita din aprtea autorului.

Solutie:

Se aplica procedura de contestatie stabilita de finantator.

3. Evaluarea a fost realizata, evaluatorii au punctat lucrarea cu valori apreciabil de diferite, autorul nu accepta punctul de vedere al evaluatorilor.

Solutie:

Se aplica procedura de contestatie stabilita in prealabil de finantator.

4. Evaluarea a fost realizata, evaluatorii au punctat lucrarea cu valori apreciabil de diferite, finantatorul nu accepta punctul de vedere al evaluatorilor.

Solutie:

Se aplica procedura de contestatie stabilita in prealabil de finantator.

Care ar putea fi in aceste cazuri procedura de contestatie?

In diferite sisteme de evaluare solutiile sunt diferite.

1. Evaluarea prin convocarea panelului de evaluatori. Solutia consta in reunirea evaluatorilor si solicitarea ca ei sa ajunga la un acord.

Critica procedurii:

Astfel de procedura pune, in mod indirect, in discutie competenta individuala a fiecarui evaluator, faptul ca raspunderea profesionala ar putea fi a unui grup, cu alte cuvinte ca ea poate fi stabilita pe baza unui sistem plebiscitar.

Se pune, in acest mod, in discutie faptul ca nu exista standard profesional ci numai consens.

2. Evaluarea prin convocarea nivelului al doilea de evaluare. Solutia presupune activarea unui grup similar de evaluatori.

Critica procedurii:

Si in acest fel este pusa in discutie competenta profesionala individuala a membrilor primului grup de evaluatori.

Solutia creeaza impresia falsa a unor niveluri de calificare diferita intre evaluatori.

Procedura inseamna cresterea implicita a duratei procesului de evaluare.

Se pune problema obiectului de evaluat: se reevalueaza propunerea de proiect sau se face judecarea primei evaluari? In oricare dintre situatii se va putea constata un mod defectuos de apreciere cel putin din partea unei persoane.

C.      Evaluarea prin convocarea nivelului al doilea de evaluare. Solutia presupune activarea unui singur evaluator cu rol de instanta de apel.El ar trebui sa faca reevaluarea numai pe aspectele pentru care evaluatorii nivelului anterior nu au ajuns intr-o plaja similara de notari numerice.

Critica procedurii:

Solutia reprezinta intr-adevar o situatie de apel si in urma sa exosta premisele ca persoana care si-a depasit mandatul sa poata fi trasa la raspundere.

Procedura este mult mai corecta deoarece ea vine sa creeze o solutie corectata e baza unor standarde profesionale si pe baze straine acestora.

In concluzie, consider ca procedura de evaluare care poate fi aplicata in mod sistematic in cadrul licitatiilor cu finantare publica este cea din tabelul de mai jos:

Pasul 1:	Fiecare propunere de proiect inregistrata este evaluata de un grup de doi evaluatori. Fiecare propunere este notata pe o scara unica de valori, fie ea de la 1 100.
Pasul 2:	Rezultatul evaluarii este dat de media celor doua valori daca valorile pentru fiecare criteriu de evaluare difera intre ele cu mai putin de x% din valoarea maxim afectata, unde x este valoarea impusa in mod initial de finantator.
Pasul 3:	Daca rezultatele pentru cel putin unul dintre criterii difera cu mai mult de x% din valoarea maxim afectata, atunci este numit un evaluator de apel. Evaluatorul de apel nu cunoaste identitatea evaluatorilor initiali si nici valoarea acordata de acestia componentelor in litigiu.
Pasul 4:	Evaluatorul de apel evalueaza propunerea de proiect numai pe componenta sau componentele in litigiu.
Pasul 5:	Rezultatul evaluarii pe componentele in litigiu se formeaza ca media celor mai apropiate valori dintre cele ale evaluatorilor initiali si ale evaluatorului de apel.
Pasul 6:	Rezultatul evaluarii intregii propuneri este dat de suma punctajelor initiale nelitigioase si al punctajelor litigioase solutionate prin apel.
Pasul 7:	Daca numarul de componente in litigiu pentru proiectul evaluat este mai mare decat y% din numarul total de criterii de evaluat, unde y este stabilit de finantator iar in punctajele finale pe componente unul din evaluatorii initiali nu intra in cel mult z cazuri de litigiu pe aceeasi propunere de proiect, acesta este penalizat prin suspendarea dreptului de evaluare pe un anumit numar de licitatii stabilit de finantator. Lucrare: Definitia si fizica culorilor - valuarea prin culoare Referat: Proiect la gestiunea financiara a intreprinderii

Am plecat de la premisa ca pentru evaluarea fiecare propuneri in parte s-a definit un set de criterii, fiecare notat separat si ca scorul sau nota acordata rezulta prin insumarea notelor partiale afectate fiecarui criteriu.

O problema care ramane deschisa este cea a independentei evaluatorilor.

Acest lucru presupune ca la un moment dat, cel putin in licitatia in curs nicio persoana care este initiator sau membru al vreunei echipe a unei propuneri de proiect sa nu ajunga sa fie evaluator selectat.

Un alt aspect deosebit care trebuie subliniat se refera la calificare. Acest lucru presupune ca persoanele care doresc sa activeze ca evaluatori ai unor sisteme de licitatii din banii publici, sa posede un minim de scolarizare cu actualizari periodice.

Evaluarea stiintifica a propunerii de proiect

Evaluarea stiitifica este destinata studiului serviciului pe care initiatorul il propune. Recenzorul trebuie sa tina seama de maniera in care este realizata descrierea propunerii de proiect si de asemenea de modul in care initiatorul raspunde la intrebarile:

Cum raspunde propunerea criteriilor de eligibilitate stabilite de finantator?

Orice participare la o licitatie, fie ea si de propuneri de proiect de cercetare trebuie sa raspunda in primul rand interesului finantatorului. Recenzorul trebuie sa fie constient in orice moment ca el deserveste finantatorul. De aceea el trebuie sa acorde o atentie maxima argumentelor si conditiilor care pot dovedi ca propunerea de proiect raspunde criteriilor de eligibilitate impuse de finantator.

Indeplinirea criteriilor de eligibilitate se analizeaza in integralitatea lor si reprezinta o conditie eliminatorie de participare la competitie.

Se penalizeaza propunerea care incalca criteriile de eligibilitate impuse de finantator. Penalizarea merge pana la eliminarea propunerii din competitie.

Cum se incadreaza tema in domeniile de interes posibile?

Trebuie urmarit in primul rand modul in care intiiatorul si-a orientat propunerea spre o tema care sa fie incadrata intr-un domeniu de actualitate al cercetarii.Pentru a putea face o apreciere corecta a acestei situatii, recenzorul trebuie sa faca referire la documentele care prezinta tendintele cercetarii la un moment dat. Aceste documente sunt eleborate de autoritatile nationale sau internationale in domeniul cercetarii.

Ce stie intiatorul despre domeniul propunerii sau ce a facut in domeniul propunerii?

Sunt analizate rezultatele pe care le raporteaza initiatorul in cadrul propunerii. Sunt apreciate ,ai ales acele rezultate care sunt in concordanta cu tema propunerii de proiect.

In momentul in care tema abordata de propunerea de proiect este mai putin abordata de initiator, atunci acesta trebuie sa dovedeasca o buna cunoastere a problematicii pe care doreste sa o studieze.

Se va aprecia mai ales analiza critica a referintelor invocate cu evidentierea rezultatelor si a punctelror critice.

Nu se va aprecia simpla enumerare a unei bibliografii sau o lista de refeinte care nu cuprinde si raportari ale altor cercetatori.

Prin ce anume exceleaza in domeniul propunerii de proiect institutia initatorului?

Se va aprecia daca institutia intiatorului are un palmares de proiecte care acopera un domeniu bine definit, daca are dotari specifice acestui domeniu si personal cu calificare si expertiza.

Nu se va aprecia daca initiatorul nu dovedeste specificul institutiei sale sau daca aceasta institutie nu are infrastructura si personalul necesar.

Care este problema sau necesitatea pe care o are in vedere propunerea de proiect?

Proiectul trebuie sa identifice o problema care prin solutionare sa imbogateasca volumul de cunostiinte si profunzimea in acel domeniu. O astfel de problema devine o necesitate. Aceasta problema sau necesitate este de natura principiala, generica.

Se penalizeaza propunerile care nu reusesc sa formuleze o problema sau o necesitate credibila in domeniul limitat.

Care sunt motivele pentru care trebuie abordata solutionarea necesitatii identificate?

Initiatorul trebuie sa justifice ratiunea abordarii solutionarii problemei identificate. In principiu, o problema trebuie solutionata fiindca solutiile anterioare cunoscute sunt incomplete sau fiindca problema s-a modificat.

Este scopul proiectului clar definit?

Scopul proiectului trebuie sa fie concis. El vizeaza finalitatea proiectului dar nu descrie modul prin care aceasta se atinge..

Lipsa unui scop bine definit se penalizeaza, iar penalizarea este una deosebit de importanta. Practic in absenta unui scop, o propunere este fara obiect.

Sunt obiectivele proiectului coerente si consistente cu scopul proiectului?

Obiectivele proiectului rezulta prin rafinarea succesiva a scopului acestuia. Ele se enunta sub forma unor propozitii care trebuie sa fie credibile.

Se apreciaza propunerile de proiecte in care se poate urmari modul de detaliere a scopului in  obiectivele coerente si consistente.

Se penalizeaza cazurile in care obiectivele se reduc la promisiuni sau lozinci, fara sa fie orientate spre atingerea scopului declarat.

Au toate obiectivele definite efecte masurabile?

In momentul in care exista setul de obiective ale proiectului, adica cele obtinute dupa finalizarea rafinarii, acestea trebuie sa posede efecte masurabile.

Se penalizeaza propunerile in care exista obiective care nu au prevazute efecte masurabile.

Sunt precizate, pentru fiecare obiectiv, persoanele care vor lucra pentru realizarea obiectivelor, sarcinile acestora si volumul de munca presupus?

Fiecare obiectiv trebuie sa aiba prevazute persoanele care vor lucra, sarcinile acestora si volumul de munca necesar.

Se apreciaza propunerile care au prevazute persoanele care vor lucra sarcinile acestora si volumul de munca necesar.

Se penalizeaza cazurile in care nu se face corelarea obiectivelor cu membrii echipei care vor lucra si cu expertiza acestora declarata in fisele de prezentare.

Sunt precizate pentru fiecare obiectiv, elementele de infrastructura tehnica sau specifica menite sa permita realizarea obiectivelor? (nu sunt admise echipamente tehnice de uz general)

Fiecare obiectiv trebuie sa aiba prevazut lista de elemente de infrastructura (echipamente, utilaje, aparate, etc) care vor fi utilizate.

Este justificata necesitatea compeltarii infrastructurii proiectului prin achizitia de noi echipamente, utilaje, aparate?

Orice proiect trebuie realizat in infrastructura de cercetare a institutiei initiatorului. In situatii deosebite insa, intiatorul poate argumenta ca tema de cercetare propusa necesita si dotari specifice care ar trebui achizitionate pentru a completa o dotare existenta.

Nu constituie dotare specifica tehnica uzuala a unei insitutii de cercetare, cum ar fi sistemele de calcul, imprimantele, telefoanele, etc.

Se penalizeaza lipsa argumentarii temeinice a dotarii de completare.

Exista o lista de referinte bibliografice consistenta cu descrierea proiectului?

Recenzorul trebuie sa decida valaorea unei propuenri de proiect din documentatia scrisa depusa de intiator. El trebuie sa cunoasca orice informatie pertinenta chiar cand ea nu este detaliata in lucrare. Sursele de informatie care au fost utilizate pentru a justifica unele aspecte ale propunerii de proiect trebuie indicate in referinte.

Se penalizeaza utilizarea de afirmatii fara a avea un suport bibliografic adecvat. Simpla neglijare a acestor informatii reprezinta un motiv de penalizare.

Evaluarea manageriala a proiectului

Un proiect poate fi finalizat numai daca el se deruleaza intr-o maniera predictibila care trebuie realizata ca atare.

Evaluarea aspectelor manageriale ale proiectelor este o necesitate care este menita sa dea finantatorului garantii ca lucrarea va fi dusa la bun sfarsit.

Intrebarile la care trebuie sa raspunda evaluatorul sunt:

Exista metodologie de lucru pentru fiecare obiectiv si aceasta este pertinenta?

Initiatorul trebuie sa detalieze modalitatea in care vede realizarea fiecarui obiectiv prin indicarea procedurilor care vor fi aplicate.

Se apreciaza, propunerile care prezinta metodologii coerente, mai ales, pentru acele obiective care prezinta note de inedit, fiind noi sau mai rar intalnite.

Se penalizeaza propunerile care nu au metodologii sau acestea sunt incomplete, confuze sau nerealiste.

Sunt definite activitatile proiectului si acestea sunt consistente cu obiectivele introduse?

Activitatile se obtin prin gruparea obiectivelor proiectului. In acest fel in fiecare activitate trebuie sa se regaseasca obiective deja formulate.

Se apreciaza propunerile care grupeaza, in mod adecvat, toate obiectivele prevazute ale proiectului. Daca exista tipuri de activitati predefinite, atunci activitatile identificate trebuie sa se incadreze ina ceste tipuri predefinite.

Se penalizeaza existenta unor activitati care nu au obiective sau au alte obiective decat cele din setul definit sau neincluderea unor obiective din cele definite in activitatile considerate.

Exista corelatie intre obiectivele introduse, activitatile definite si durata prevazuta a proiectului?

Orice proiect trebuie astfel gestionat incat numarul de obiective trebuie sa fie cat mai important din punctul de vedere al rafinarii lor, dar numarul de activitati trebuie astfel armonizat, ca numar, incat ele sa poata fi realizate in durata prevazuta a proiectului.

Se apreciaza propunerile pentru care se prevede un numar adecvat de obiective care se grupeaza in activitati derulate in paralel sau in mod succesiv astfel incat durata proiectului sa fie acoperita in mod optim.

Se penalizeaza situatia in care numarul de activitati este mult prea mare decat numarul pe care echipa le-ar putea realiza in durata prevazuta, dar si situatia in care numarul de activitati este prea redus pentru aceeasi durata prevazuta.

Sunt precizate termenele, momentele sedintelor de lucru, a momentelor de predare intermediare si finale?

In planul de realizare al activitatilor proiectului, inclusiv in diagrama temporala a acestora, este necesar sa se precizeze momentele definitorii ale activitatilor de organizare, evaluare si predare.

Se apreciaza propunerile care incadreaza, in mod corect, activitatile cu termene pentru momentele de predare, de coordonare.

Se penalizeaza propunerile in care, pe diagrama temporala, nu apar momentele care definesc activitatile si actiunile de organizare, evaluare si predare a proiectului.

Se face justificarea personalului angajat, a colaboratorilor si a consultantilor, cand acestia exista?

Fiecare membru al echipei de cercetare trebuie sa aiba prevazute obiectivele pe care le are de indeplinit, prezentarea expertizei lor, volumul de munca prevazut si efectele asteptate in urma muncii efectuate.

Se apreciaza propunerile in care ponderea cercetatorilor este importanta, in care toti acestia au responsabilitati concrete in cadrul obiectivelor declarate.

Se penalizeaza situatiile in care obiectivele nu au prevazute persoane sau grupuri de persoane care sa poata solutiona, prin calificare si volum de munca alocat, cerintele impuse.

Sunt penalizate de asemenea alocarile nejustificate de persoane si volum de munca pentru obiective care nu sunt suficient de intinse.

Este justificarea membrilor echipei concordanta cu expertiza lor declarata?

Fiecare membru al echipei trebuie sa se regaseasca asociat cu o activitate, in cadrul unui obiectiv bine definit.

In cadrul acelui obiectiv el trebuie sa presteze o munca in acord cu expertiza sa. In cazul asocierii de institutii in parteneriate echipa se poate considera ca fiind alcatuita din grupuri conduse de persoane calificate cu expertiza recunoscuta. Si in acest caz, detalierea trebuie realizata pana la nivel de persoana.

Se apreciaza propunerile unde initiatorul justifica asocierea de persoane cu obiective, prin indicarea expertizei necesare, expertiza regasita si in fisele de prezentare ale acestora.

Se penalizeaza propunerile in care echipa de cercetare cuprinde persoane care nu au activitati concrete, in volume si de calificari adecvate competentei lor si acestea sunt prevazute doar pentru a incasa sume necuvenite.

Exista un plan de diseminare si s-au prevazut rezultatele specifice ale proiectului?

Proiectul trebuie sa posede o lista a efectelor specifice care se vor obtine. Importanta sociala a proiectelor de cercetare este pusa in evidenta numai in masura in care initiatorul prevede un plan de diseminare cu un segment - tinta, o cale de diseminare si forme specifice de transfer a informatiei.

Se apreciaza un plan de diseminare care cuprinde toate efectele sau majoritatea efectelor obiectivelor masurabile.

Se penalizeaza cazurile unde nu sunt prevazute actiuni de diseminare sau daca actiunile de diseminare nu se realizeaza dupa un plan si o strategie unitara, sistematica.

Initiatorul si-a definit metodele de evaluare si a construit un sistem coerent de evaluare a activitatilor si rezultatelor proiectului?

Se va aprecia propunerea in care initiatorul si-a ales mai multe metode de evaluare si a stabilit momentele si persoanele care fac evaluarea, precum si modul in care aceste rezultate sunt transmise spre beneficiari. Un plus de apreciere va fi dat acelor proiecte care au prevazute si modalitati de evaluare pe durata realizarii proiectului.

Se penalizeaza propunerea in care initiatorul nu prevede metode de evaluare adecvate naturii proiectului.

Evaluarea financiara a propunerii de proiect

Evaluarea financiara a propunerii de proiect are in vedere, mai ales, bugetul acestuia, eventual prin referirile si justificarile facute in celelalte capitole ale acesteia.

Evaluarea financiara trebuie sa urmareasca cel putin:

Este manopera proiectului partea principala a bugetului construit?

Un proiect de cercetare este destinat obtinerii de rezultate cu un personal si cu o infrastructura de cercetare data. Acesta este motivul pentru care manopera, adica contravaloarea activitatii personalului angajat, trebuie sa constituie cea mai mare parte a bugetului proiectului.

Se apreciaza un buget in care ponderea bugetului afectat manoperei este cea mai mare.

Se penalizeaza situatiile in care celelalte capitole ale bugetului sunt supradimensionate in detrimentul manoperei.

Se penalizeaza cazurile in care volumele de munca nu se justifica si maresc, in acest fel, cheltuielile cu manopera.

Respecta valoarea proiectului reglementarile legale cu privire la datoriile la bugetul de stat?

Odata cu manopera este obligatorie prevederea sumelor care reprezinta datoriile catre bugetul de stat si care au relatii impuse de legile fiscale.

Este prevazut un buget pentru planul de diseminare?

Importanta diseminarii pentru un proiect de cercetare impune existenta unui plan de diseminare si a unui buget aferent acestui plan. Recenzorul trebuie sa gaseasca in descrierea proiectului elementele care sa-i permita sa aprecieze daca un astfel de plan este realizabil si daca el este gandit in mod realist.

Se premiaza un buget detaliat, pe toate componentele sale , pentru activitatile de diseminare. Se apreciaza contributia importanta a institutiei si a echipei, cum ar fi spatiul de diseminare, imaginatia de a cuprinde forme de diseminare cu grad ridicat de cuprindere, forme noi de penetrare, mai ales la nivelul beneficiarilor potentiali.

Se vor penaliza situatiile in care exista un plan de diseminare dar nu exista bugetul necesar sau cand exista buget dar planul de diseminare nu este suficient detaliat.

Este prevazut un buget pentru mobilitatile prevazute?

Mobilitatile unui proiect de cercetare nu rezulta in mod necesar din descrierea proiectului prin componentele sale stiitifica sau manageriala. Cu toate acestea in descriere trebuie sa se regaseasca argumentele pentru care initiatorul prevede activitati care presupun mobilitati.

Se apreciaza activitatile de instruire i perfectioanre la institutii specializate destinate tinerilor.

Se penalizeaza situatiile in care sunt prevazute mobilitati si nu sunt detaliate informatiile care justifica costurile aferente (numar de participanti, durata mobilitatii, destinatia mobilitatii).

Exista o relatie de calcul a regiei institutiei initiatoare?

In propunerea de proiect este obligatorie precizarea relatiei de calcul a regiei pe care institutia initiatoare o practica.

Se penalizeaza situatiile in care relatia de calcul a regiei nu este data sau valoarea echivalenta a acestei relatii depaseste valorile impuse de finantator.

Elemente de etica a evaluatorului si tehnica evaluarii

Evaluatorul propunerilor de proiect, adica recenzorul si evaluatorul rezultatelor derularii proiectului este pus intr-o situatie deosebita care este cu totul diferita celeia din mediul profesional din care provine.

Se ridica doua probleme serioase pentru finantator:

• Cum se selecteaza evaluatorii?
• Care sunt cerintele etice ale persoanelor care actioneaza ca evaluator?

Selectarea evaluatorilor se face de catre finantator sau de catre firma care este angajata in scopul monitorizarii procesului de pregatire a licitatiei publice.

In toate situatiile trebuie sa se prezinte criteriile de selectie a evaluatorilor si baremurile de calificare a acestora.

Din primul moment se vor preciza nivelurile de evaluare care vor fi practicate, cum ar fi nivelul primar si nivelul secundar sau de contestatie sau alte scheme imaginate.

In principiu, pentru activitatea de cercetare, cerintele minimale impuse evaluatorilor ar trebui sa prevada:

• Calificarea profesionala minima. Se va aprecia si sublinia calificarea de evaluator de afaceri certificat.
• Experienta minima in domeniul tehnic, stiintific sau alte domenii conexe.
• Disponibilitatea de a lucra in conditiile impuse de codul de etica pus la dispozitie.
• Lipsa situatiilor de penalizare sau excludere din alte runde de licitatie.

Odata ce exista lista exhaustiva de candidati, revine organizatorului licitatiei responsabilitatea alegerii grupului de evaluatori pe care-i considera corespunzatori in raport cu criteriile impuse.

Urmeaza etapa de repartizare a evaluatorilor pe propunerile de proiecte primite la termenul stabilit.

Repartizarea trebuie sa se faca, in mod obligatoriu, prin tragere la sorti si pe baza volumului egal de munca alocat evaluatorilor.