S obzirom na pojačani interes javnosti za provođenje projekata Hrvatske zaklade za znanost i vrednovanje kvalitete rada Zaklade, u ovom osvrtu objavljujemo temeljne informacije o već provedenim te planiranim vrednovanjima našeg rada. Također napominjemo da o radu Zaklade redovito izvještavamo Ministarstvo znanosti i obrazovanja te Ministarstvo financija Republike Hrvatske, a jednom godišnje podnosimo izvješće o radu Hrvatskom saboru. Osim toga, na našim mrežnim stranicama dostupna su izvješća o radu Zaklade, financijska izvješća, revizorska izvješća i zapisnici o provedenom nadzoru te druga dokumentacija potrebna za razumijevanje rada Zaklade i nadzora nad njezinim radom.
Do sada je Zaklada organizirala vrednovanja provedbe dvaju javnih natječaja (natječaja IP-01-2018 i IP/UIP-11-2013). Rezultati vrednovanja natječaja IP-01-2018 koje je pokrenuto krajem 2018. godine bit će detaljno prikazani u godišnjem izvješću Zaklade za 2019. godinu, a rezultati vrednovanja natječaja IP/UIP-11-2013 već su prikazani u godišnjem izvješću Zaklade za 2014. godinu. Također, organizirana je fokusna grupa s voditeljima uspostavnih istraživačkih projekata u 2017. godini kako bi se prikupila njihova mišljenja i prijedlozi o elementima natječaja, postupcima vrednovanja i praćenja novih projekata radi unaprjeđenja ostvarivanja cilja definiranog kao ubrzavanje uspostave samostalne istraživačke karijere znanstvenika nakon stjecanja doktorata znanosti.
Provedena vrednovanja rada Zaklade kao i fokusna grupa za unaprjeđenje natječaja uspostavnih istraživačkih projekata rezultirali su vrijednim preporukama, mišljenjima i prijedlozima koje je Zaklada implementirala u nove natječaje. U ovoj objavi donosimo osvrt na zadnje provedeno vrednovanje.
Vrednovanje Natječajnog roka IP-01-2018
Na temelju članka 20. Statuta Hrvatske zaklade za znanost (O-1330-2013), Upravni odbor je na svojoj 121. sjednici održanoj 26. listopada 2018. godine donio odluku o osnivanju Odbora za vrednovanje (dalje u tekstu Odbor) natječajnog roka IP-01-2018.
Članovi Odbora bili su predstavnici sastavnica sveučilišta u Zagrebu i Splitu, jednog javnog instituta i Odbora za obrazovanje, znanost i kulturu Hrvatskog sabora. Nijedan član Odbora nije prijavljivao projekt na tom natječajnom roku niti je bio na bilo koji način uključen u vrednovanje projekata ili bilo koji drugi vid rada Zaklade, a s radom su započeli nakon što su ugovori s voditeljima projekata zaključeni i projekti su počeli s provedbom.
Svaki član Odbora procjenjivao je kriterije za znanstveno područje za koje je bio zadužen, uz mogućnost procjene i za druga znanstvena područja. Procjenjivani su kvaliteta provedenog vrednovanja, provedba natječaja i ugovaranje projekta prema sljedećim kriterijima:
-
Sastav i struktura panela za vrednovanje u odnosu na prijavljene projektne prijedloge (pokrivenost svih polja, kvalifikacije i aktivnost članova, učinkovitost);
-
Dosljednost među panelima u ocjenjivanju projektnih prijedloga (ocjene A, B i C na kraju prvog kruga vrednovanja) prema kriterijima za vrednovanje u prvom krugu vrednovanja;
-
Jasnoća i relevantnost kriterija u prvom krugu vrednovanja te utemeljenost odluke o upućivanju projektnih prijedloga u drugi krug vrednovanja temeljem procjene zadovoljavanja kriterija u prvom krugu;
-
Kvaliteta obrazloženja ocjene nakon provedenog prvog kruga vrednovanja;
-
Jasnoća i relevantnost kriterija u drugom krugu vrednovanja (istorazinskom vrednovanju);
-
Kvalitete recenzija;
-
Kvalitete obrazloženja odgovora na pristigle prigovore;
-
Kvaliteta završnog vrednovanja;
-
Provedba natječajne procedure u svim elementima propisanima Priručnikom za vrednovanje;
-
Provedba hodograma za provođenje postupka vrednovanja, s obzirom na korake propisane Priručnikom za vrednovanje projektnih prijedloga HRZZ;
-
Raspodjela prijavljenih i financiranih projekata po znanstvenim poljima i područjima;
-
Jasnoća radnih planova odobrenih projekata i mogućnost njihovog operativnog praćenja;
-
Jasnoća, opravdanost i ujednačenost financijskih planova odobrenih projekata i mogućnosti njihovog operativnog praćenja;
-
Raspodjela sredstava po znanstvenim područjima i znanstvenim ustanovama (prijavljeni – financirani).
Odbor je utvrdio da je vrednovanje provedeno u skladu s hodogramom i Priručnikom za vrednovanje projektnih prijedloga prijavljenih na natječaje Hrvatske zaklade za znanost. Članovi Odbora raspravljali su o postupcima upravljanja projektom i prijavom na natječaje Zaklade te su dostavili detaljne komentare i prijedloge koji bi unaprijedili postupke vrednovanja i praćenja izvješća, a ujedno i smanjili administrativno opterećenja voditelje projekta.
Preporuke Odbora uzete su u obzir tijekom ovogodišnjeg raspisivanja javnog poziva za članove panela te kod pripreme i provođenja natječaja za istraživačke i uspostavne projekte. Također, od Ministarstva znanosti i obrazovanja zatražena je suglasnost za izmjene i dopune Pravilnika o uvjetima i postupku dodjele sredstava za ostvarivanje svrhe Zaklade kako bi se voditeljima omogućila veća financijska fleksibilnost u provođenju istraživanja, a tako i njihovo administrativno rasterećenje. Navedenim izmjenama je omogućeno odstupanje u iznosu od 20% (odobrenog iznosa za redovno izvještajno razdoblje) između kategorija financijskog plana, bez posebnog odobrenja Upravnog odbora Zaklade.
Zaključak
Mjerenje znanstvenog, društvenog i ekonomskog učinka određenog programa je standardna procedura u organizacijama koje financiraju istraživanja, a provodi se najmanje 5 do 10 godina po završetku određenog ciklusa financiranja. Od svojega osnutka Zaklada je financirala kompetitivne znanstvene, razvojne i inovacijske projekte. Međutim, tek je zakonskim izmjenama iz 2009. i 2012. godine omogućeno da 2013. godine Zaklada preuzme od Ministarstva znanosti i obrazovanja zadatak financiranja nacionalnih znanstveno-istraživačkih projekta, a 2014. godine i financiranje razvoja karijera mladih istraživača. Primjerice, program istraživačkih projekta započeo se u sadašnjem obliku provoditi tijekom 2014. i 2015. godine. Projekti u ovom programu traju 4 godine tako da je veći dio projekata završen 2018. godine. Dakle, učinci ovog programa mogu se ocjenjivati nakon 2023. godine.
U međuvremenu se mogu ocjenjivati procesi i aktivnosti vezani uz ostvarivanje temeljne svrhe Zaklade financiranjem znanstvenih projekata i istraživačkih stipendija kroz različite skupine programa. Stoga je Zaklada do sada provela dubinska vrednovanja dvaju natječajnih rokova i vrednovanje programa uspostavnih istraživačkih projekata. S obzirom na to da je unaprjeđenje aktivnosti koje Zaklada provodi trajna misija, dubinska vrednovanja i analize rada provodit će se i idućih godina.
Potrebno je naglasiti da buduća vrednovanja rada Zaklade trebaju uzeti u obzir stavove različitih skupina dionika koji sudjeluju u svim segmentima njezina rada, a to su voditelji i suradnici na projektima (3221), mladi istraživači (674), strani recenzenti (npr. 1504 strana recenzenta prihvatila su poziv za sudjelovanje u vrednovanju za rok IP/UIP-02-2019, a u prosjeku je 800 stranih recenzenata uključeno u svaki natječajni ciklus vrednovanja), članovi panela (130 panelista) te neovisni vrednovatelji koji prate provođenje projekata (24).
Zadovoljstvo različitih skupina dionika radom Zaklade je izuzetno važan segment vanjskog vrednovanja rada Zaklade i provest će se tijekom 2020. u suradnji s neovisnom organizacijom specijaliziranom za provođenje vrednovanja organizacija uključenih u financiranje istraživanja i organizacija koje provode istraživanja. Pri tome će se koristiti međunarodno prihvaćeni kriteriji uspješnosti rada te različite metode istraživanja poput strukturiranih ili polu-struktiruranih intervjua, fokusnih grupa, te validiranih i metrijski pouzdanih mjernih instrumenata. Osobno sam uključena u dogovore vezane uz provođenje dubinskih postupaka vanjskog vrednovanja rada Zaklade, koji su započeti sredinom ove godine.
izvršna direktorica
dr. sc. Irena Martinović Klarić
znanstvena savjetnica u trajnom zvanju
ispis stranice