HVORDAN MÅLER MAN DET UMÅLELIGE?
Dansk Energis forsknings- og udviklingsprogram ELFORSK støtter projekter, der har til formål at reducere energiforbruget og skabe højere energieffektivitet. Der igangsættes ca. 15-20 projekter årligt. Projekterne har typisk 1-3 års varighed og er af varierende emnemæssig karakter. Nogle projekter ligger tæt på realisering og marked. Andre langt tidligere i ”pipelinen”.
Rigsrevisionen udarbejdede i 2013 en meget kritisk rapport, der bl.a. kritiserede alle forsknings- og udviklingsprogrammerne under Klima- og Energiministeriet for ikke at dokumentere effekten af ordningen. Man ønskede bl.a. at effekten bliver dokumenteret allerede ved projektafslutning.
ELFORSK var ikke direkte ”i skudlinjen” men tog dog alligevel denne kritik seriøst og ønskede at imødekomme Rigsrevisionens ønske ved at højere grad at dokumentere effekten.
LIVING STRATEGY blev bedt om at kigge på sagen.
Projekterne i ELFORSK programmet ligger inden for 4 forskellige projekttyper, som ligger i forskellig afstand til marked – og dermed realiseret effekt. Det er vigtigt at effektmålings- konceptet tager højde for dette, for at undgå at konceptet ”favoriserer” visse projekttyper.
UDFORDRINGERNE
Men hvordan måler man effekten af et forskningsprogram? I og med at der er tale om forsknings- og udviklingsprojekter, går der typisk flere år (op til 10-15 år) inden effekten af et givent projekt viser sig i form af konkrete produkter, eksport, arbejdspladser og energibesparelser. Da der arbejdes videre og bygges ovenpå projektresultaterne kan det være svært at isolere effekten af et enkelt projekt. Der er samtidig et grundlæggende spørgsmål om, hvad der egentlig kan anses som en samfundsgavnlig effekt – og hvem har tilstrækkelig viden til at vurdere denne. Og hvordan undgår man egentligt, at et givent effektmåls-regime fremmer effekten af visse projekter (fx projekter, der ligger tæt på markedet) på bekostning af projekter med høj risiko, der ligger langt fra markedet tidsmæssigt (men som måske har det langt største potentiale)
Overvejelserne er mange. Indledningsvist blev der gennemført et større research arbejde med henblik på at afdække hvordan gør man andre steder, i andre lande. Det blev dog hurtigt klart at det er en nød man ikke rigtig har knækket nogle steder. Så her var ingen hjælp at hente.
Efterfølgende blev der igangsat et forløb, der involverede en lang række forskningsinstitutioner, praktikere, projektledere og virksomheder. Forløbet resulterede i et helt unikt effektmålings-koncept, der gør det muligt systematisk at kvalificere og kvantificere værdien af et forskningsprojekt på flere tidspunkter: Ved ansøgningstidspunktet, ved afleveringstidspunktet og flere år efter projektaflevering. Der er indbygget et feedback lærings loop i effektmålingskonceptet, således det hele tiden bliver forbedret.
Det kan dokumenteres, at projekterne i ELFORSK programmet skaber resultater, der følger en normalfordeling (vist med den blå kurve). Det interessante er samtidig, at når man ser på effekten af projekterne (målt i energibesparelser, arbejdspladser, eksport- indtægter, mv.) nogle få efter projektafslutning (den grønne stiplede kurve) er denne eksponentielt stigende som en funktion af projektresultatet. Få projekter skaber altså effekt af ekstraordinær karakter – og disse ganske få projekter kan i realiteten retfærdiggøre omkostningerne til ELFORSK programmet set ud fra en ROI betragtning. Disse projekter er samtidig typisk projekter, som har høj risiko.
I ELFORSKs effektmålingskoncept skelnes der mellem projektresultat og effekt. Projektresultatet måles ved projektprojektafslutning og opgøres i PV (potentialeværdi) og LV (likelyhood værdi), som er et udtryk for hvor stor chance, der er for at projektets potentialer realiseres. Effekten måles typisk nogle år efter projektafslutning og opgøres og konkretiseres i energibesparelser (kWh), arbejdspladser, eksportindtægter, mv.
