Mäta byråns effekt: KPI:er, rapportering och utvärdering i avtal

Effekten syns bara om någon faktiskt följer upp

Avtalet är inte slutpunkten. I rapporten Avtalsuppföljning inom offentlig upphandling konstaterar Konkurrensverket att god avtalsuppföljning är en förutsättning för att upphandlande myndigheter ska kunna säkerställa att de verkligen får det de har rätt till enligt avtalet. Tobias Indén och Tom Madell visar i SvJT-artikeln Tolkning av upphandlade avtal att upphandlingsregelverket i huvudsak styr förfarandet fram till tilldelning: när ett upphandlat kontrakt är undertecknat finns få regler i upphandlingslagstiftningen som explicit styr parterna, och deras relation förväntas i stället vara omsorgsfullt reglerad i det upphandlade avtalet. Lagen (2016:1145) om offentlig upphandling har visserligen ett kapitel om fullgörande av kontrakt (17 kap.), men det är avtalet som avgör vad som ska mätas och hur.

Det får en direkt praktisk konsekvens för byråavtal: mätningen kan inte läggas till i efterhand. Enligt Upphandlingsmyndigheten är huvudregeln att upphandlade kontrakt, ramavtal och koncessioner inte får ändras utan att en ny upphandling genomförs, även om det finns särskilda bestämmelser om ändringar under avtalstiden. Ska beställaren kunna justera indikatorer, rapporteringsfrekvens eller mottagare under löptiden måste det alltså vara täckt redan i de ursprungliga upphandlingsdokumenten.

Avtalet bör därför besvara fem frågor: vilka uppgifter byrån ska redovisa, vilket underlag som ligger till grund, hur ofta redovisningen sker, vem hos beställaren som tar emot den och vem hos byrån som ansvarar. Lägg till vad som händer om redovisningen uteblir eller visar avvikelse. Saknas svaren finns ingen mekanism som gör att effekten syns — bara en förväntan om att den ska göra det.

Från verksamhetsmål till indikatorer som går att mäta

Arbeta nedåt från verksamhetsmålet: vilket tillstånd vill beställaren uppnå, vilken förändring ska byrån bidra till, och vilken storhet visar om förändringen sker. Skilj på mål (önskat läge), indikator (mätbar storhet) och underlag (den data indikatorn beräknas ur). Håll antalet indikatorer litet — varje indikator kräver en definition, en ägare och en källa, och varje källa kräver någon som håller den levande under hela avtalstiden.

Underlaget måste kontrolleras innan mätningen lovas. I Digivis beskrivning av datadrivet kommunarbete letar Åsa i stadens datakatalog och hittar flera källor om besökare på ett torg, bland annat en webbkamera och rörelsedata från stadens öppna Wi-Fi-nät. I dokumentationen framgår att Wi-Fi-nätet inte fångar alla besökare, utan endast cirka 10 procent av dem som använder nätverket. En indikator som bygger på den källan mäter alltså en liten delmängd. Den begränsningen måste stå i avtalet, annars presenteras delmängden som om den gällde alla.

Fyra frågor bör besvaras innan en indikator skrivs in: finns datat, får vi hämta det, är det dokumenterat med vad det täcker och inte täcker, och går det att ta fram igen vid varje mättillfälle med samma definition? En indikator vars datakvalitet är okänd är inte mätbar. Hoppar parterna över kontrollen tvistar de i efterhand om vad siffran betyder i stället för att diskutera vad den visar.

Bygger indikatorn på data som byrån sitter på, bestäm i avtalet i vilket format och med vilken frekvens den ska lämnas, och om beställaren får använda den vidare för egen uppföljning. Det är samma uppgifter som ligger till grund för rapporteringen i nästa avsnitt — definitionen av indikatorn och av rapportens innehåll bör därför skrivas i ett sammanhang.

Olika källor för besökare på ett torg – datakvalitet och täckningsgrad

Rapporteringen: format, frekvens och mottagare

Rapporteringen blir jämförbar först när den är specificerad. Bestäm vad som redovisas (vilka indikatorer, med vilket underlag och vilken period de avser), hur ofta (till exempel per månad, kvartal eller år), till vem (roll, inte personnamn), i vilket format och med vilken historik. Bestäm också om byrån ska kommentera avvikelser eller bara lämna siffror — det avgör hur mycket underlag beställaren behöver begära in varje gång.

Manuella rutiner är den vanligaste orsaken till att rapportering faller. I Digivis beskrivning av ett oönskat läge ligger data hos en extern leverantör där endast en medarbetare har en inloggning, leverantören tar betalt per användare och internfaktureringen upplevs krånglig. Eftersom den automatiska hämtningen inte gick att sätta upp — leverantören hade ingen dokumentation kring sitt API — läggs hämtningen i stället på en praktikant som går in manuellt med jämna intervall. När praktikanten slutar oroar sig projektledaren för att han fortfarande har tillgång till datat, eftersom han fick en annan persons inloggning.

Exemplet visar två risker som bör hanteras i avtalet. För det första nyckelpersonberoende: när åtkomst och rutin sitter hos en individ försvinner både dataflödet och kunskapen om hur det togs fram när personen byter jobb. För det andra delade inloggningar: när flera använder samma konto går det inte att spåra vem som hämtat eller ändrat vad, och åtkomsten blir kvar hos personer som inte längre har en roll i avtalet. Skriv därför in att åtkomst knyts till roller och att den ska kunna flyttas vid personalbyte.

Rapporteringen bör samlas i ett gemensamt system i stället för att byggas upp separat hos varje förvaltning. Ett centralt system ger en samlad bild av ekonomi, resurser och projekt, minskar dubbelarbete och gör det möjligt att dela data mellan förvaltningar — samma logik som gör att uppgifterna kan kontrolleras av någon annan än den som matat in dem. Dubblerade lokala lösningar ger i stället flera versioner av samma siffra, och då blir avtalsuppföljningen en diskussion om vilken version som gäller.

Manuell vs. automatisk datamining – risker och fördelar

Skriv avtalet så att utvärderingen inte blir en tolkningsfråga

Indén och Madell konstaterar att avtal kan innehålla otydligheter som gör att det blir nödvändigt med en tolkning, och att de kan vara ofullständiga på ett sätt som gör att de måste fyllas ut med lagbestämmelser. Det gäller även avtal som slutits efter en offentlig upphandling. Varken upphandlingsdirektiven eller den svenska lagstiftningen tar ställning till hur parternas ömsesidiga förpliktelser ska tolkas; frågan får bedömas genom en tolkning av avtalet och med tillämpning av de sedvanliga tolkningsprinciperna.

Den part som utgått från en egen innebörd av ett begrepp kan därför förlora på att begreppet inte skrevs ned. Definiera begreppen direkt i avtalet: vad som avses med levererad tjänst, vilken mätpunkt som gäller (till exempel mätt vid månadens utgång eller vid rapporttillfället), vilket underlag som får användas, vem som utför mätningen och hur en avvikelse beräknas. Definitionerna ska vara så konkreta att två personer som läser dem kommer fram till samma siffra.

Samma krav på precision gäller om parterna vill kunna förändra mätningen under avtalstiden. Enligt Upphandlingsmyndigheten kan en ändring av ett upphandlat kontrakt vara tillåten om den omfattas av en option eller en ändringsklausul som angetts i de ursprungliga upphandlingsdokumenten, men klausulen måste vara klar, exakt och entydig och ange omfattningen och arten av möjliga ändringar samt villkoren för när de får tillämpas. En allmänt hållen formulering om att parterna kan komma överens om att justera indikatorerna uppfyller inte det kravet.

Otydliga eller ofullständiga skrivningar flyttar utvärderingen från avtalstexten till en förhandling i efterhand. Då står beställaren utan stöd för att kräva ett visst underlag, och byrån utan stöd för att veta vilken nivå som gäller. Läs därför varje indikator och fråga: om parterna är oense om den här siffran, vilken text avgör frågan?

Utvärderingspunkter under avtalstiden och vad som händer vid avvikelse

Bestäm i avtalet vid vilka tidpunkter effekten utvärderas och vem som gör det: vilken roll hos beställaren som kallar till uppföljning, vilken roll hos byrån som deltar, och vilken roll som fattar beslut om åtgärder. Lägg utvärderingspunkterna före de beslut de ska påverka — till exempel innan en option om förlängning eller en beställning av ytterligare insatser ska tas ställning till.

Definiera avvikelsen i förväg: vilken nivå som är godtagbar, vem som avgör om en avvikelse föreligger, inom vilken tid byrån ska kommentera den och vilka åtgärder som följer. Vanliga steg är en skriftlig avvikelserapport från byrån, en åtgärdsplan med tidplan, och — om parterna har avtalat om det — ekonomiska påföljder. Utan en definierad tröskel blir varje avvikelse en förhandling om huruvida den alls finns.

Utvärderingen ska också föra tillbaka till avtalet och till nästa upphandling. En gräns att känna till: enligt Upphandlingsmyndigheten är huvudregeln att upphandlade kontrakt inte får ändras utan en ny upphandling, men mindre ändringar är tillåtna i vissa fall. Ändringen får inte ändra kontraktets övergripande karaktär, och värdet måste vara lägre än både de tillämpliga tröskelvärdena och 10 procent av kontraktets värde vid varuupphandling, upphandling av tjänst eller upphandling av koncession, eller 15 procent vid upphandling av byggentreprenad. Den som vill ändra mätningen under löptiden måste alltså hålla sig inom dessa ramar eller använda en ändringsklausul som uppfyller kraven.

Poängen med utvärderingspunkterna är att de ska leda till ett beslut: fortsatt avtal som det är, förändring inom det utrymme avtalet medger, eller underlag till en ny upphandling där kraven skärps utifrån vad mätningen visat. Ett uppföljningsmöte utan beslutspunkt lämnar kvar samma problem till nästa period.

Gränser för ändringar av upphandlade kontrakt enligt Upphandlingsmyndigheten

Data, åtkomst och samarbete mellan parterna

Mätningen fungerar bara om de tekniska förutsättningarna är avtalade. Bestäm vilket gränssnitt som ska användas, att det ska vara dokumenterat, i vilket format data lämnas, med vilken frekvens den kan hämtas och hur lång historik som ska finnas tillgänglig. I Digivis-exemplet med det oönskade läget saknade den externa leverantören dokumentation kring sitt API, och eftersom ingen automatisk hämtning gick att sätta upp fick data hämtas manuellt. Manuell hämtning blir personberoende, och då faller både kvaliteten och spårbarheten.

Tillgången ska vara beständig över tid och knuten till funktion, inte till person. Skriv in att beställarens behörigheter ligger hos beställarens organisation, att de följer med vid personalomsättning, och att byrån ska kunna visa vem som haft åtkomst under avtalstiden. Det sistnämnda är svårt att leva upp till om åtkomst delas mellan personer, som exemplet med den delade inloggningen visar. Bestäm också vad som händer med data och åtkomst när avtalet upphör och när enskilda konsulter lämnar uppdraget.

När flera förvaltningar eller myndigheter behöver samma uppgifter bör delningen vara säker och rollstyrd. Ett gemensamt system ger en samlad bild av ekonomi, resurser och projekt och gör det möjligt att dela data säkert mellan förvaltningar, vilket minskar dubbelarbetet jämfört med att varje enhet bygger egna lösningar. I avtalet bör det framgå vem som är personuppgiftsansvarig för vilka uppgifter och vilka som får ta del av dem, så att åtkomsten kan begränsas när någon byter roll.

Är utföraren en annan kommun eller region är det extra viktigt att det står klart vem som mäter och rapporterar. Enligt Sveriges Kommuner och Regioner kan en kommun eller region genom avtalssamverkan överlåta utförandet av sina uppgifter till en annan kommun eller en annan region, och avtalssamverkan är det vanligaste sättet att samverka på. Den generella rätten till kommunal avtalssamverkan regleras i 9 kap. 37 § kommunallagen. Beställaren och utföraren kan alltså vara två offentliga organ med var sin rapporteringsskyldighet mot egna nämnder — avtalet bör därför ange vem som äger underlaget, vem som sammanställer rapporten och vilken part som redovisar resultatet vidare.