Fel fråga, rätt fråga

De flesta valideringar av nya digitala verktyg ställer samma fråga: fungerar det? Svaret är nästan alltid ja. Tekniken fungerar. Dashboarden laddar. Filtren filtrerar. Knapparna gör vad de ska.

Men det är inte den intressanta frågan. Den intressanta frågan är: använder folk det?

Vad beteendeförändring faktiskt innebär

Beteendeförändring betyder att någon slutade göra något på det gamla sättet. Inte för att de blev tillsagda, utan för att det nya sättet var bättre.

Det kan se ut så här: ekonomichefen slutade öppna Excel-filen på måndagsmorgonen. Driftledaren ringer inte längre tre samtal för att få samma svar. Säljaren kollar prognosen i systemet istället för att fråga sin kollega.

Ingen av dessa förändringar syns i en teknisk demo. De syns i hur människor faktiskt beter sig vecka tre, fyra och fem efter lansering.

Tre metrics som betyder något

Det finns hundratals saker man kan mäta. De flesta är brus. Tre saker räcker för att veta om en lösning håller.

Återkommande användning. Inte hur många som loggade in första veckan, utan hur många som fortfarande loggar in vecka fyra. En aktiv användare som kommer tillbaka utan att bli påmind är det starkaste tecknet på att något fungerar. En tumregel: om färre än 60 procent av de tänkta användarna är aktiva efter 30 dagar, löser verktyget inte ett tillräckligt skarpt problem.

Ersatt process. Det nya verktyget måste döda något gammalt. Om Excel-filen fortfarande lever parallellt med dashboarden har ingen beteendeförändring skett. Frågan är enkel: vad slutade ni använda? Om svaret är "ingenting" har lösningen adderat komplexitet, inte reducerat den.

Tid till svar. Hur lång tid tar det att få svar på en fråga som verksamheten ställer regelbundet? Om svaret förut tog en halvdag och nu tar tre minuter är det mätbart. Om svaret förut tog tre minuter och fortfarande tar tre minuter, fast i ett snyggare gränssnitt, har ingenting hänt.

Varför piloter misslyckas

Forskning visar att en överväldigande majoritet av digitala pilotprojekt aldrig levererar mätbar effekt på resultaträkningen. Inte för att tekniken var fel, utan för att ingen definierade vad framgång innebar innan projektet startade.

Det vanligaste felet är att mäta tekniska parametrar: svarstider, uptime, antal funktioner. Det näst vanligaste är att mäta inloggningar. Inloggning är en ytindikator. Den säger att någon öppnade verktyget, inte att det förändrade hur de arbetar.

Organisationer som lyckas mäter istället hur många kritiska arbetsflöden som slutförs i systemet. Inte om systemet finns, utan om det blivit det naturliga stället att göra jobbet.

Validering är inte en fas, det är ett förhållningssätt

Det finns en vanlig missuppfattning att validering är något som sker i slutet. Man bygger, lanserar, och sedan "utvärderar". Det fungerar inte. Validering som sker efter att pengarna är spenderade är inte validering. Det är en obduktion.

Bättre är att validera innan man bygger färdigt. Sätt upp mätpunkterna dag ett. Definiera vad som räknas som framgång innan en enda rad kod skrivs. Kör en begränsad version med riktiga användare, med riktig data, i en riktig arbetssituation. Mät efter fyra veckor.

Om resultatet visar att beteendet inte förändrades, är den ärligaste slutsatsen ibland: bygg inte vidare. Den slutsatsen sparar mer pengar än något projekt som "lyckades tekniskt" men aldrig användes.

Sammanfattningen är enkel

Fråga inte om verktyget fungerar. Fråga om någon slutade göra det på det gamla sättet. Allt annat är dekoration.