23/09/2024
Lifecyclemanagement beslissingsondersteunende modellen
Heb je weleens stilgestaan bij de beslissende rol die datagedreven modellen in jouw bedrijf spelen? Grote kans dat data science- of rekenmodellen regelmatig verschillende databronnen voor je verwerken tot waardevolle inzichten en adviezen. Denk bijvoorbeeld aan voorspelmodellen voor vraag en aanbod waarop je de productie aanpast, of software die je helpt om warehousing en distributie te optimaliseren.
Dit soort modellen kennen diverse toepassingsgebieden binnen de business intelligence. Bij CQM zijn de modellen altijd maatwerk en dus volledig afgestemd op jouw bedrijf. Maar wist je dat alle modellen één ding gemeen hebben? Ze hebben zo nu en dan wat onderhoud nodig. Alleen zo kunnen ze jouw bedrijf een slim voordeel blijven bieden.
Reken maar dat je model een onderhoudsbeurt nodig heeft
Hoewel een goed model jaren mee kan, is het wél verstandig om de werking ervan te blijven monitoren. Dat begint met het stellen van vragen als:
- Zijn er belangrijke veranderingen in de buitenwereld?
- Zijn alle databronnen nog relevant en van voldoende kwaliteit?
- Sluit het model nog aan bij interne processen, of is de situatie gewijzigd?
- Zit de prognose nog dicht bij de werkelijkheid of begint de lijn af te wijken?
Hierdoor heb je snel in de gaten wanneer de werking van je model bijgestuurd moet worden. Wil je zeker weten dat je model op orde is, zorg dan voor een grote onderhoudsbeurt in de vorm van een volledige Model Review. Daarbij worden alle belangrijke factoren onder de loep genomen, verbeterd of vervangen. Maar er is meer.
Uiteindelijk gaat het er namelijk om de bewustwording dat data science- en rekenmodellen een levenscyclus kennen. Met een begin, midden en einde van de levensduur – of een herontwikkeling, waarbij de cyclus weer opnieuw begint.
Hoe ziet de levenscyclus van een beslissingsondersteunend model eruit?
Of het nu een simulatie-, optimalisatie-, machine learning-, of statistisch model is, of een rekenmodel in Excel, elk model kent een levenscyclus. Zeker wanneer modellen dagelijks of wekelijks operationele beslissingen ondersteunen, is het cruciaal om ervoor te zorgen dat ze gedurende hun hele gebruiksduur relevant en accuraat blijven. Dit vermindert de kans op fouten, verbetert de besluitvorming en zorgt ervoor dat je organisatie wendbaar blijft in een veranderende omgeving. Bovendien helpt het bij het voldoen aan compliance-eisen en het minimaliseren van risico’s die samenhangen met verouderde of slecht presterende modellen.
In lifecycle management van datascience- en rekenmodellen onderscheiden we vier stappen:
- (Her)ontwikkeling van het model
- Implementatie
- Monitoring
- Model Review
Stap 1: Ontwikkeling of herontwikkeling: Het model (actueel) maken
De cyclus begint met de ontwikkeling of herontwikkeling van het model. Het is belangrijk om het model zo complex te maken als nodig is, maar zo eenvoudig mogelijk te houden Elk model wordt ook op het specifieke gebruik – en dus de gebruiker – afgestemd:
- Welke beslissingen moeten worden ondersteund? Welke accuraatheid van resultaten is nodig?
- Welke aannames worden gedaan en zijn deze passend voor het doel van het model en de omgeving waarin het model gebruikt wordt?
- Welke inputdatabronnen worden gebruikt en hoe zorg je ervoor dat deze schoon, relevant en representatief zijn voor de realiteit die het model moet weergeven?
Om deze fase af te sluiten, worden de werking van het model, de gedane aannames en de gebruikte brondata zorgvuldig vastgelegd. Er volgt een validatie door tests met historische data en scenarioanalyses om de prestaties te testen en te kunnen beoordelen. Daarmee is de (her)ontwikkeling van het model afgesloten.
Stap 2: Implementatie – Het model integreren in de werkprocessen
Wanneer het model klaar is voor gebruik, moet de organisatie zich voorbereiden op effectieve integratie in de operationele processen. Dit kan variëren van de ingebruikname van een eenvoudige spreadsheet tot het implementeren van complexe software. In beide gevallen zal adequate training van gebruikers essentieel zijn voor succes. Een proefperiode, zoals een pilot of parallelle test, wordt aangeraden om de prestaties van het model te evalueren. Ook belangrijk: Informeer stakeholders van begin af aan over de voortgang en mogelijke aanpassingen. Dat wekt vertrouwen en zorgt voor correct gebruik van het model.
Stap 3: Monitoring – Het model in de gaten houden
Na de ingebruikname van het model wil je zekerheid hebben dat het model goed functioneert en blijft functioneren. Hiervoor is monitoring van prestatie KPI’s van het model handig, alsmede het alert zijn op veranderingen in de omgeving of aan de input data waardoor een model niet meer goed zou kunnen werken. Door de output regelmatig te controleren en te vergelijken met verwachte resultaten kun je afwijkingen snel identificeren en in actie komen.
Stap 4: De Model Review – Het model evalueren en aanpassen
Als uit monitoring blijkt dat het model bij herhaling te laag scoort op de prestatie KPI’s of dat er grote veranderingen zijn in de omgeving waarin het model gebruikt wordt, is het tijd voor een Model Review. Bijvoorbeeld als de prognosekwaliteit van een voorspelmodel niet meer goed is. Mogelijk moet het model opnieuw worden gekalibreerd. Dit kan betekenen dat parameters worden aangepast of dat het model zelf wordt herzien om te blijven presteren zoals het bedoeld was.
Daarnaast kan ook verstandig zijn om de Model Review periodiek in te plannen. Afhankelijk van het gebruik bijvoorbeeld iedere 3 jaar. Zie het als preventief onderhoud van je model, waarbij je tijdig onderzoekt of het model nog actueel is, of wellicht kan worden verbeterd door opnieuw te trainen of fitten met behulp van meer actuele historische data.
Na de Model Review is de cyclus rond en wordt de beslissing genomen om het model van kleine of grote aanpassingen te voorzien. Soms is een aanpassing van parameters al voldoende, een andere keer is het model te sterk verouderd en zal een nieuw model het oude moeten vervangen.
Kortom, pro-actief onderhoud van je modellen is de sleutel tot strategisch succes en blijvend goede bedrijfsresultaten.
Plan het beheer en onderhoud van je modellen periodiek in
Benieuwd hoe de jij jouw modellen het beste zou kunnen onderhouden? Lieneke van Boxel vertelt je graag meer over de ideale monitoring en review strategie voor jullie situatie.
Wil je op de hoogte blijven van het laatste nieuws van CQM, volg ons op LinkedIn of meld je aan voor onze digitale nieuwsbrief.
Image by WaveGenerics from Pixabay.
