NS vindt het belangrijk dat tijdens een treinreis een reiziger comfortabel naar plaats van bestemming wordt gebracht. Eén van de KPI’s die hierover iets zegt is de kans dat een reiziger kan zitten tijdens zijn reis. Deze zogenoemde KPI Zitplaatskans is een concessie-KPI voor NS. Dat betekent dat de prestaties van NS door de overheid beoordeeld worden op de waarde van deze KPI. Wanneer je als NS een nieuw model voor het berekenen van reizigersaantallen wil gaan gebruiken, moet je kunnen aantonen dat de beoordeling van de prestatie hierdoor niet beïnvloed zal worden. CQM bereidde NS voor op een cruciale audit.
CQM heeft door de jaren heen talloze kwantitatieve modellen voor talloze klanten in uiteenlopende toepassingsgebieden gebouwd. Steeds vaker worden we ook gevraagd om modellen te reviewen die klanten zelf hebben gemaakt of hebben laten maken. Zo werkte NS al jaren met het model ROCKT voor het berekenen van reizigersaantallen. Dit model was door de datascientists van NS zelf gebouwd. In de loop der jaren zijn er binnen NS op meerdere plekken binnen de organisatie verschillende modellen voor het bepalen van het aantal reizigers in de trein gebouwd. Dit vond NS op zichzelf al een onwenselijke situatie. Maar ook het meest gebruikte model ROCKT was aan vervanging toe.
IJkingen
'ROCKT werkte tot voor kort prima', zegt business consultant Sven Barmentloo van NS Netwerkontwikkeling & Ontwerp. 'Maar het was niet meer geschikt voor de moderne tijd. Het model kon bijvoorbeeld niet goed omgaan met de nieuwste OV-chipkaart ontwikkelingen. Daarnaast konden specifieke reisabonnementen, het inchecken met een betaalpas en zwartrijden niet worden verwerkt. Om die cijfers toch in de tellingen mee te kunnen nemen lieten we metingen doen in de trein. Er liepen regelmatig mensen van een onderzoeksbureau door een aantal treinen om de kaartjes van reizigers te scannen. Met deze steekproeven konden we de reizigersaantallen in alle treinen berekenen.' Corona gooide in 2020 echter roet in het eten voor NS', aldus Sven: 'De onderzoekers mochten niet meer door de trein. Hierdoor konden we het model niet goed meer ijken. Dit was voor een paar creatieve koppen de aanleiding om een model zonder afhankelijkheid van metingen in de trein te gaan ontwikkelen.’
FLUX
De datascientists van NS bouwden een nieuw model dat in de hele organisatie kan worden gebruikt en dat op toekomstige ontwikkelingen en reisproducten is voorbereid: FLUX. Grootste input voor het model zijn alle OV-chipkaart transacties: het in- en uitchecken van reizigers op de stations. Losse kaartverkopen en conducteursscans worden gebruikt om het model beter te maken. Alle reisproducten kunnen worden verwerkt, waardoor ijkingen niet meer nodig zijn. Het model kan zelfs incomplete reizen voorspellen. Het tellen van reizigers is namelijk niet zo eenvoudig als je zou denken', aldus Sven: 'Een reis verloopt niet altijd standaard van A naar B. Sommige mensen checken in en vergeten uit te checken of andersom. Anderen drinken voor of na de reis een kopje koffie op het station. FLUX is in staat om de beste inschatting te maken van wat de complete reis zou zijn geweest op basis van reispatronen uit het verleden. En bijvoorbeeld ook of een reiziger het liefst met een Intercity of een Sprinter reist. Al deze informatie helpt ons om reizigersaantallen goed te berekenen en de inzet van onze treinen hierop af te stemmen, zodat wij de juiste Zitplaatskans kunnen garanderen.'
Audit
De vraag is: als FLUX zo goed werkt, waar had NS dan CQM voor nodig? Sven: ‘De Zitplaatskans voor treinreizigers is een concessie-KPI met een vastgestelde bodem- en streefwaarde. Het is daarom belangrijk dat NS hier correct en op een juiste wijze over rapporteert. Het ministerie van Infrastructuur en Waterstaat (I&W) wil dus zeker weten dat de KPI Zitplaatskans hetzelfde is bij gebruik van FLUX in plaats van ROCKT en dat de prestaties van NS op dezelfde manier beoordeeld kunnen blijven worden. Dit moesten we eind 2023 bij een audit door het ministerie kunnen aantonen. Aanvankelijk hadden we het ambitieuze plan om met CQM een grote interne audit uit te voeren, omdat CQM veel ervaring heeft met NS en eerder bij de bouw van FLUX was betrokken. Dit bleek qua planning echter niet haalbaar, daarom stelde CQM een alternatief voor: een stappenplan dat we zelf konden uitvoeren als het systeem gereed was. Zodat we ons perfect op de audit konden voorbereiden.'
Stappenplan
De specialisten van NS en CQM belegden gezamenlijke sessies om tot het stappenplan te komen. CQM's consultant Heleen van Beek was de projectleider vanuit CQM: 'Eerst zorgden we dat we precies wisten hoe de KPI Zitplaatskans wordt berekend. Hierdoor konden we analyseren wat de invloed van een ander model zou zijn. Het was prima als er door het gebruik van FLUX iets aan de berekeningen zou veranderen, zolang we de bodem- en streefwaarden maar mee konden veranderen zodat de uiteindelijke beoordeling van de KPI Zitplaatskans hetzelfde bleef.' Met elkaar kwamen NS en CQM in vier intensieve maanden tot een stappenplan met statistische methodes, waarmee NS de berekeningen en vergelijkingen zelf kon maken. Sven: 'Net voor de audit van het ministerie in oktober en november hebben we de stappen kunnen doorlopen en konden we concluderen dat het nieuwe FLUX voldoet voor het berekenen van de KPI Zitplaatskans. Begin december kregen we het vinkje van het ministerie en sinds januari 2024 rapporteren we de Zitplaatskans op basis van FLUX. Een prachtig resultaat.'
Nieuw: Model Review
De voordelen van het nieuwe model voor NS zijn groot, vertelt Sven: 'Met FLUX zijn we klaar voor de toekomst. Als wij meer reisproducten en -methoden gaan toevoegen, zoals het inchecken met je telefoon, dan kan dat in FLUX. FLUX is een AI-model dat veranderingen in reispatronen over tijd meeneemt in nieuwe voorspellingen. Bovendien heeft het nieuwe FLUX een groot voordeel: we hoeven geen metingen in de trein meer te doen.' Voor CQM is het succes van het FLUX-project aanleiding om het reviewen en zonodig verbeteren van bestaande modellen van klanten in een officiële nieuwe CQM-dienst om te zetten. De logische naam: Model Review. Ideaal voor organisaties die willen weten of hun model nog past bij wat ze willen en of er ideeën voor verbetering zijn. Meer weten? Neem contact op met CQM. Dan maken we een stappenplan dat perfect bij jouw model en organisatie past. Net zoals we dat met heel veel enthousiasme en als één team samen met NS hebben gedaan.
Meer weten over Model Reviews?
Wil jij ook een bestaand model reviewen en zonodig verbeteren?
Neem contact op met Principal Consultant Lieneke, zij helpt je graag verder!
Wil je daarnaast op de hoogte blijven van het laatste nieuws van CQM, volg ons op LinkedIn of meld je aan voor onze digitale nieuwsbrief.
