Voor veel organisaties is het omgaan met een bestaand systeem dat moeite heeft om te voldoen aan de eisen van de hedendaagse data-gestuurde wereld een veelvoorkomend probleem. Onze klant, een grote internationale investeringsbank, vormde hierop geen uitzondering. Projective Group heeft verschillende projecten voor hen opgeleverd waarbij Snowflake werd gebruikt om hun data infrastructuur moderner, kosteneffectiever en sneller te maken.
Verandering is de enige constante - dat is waar in het leven en in het bedrijfsleven. Veel organisaties hebben moeite om de veranderingen bij te houden, of beter gezegd, hun infrastructuur doet dat. Of het nu systemen zijn die falen door belasting, systemen die duur zijn om te gebruiken of duur om te veranderen, of al het bovenstaande: geen enkele organisatie is immuun. Steve Jenkings, een doorgewinterde data professional op Projective Group, heeft verschillende Data Engineering projecten succesvol afgerond voor deze klant en deelt enkele van zijn succesverhalen met ons.
Bewijs van concept
Steve en zijn team pakken elk project methodisch aan en beginnen meestal met een analyse van de bestaande mogelijkheden voordat ze architecturale opties voorstellen voor robuustere moderne alternatieven. Ze spreken succescriteria af aan de hand waarvan het team hun inspanningen kan beoordelen (bijv. rapportuitvoeringsprestaties, gelijktijdige queryuitvoeringsmogelijkheden) en werken eraan om zo snel mogelijk een end-to-end prototype op te leveren. Zodra een succesvol proof of concept is opgeleverd, vraagt de klant het team vaak om het volledige project op te leveren. "Er zijn altijd bestaande systemen met problemen die kunnen worden vervangen door een moderne, snellere en kosteneffectievere oplossing op basis van Snowflake," zegt Steve.
Niet alleen kopiëren en plakken
Veel van de projecten die we opleveren zijn migraties van legacy-technologie naar nieuwe technologie en, in tegenstelling tot wat vaak wordt gedacht, gaat het bij deze migraties om veel meer dan kopiëren wat er is en dat ergens anders plakken. "Eerst moet je begrijpen wat er is. Je moet het uitsplitsen, bepalen welke onderdelen wel of niet nodig zijn in de nieuwe oplossing en vervolgens bepalen hoe elk onderdeel er na de migratie uit moet zien. Tijdens een migratie hebben we veel mogelijkheden om problemen uit het verleden op te lossen, het data model te veranderen en code te herschrijven om de logica te verwijderen en te vereenvoudigen, en deze vervolgens te optimaliseren, zowel in het algemeen als specifiek voor Snowflake. We kopiëren en plakken nooit code van het ene systeem naar het andere, we re-engineeren het om optimaal gebruik te maken van het doelplatform waarop we implementeren," legt Steve uit.
Tijdens een migratieproject kopiëren en plakken we nooit zomaar code van het ene systeem naar het andere. We re-engineeren alles om optimaal gebruik te maken van het doelplatform.
Goedkoper, sneller en efficiënter
De resultaten van deze nauwgezette aanpak zijn tastbaar en de voordelen gaan verder dan alleen kostenbesparingen. Naarmate meer en meer operationele data wordt verplaatst naar Snowflake, en met de juiste aandacht voor detail, kunnen 'data producten' worden gecreëerd en kan de basis worden gelegd voor een mogelijke 'data mesh'. Uiteindelijk kunnen andere organisatorische use cases profiteren door gebruik te maken van deze data en processen in plaats van vanaf nul te moeten beginnen, waardoor redundantie wordt geëlimineerd en de productiviteit wordt verbeterd.
Een van de meest tastbare resultaten is een verkorting van de tijd die nodig is om rapporten te produceren. "De risk business zien hun controlerapporten nu eerder op de dag dan ze ooit in hun geschiedenis hebben gezien," herinnert Steve zich. "Het productcontroleteam zag ook een drastische vermindering in de tijd die nodig was om een rapport opnieuw uit te voeren na het maken van aanpassingen. Dit kostte hen vroeger 45 minuten, maar sinds we naar Snowflake zijn gemigreerd, is het nu in minder dan 5 minuten voltooid.
Het opnieuw uitvoeren van een rapport na het maken van aanpassingen kostte het productcontroleteam 45 minuten. Sinds de migratie naar Snowflake is dat minder dan 5 minuten.
Steve en zijn team hebben ook waardevol intellectueel eigendom ontwikkeld om de levering aan klanten te vergemakkelijken. Ze hebben een data transformatie framework specifiek voor de context van de klant gebouwd, die wordt gebruikt in hun productie data pipelines die tegen Snowflake draaien. Ze hebben ook een tool genaamd Gondola ontwikkeld die databasestructuur in verschillende omgevingen vergelijkt om CI/CD en DataOps te vergemakkelijken. Deze tools helpen de algehele data stroom binnen de organisatie te stroomlijnen en te verbeteren.
Zakelijke waarde
De voordelen van deze data projecten gaan verder dan technische verbeteringen en kostenbesparingen. Steve benadrukt het zakelijke aspect, waarbij de overstap naar Snowflake echte waarde heeft opgeleverd. "Snowflake gebruikt nu zowel 's nachts batch data als real-time streaming data gedurende de dag. Zodra er iets verandert in het bronsysteem, detecteert onze tool dit, maakt er een kopie van en werkt het ook bij in Snowflake. Deze 'bijna realtime' data streaming stelt de organisatie in staat om beter geïnformeerde en tijdige beslissingen te nemen."
Conclusie
Steve Jenkings en zijn team pakten de uitdagingen van de legacy-infrastructuur frontaal aan en kozen voor een systematische aanpak die strategische planning, zorgvuldige migratie en het gebruik van moderne data tools zoals Snowflake combineerde. De resultaten spreken voor zich: verbeterde efficiëntie, lagere kosten, snellere besluitvorming en de mogelijkheid om maximale waarde te halen uit data. Dit succesverhaal is een bewijs van de kracht van innovatie en aanpassing in het steeds veranderende landschap van Data Engineering.
Over Projective Group
Projective Group is opgericht in 2006 en is een toonaangevende veranderspecialist voor de financiële sector. Met diepgaande expertise op practices in Data, Payments, Transformatie en Risk & Compliance.
We worden binnen de sector erkend als een provider van complete oplossingen, die samenwerkt met klanten in de financiële dienstverlening om oplossingen te bieden die zowel holistisch als pragmatisch zijn. We hebben ons ontwikkeld tot een betrouwbare partner voor bedrijven die willen gedijen en bloeien in een steeds veranderend landschap van financiële dienstverlening.
