VOO transformeert zijn BI-diensten en verhuist naar de Cloud | Solutions Magazine

VOO transformeert zijn BI-diensten en verhuist naar de Cloud - Artikel in Solutions Magazine.

Samenvatting

VOO rondt Memento af, zijn business intelligence en big data transformatieprogramma, dat een migratie naar de cloud omvat. Ontdek hoe Micropole de exploitant ondersteunde tijdens de verschillende fasen van het project.

De uitdagingen van VOO

In het kader van een wereldwijde transformatie hielp Micropole VOO bij de implementatie van een volledige migratie van zijn Business Intelligence, Big Data en AI-landschap naar de cloud. Deze migratie was essentieel om aan de strategische en dringende behoeften van het bedrijf te voldoen:

  • Drastische toename van klantinformatie om acquisitie te versnellen en loyaliteit en retentie te verbeteren;
  • Ondersteuning van digitale transformatie door een eenduidig beeld van de klant en zijn gedrag;
  • De nieuwe uitdagingen op het gebied van naleving (RGPD) ;
  • De totale eigendomskosten van de wereldwijde gegevensomgevingen (4 verschillende BI-omgevingen + 3 Hadoop-clusters vóór de transformatie) radicaal verlagen;
  • Bedrijfsbrede data governance implementeren en omgaan met Shadow BI (25+ FTE's in het bedrijf voor data cleansing en processing).

De oplossing en het resultaat gegenereerd door Micropole

Micropole voerde een snelle studie uit, bekeek alle aspecten van de transformatie en identificeerde de organisatorische (rollen en verantwoordelijkheden, teams en vaardigheden, processen, governance) en technische uitdagingen (globale architectuurscenario's, gaande van hybride cloudoplossingen tot volledige cloudoplossingen in PaaS-modus, of Platform-as-a-Service).

Op basis van de conclusie van de studie implementeerde Micropole een bedrijfsbreed cloud-gebaseerd dataplatform om traditionele BI-processen te combineren met geavanceerde analytische mogelijkheden. Micropole hielp de gegevensorganisatie en gerelateerde processen opnieuw te definiëren en introduceerde data governance op ondernemingsniveau.

De totale eigendomskosten zijn gedaald tot minder dan een derde van wat ze waren, terwijl de capaciteit en flexibiliteit aanzienlijk zijn verbeterd.

Architectuur gebaseerd op de belangrijkste datadiensten van AWS

Architectuur gebaseerd op de belangrijkste datadiensten van AWS

Datameer

Amazon S3 wordt gebruikt voor de centrale invoerlaag en voor langetermijnopslag.

Sommige gegevensbestanden zijn voorbewerkt op Amazon EMR. EMR-clusters worden meerdere malen per dag on the fly aangemaakt. De clusters verwerken alleen nieuwe gegevens die in S3 binnenkomen. Zodra de gegevens zijn verwerkt en opgeslagen in een voor analyse geoptimaliseerd Apache Parquet-formaat, wordt de cluster vernietigd. Encryptie en levenscyclusbeheer zijn ingeschakeld op de meeste S3-buckets om te voldoen aan de vereisten inzake beveiliging en kostenefficiëntie. In het datameer is momenteel meer dan 600 TB aan gegevens opgeslagen. Amazon Athena wordt gebruikt om een gegevenscatalogus te maken en te onderhouden en de ruwe gegevens in het datameer te verkennen.

Real-time integratie

Amazon Kinesis Data Streams vangt real-time gegevens op; deze gegevens worden gefilterd en verrijkt (met gegevens uit het data warehouse) door een Lambda functie voordat ze worden opgeslagen in een Amazon DynamoDB database. Realtime gegevens worden ook opgeslagen in speciale S3-buckets voor retentie.

Data warehouse

Het datawarehouse draait op Amazon Redshift, gebruikt de nieuwe RA3-nodes en volgt de Data Vault 2.0-methodologie. De Data Vault-objecten zijn in hoge mate gestandaardiseerd en hebben strikte modelleerregels, waardoor een hoge mate van standaardisatie en automatisering mogelijk is. Het datamodel wordt gegenereerd uit de metadata die zijn opgeslagen in een Amazon RDS Aurora database.

De automatiseringsengine zelf is gebouwd op Apache Airflow en wordt ingezet op EC2-instanties.

De projectimplementatie begon in juni 2017; het productie Redshift cluster dat aanvankelijk geschaald was naar 6 DC2 nodes is in de loop der tijd naadloos geëvolueerd om te voldoen aan de groeiende databehoeften van de projecten en de algemene bedrijfsvereisten.

DynamoDB

Amazon DynamoDB wordt gebruikt voor specifieke toepassingen waarbij webtoepassingen reactietijden van minder dan een seconde vereisen. Door DynamoDB's variabele lees/schrijfcapaciteit te gebruiken, kan de duurdere leescapaciteit met hoge prestaties alleen worden geleverd tijdens kantooruren wanneer een lage latentie en snelle responstijden vereist zijn. Deze mechanismen, die steunen op de elasticiteit van AWS-diensten, worden gebruikt om de maandelijkse AWS-factuur te optimaliseren.

Machinaal leren

Er werd een reeks voorspellende modellen geïmplementeerd, gaande van een klassiek churn-voorspellingsmodel tot meer geavanceerde use cases. Er is bijvoorbeeld een model gebouwd om klanten te identificeren die waarschijnlijk zijn getroffen door een netwerkstoring. Amazon SageMaker werd gebruikt om de modellen op schaal te bouwen, te trainen en in te zetten, waarbij gebruik werd gemaakt van de beschikbare gegevens in het Data Lake (Amazon S3) en Data Warehouse (Amazon Redshift).

API voor externe toegang

Externe partijen moeten op een veilige en betrouwbare manier toegang krijgen tot specifieke datasets en Amazon API Gateway wordt gebruikt om veilige RESTful API's te implementeren bovenop serverloze data microservices die zijn geïmplementeerd met Lambda functies. 

En nog veel meer!

Het dataplatform dat Micropole voor VOO heeft gebouwd, biedt nog tientallen andere mogelijkheden. Door het brede scala aan diensten dat in de AWS-omgeving beschikbaar is, kunnen dagelijks snel en efficiënt nieuwe use cases worden verwerkt.

Vermeldingen in de pers

De transformatie van elk bedrijf moet eerst gepaard gaan met de ontwikkeling van een strategische visie.
"Gegevens zijn essentieel om deze overgang te vergemakkelijken". | De Tijd

"Gegevens zijn essentieel om dit te vergemakkelijken...

Ontdek in dit interview hoe De Lijn gegevens gebruikt om...
"We willen onze klanten meer inzicht geven in hun financiële transacties." | De Tijd

"We willen onze klanten meer...

Terwijl de gesprekken in de wandelgangen van banken vooral gingen over...
"We stellen onze gegevens, kennis en vaardigheden ten dienste van onze leden. | De Tijd

"We zetten onze gegevens, onze kennis en onze...

Als onderlinge verzekeringsmaatschappij zit Partenamut op een berg...
Laten we samen innoveren
Gepassioneerd door data?

Contacteer ons