VOO transformeert zijn BI- en migratiediensten naar de Cloud - Artikel in Solutions Magazine.
CV
VOO verwerft Memento, zijn programma voor de transformatie van business intelligence en big data met, à la clé, een migratie naar de cloud. Ontdek hoe Micropole de opérateur heeft begeleid tijdens de verschillende fasen van het project.
De problemen van VOO
In het kader van een wereldwijde transformatie heeft Micropole VOO geholpen bij de uitvoering van een volledige migratie van Business Intelligence, Big Data en IA-landbouw in de cloud. Deze migratie was essentieel om te voldoen aan de strategische en urgente behoeften van de onderneming:
- De informatie over klanten drastisch uitbreiden om de acquisitie te versnellen en de fidélite en retentie te verbeteren;
- Soutenir la transformation digitale en offrant une vision unifiée du client et de son comportement ;
- Nieuwe problemen met conformiteit melden (RGPD) ;
- De totale kosten van het bezit van wereldwijde gegevensomgevingen radicaal verlagen (4 verschillende BI-omgevingen + 3 clusters Hadoop vóór de transformatie);
- Een beheer van de gegevens op ondernemingsniveau invoeren en de "schaduw-BI" behandelen (+ 25 ETP in de onderneming voor het opruimen en behandelen van de gegevens).
De oplossing en het resultaat van Micropole
Micropole heeft een snelle studie uitgevoerd, alle aspecten van de transformatie bekeken en de organisatorische problemen (rollen en verantwoordelijkheden, personeel en vaardigheden, processen, bestuur) en technische problemen (wereldwijde architecturale scenario's, allant des solutions de cloud hybrides aux solutions de cloud complètes en mode PaaS, of Platform-as-a-Service) in kaart gebracht.
En se basant sur la conclusion de l'étude, Micropole a déployé une plateforme de données basée dans le cloud à l'échelle de l'entreprise permettant de combiner les processus BI classiques et des capacités analytiques de pointe. Micropole heeft geholpen bij het herdefiniëren van de organisatie van données en de bijbehorende processen en heeft het beheer van données op ondernemingsniveau geïntroduceerd.
De totale kosten van het bezit zijn gedaald, hij vertegenwoordigt minder dan een tiende van wat hij was, terwijl de capaciteit en wendbaarheid aanzienlijk zijn verbeterd.
Architectuur gebaseerd op dataservices van AWS
Datameer
Amazon S3 wordt gebruikt voor de centrale toegang en voor de bewaring op lange termijn.
Bepaalde bestanden zijn opgeslagen op Amazon EMR. De clusters EMR worden meerdere keren per dag aangemaakt. De clusters verwerken alleen de nieuwe gegevens die binnenkomen in S3. Zodra de gegevens zijn verwerkt en opgeslagen in een Apache Parquet-formaat dat optimaal is voor analyse, wordt het cluster verwijderd. Le chiffrement et la gestion du cycle de vie sont activés sur la plupart des compartiments S3 pour répondre aux exigences de sécurité et de rentabilité. Meer dan 600 To de données zijn momenteel opgeslagen in le lac de données. Amazon Athena wordt gebruikt voor het maken en onderhouden van een catalogus van données en het verkennen van de brute données in het lac de données.
Integratie in de tijd
Amazon Kinesis Data Streams vangt de données en temps réel op; deze données worden gefilterd en verrijkt (met de données de l'entrepôt de données) door een functie Lambda voordat ze worden opgeslagen in een database van Amazon DynamoDB. Les données en temps réel sont également stockées dans des compartiments S3 dédiés pour être conservées.
Archief van gegevens
L'entrepôt de données fonctionne sur Amazon Redshift, il utilise les nouveaux nœuds RA3 et suit la méthodologie Data Vault 2.0. Les objets Data Vault sont très standardisés et ont des règles de modélisation strictes, ce qui permet un haut niveau de standardisation et d'automatisation. Het gegevensmodel wordt gegenereerd op basis van opgeslagen gegevens in een gegevensbestand van Amazon RDS Aurora.
Le moteur d'automatisation lui-même est construit sur Apache Airflow, déployé sur des instances EC2.
La mise en œuvre du projet a débuté en juin 2017 ; le cluster Redshift de production initialement dimensionné sur 6 nœuds DC2 a évolué de manière transparente au fil du temps pour répondre aux besoins croissants des projets en matière de données et à l'ensemble des besoins métier.
DynamoDB
Amazon DynamoDB wordt gebruikt voor specifieke gevallen waarin webapplicaties een kortere responstijd dan een seconde nodig hebben. Het gebruik van de variabele schrijf- en leercapaciteit van DynamoDB maakt het mogelijk om leescapaciteit met hoge prestaties te bieden, die duurder is, alleen tijdens de openingsuren van de onderneming, wanneer een lage latentie en een snelle responstijd nodig zijn. Deze mechanismen, die gebaseerd zijn op de elasticiteit van AWS-services, worden gebruikt om de menselijke capaciteit van AWS te optimaliseren.
Leermachine
Er is een reeks voorspelbare modellen in gebruik genomen, variërend van een klassiek model voor de voorspelling van schadegevallen tot meer geavanceerde gebruiksgevallen. Er is bijvoorbeeld een model gemaakt om klanten te herhalen die mogelijk zijn geraakt door een paneel van een netwerk. Amazon SageMaker is gebruikt om deze modellen op niveau te construeren, te creëren en in te zetten, door gebruik te maken van de beschikbare gegevens in het Data Lake (Amazon S3) en de gegevensopslagplaats (Amazon Redshift).
API voor externe toegang
Externe partijen hebben toegang tot specifieke ensembles van données op een veilige en betrouwbare manier en Amazon API Gateway wordt gebruikt om veilige API RESTful te implementeren naast microservices van données sans serveur mis en œuvre met Lambda-functies.
En nog veel meer!
La plateforme de données que Micropole a construite pour VOO offre des dizaines d'autres possibilités. De grote panoplie van diensten die beschikbaar zijn in de omgeving AWS maakt het mogelijk om elke dag nieuwe gevallen van gebruik te behandelen, op een snelle en efficiënte manier.
Vermeldingen in de pers
Algemeen directeur
Micropole BeLux
