Introductie
Nadat Microsoft Microsoft Fabric op de Build-conferentie die op 23 mei 2023 van start ging, is Microsoft Fabric gelanceerd als publieke preview. Het heeft een aantal functies om je datadomein te verenigen en de manier waarop je hele team data gebruikt opnieuw vorm te geven. De verbeterde serverless engine is volledig gebouwd op delta lake en zal voor de nodige opschudding zorgen in de datawereld.
Zo verbind je je Microsoft Fabric KQL (Kusto Query Language) database met Azure Event Hubs streaming. Je kunt deze functies combineren om je gegevens te streamen naar een KQL-shop in Microsoft Fabric. Dit zal niet de enige bron of bestemming zijn, zoals we later in deze post zullen zien.
Onderdelen die je nodig hebt:
- Azure abonnement
- Gebeurtenishub-naamruimte + Gebeurtenishub
- Microsoft Fabric-account (proefversie)
- Streaming dataset (als je een integraal gegenereerde dataset gebruikt, kun je deze stap overslaan)
Voor de event hub-namespace kun je het basisprijsniveau gebruiken, maar je kunt tegen de beperking van de consumentengroep aanlopen (1 mogelijke consumentengroep). Je ziet geen informatie meer over de $Default consumentengroep in de portal zodra je je Microsoft Fabric KQL DB hebt gekoppeld aan de consumentengroep.
Je kunt dit nog steeds wijzigen nadat je de naamruimte van de event hub hebt gemaakt.
Real-time analyse
Fase 1 - Installatie
Gebruik je favoriete browser om verbinding te maken met https://app.fabric.microsoft.com/
We zullen voornamelijk het tabblad "Real-Time Analytics" (het laatste) gebruiken. Selecteer deze om naar de RTA startpagina te gaan.
Vanaf hier kunnen we eenvoudig een nieuwe KQL database maken door linksboven de knop KQL Database (Preview) te selecteren en een betekenisvolle naam op te geven. (TEST is zinvol, toch?).
Daarna zou je je database geopend moeten zien op het tabblad Real-Time Analytics.
Als je de locatie van de KQL-database die je zojuist hebt gemaakt niet meer weet, ga je gewoon terug naar het tabblad Werkruimte en pas je een paar filters toe. Bijvoorbeeld op de naam of op de KQL database (of beide).
Stap 2 - Gegevens opnemen
Nu is het tijd om te beginnen met het opnemen van gegevens in de KQL database.
We kunnen kiezen voor get data -> Event Hubs (zie afbeelding rechts) of...
... maak een schilderij!
Dan is er nog de belangrijke stap om verbinding te maken met onze Event Hubs + Event Hub-namespace.
Stap 3 - Verbinding maken met de cloud
Selecteer op het tabblad Event Hubs gegevensbron Maak een nieuwe cloudverbinding.
Hierdoor wordt een ander browsertabblad geopend (dat automatisch wordt gesloten, zie mijn vorige blogpost "5 tips om aan de slag te gaan met Microsoft Fabric" over hoe u aanmeldingen kunt beheren zonder dat het automatisch sluiten gebeurt.
Het eerste deel is heel eenvoudig, je kiest een verbindingsnaam, hopelijk betekenisvoller dan de mijne. Vervolgens voer je de Azure Event Hub namespace + Azure event hub in die hoort bij de namespace waarmee je verbinding wilt maken.
Fase 4 - Authenticatie
Voor basisauthenticatie (de enige die momenteel mogelijk is), moet je een gedeeld toegangsbeleid invoeren. Hiervoor gebruik je de naam van het beleid en de waarde van de sleutel (primair of secundair) die erbij hoort. De beleidsnaam = gebruikersnaam, de sleutelwaarde = wachtwoord.
Je kunt het standaard namespacebeleid gebruiken, maar het is aan te raden om er een te maken voor de specifieke hub waarmee je verbinding maakt. Je hebt ook alleen het recht nodig om op die event hub te luisteren. We hopen in de toekomst meer authenticatiemethoden te hebben, maar dit is de minst geprefereerde aanpak.
Stap 5 - Een gegevensset voorbereiden
Als je dit gedaan hebt, zorg er dan eerst voor dat je voorbeeldgegevens hebt voor deze consumentengroep voordat je verder gaat met schema. Op het tabblad Schema zal Fabric meteen proberen om de gebeurtenisconcentratorgegevens te gebruiken om een schema te maken.
Als je geen gegevens klaar hebt, kun je proberen de voorbeeldfunctie te gebruiken om gegevens te genereren in de hub van de gebeurtenis zelf.
Fase 6 - Afronding
Nu deze gegevens klaar zijn, kunnen we naar schema gaan en het schema bekijken dat we aan het bouwen zijn voor onze event hub:
Zorg ervoor dat je hier het juiste gegevensformaat selecteert. In de test was het standaardformaat TXT, ook al ging het om JSON-gegevens. Ga naar Samenvatting en je zou overal groene vinkjes moeten zien.
Daarna ben je klaar! Je zou je Event Hub-gegevens in je KQL-database moeten zien verschijnen. Je kunt de tabel eenvoudig bevragen door "..." -> "Query Table" -> "Show Any Records" of "Records ingested in the last 24 hours" te selecteren. -> "Query Table" -> "Show Any 100 Records" of "Records ingested in de laatste 24 uur".
Tot slot
Hoewel deze configuratie werkt voor het streamen van gegevens van je event hub naar een KQL database, is er minder zicht op de bron en doelbestemming.
Een ander probleem is dat er geen eenvoudigere manier is om meerdere bronnen of doelen te configureren. Zoals we in mijn volgende blogpost zullen zien, zijn er ook meer mogelijkheden om gegevens van Event Hubs op te nemen in bijvoorbeeld een Lakehouse. Om dit en nog veel meer te kunnen doen, moet je uitkijken naar mijn volgende blogpost over: "Eventstreams gebruiken om gegevens van je Event Hub te voeden naar de Microsoft Fabric of Lakehouse KQL database".
