Data Engineering 360°

Ik word een data engineer.

Opleidingsinformatie

Startdatum

23 maart 2022

Duur

12 dagen

Investering

€ 6.950,-

Lestijden

9:30 uur - 16:30 uur

Locatie

Haarlem

Opleidingsdagen

Woensdag

Data Engineering 360°: de opleiding tot Data Engineer


Heb je een aantal jaren werkervaring als programmeur? En wil je graag de overstap maken naar een functie als Data Engineer? Dan is de opleiding Data Engineering 360° bedoeld voor jou!

Waarom een opleiding volgen tot Data Engineer?

De opleiding Data Engineering 360° sluit aan op de groeiende behoefte aan mensen met kennis over het organiseren van data voor analytische doeleinden en het beschikbaar en bruikbaar maken van deze data voor organisaties en bedrijven.

In de afgelopen jaren stond het verzamelen van data centraal. Inmiddels zitten we in een tijd waarin het verzilveren van data van belang is. Het is de rol van de Data Engineer om de organisatie te helpen data effectief in te zetten om datagedreven beslissingen te kunnen maken.

Een Data Engineer is inmiddels een veelgevraagde functie binnen met name datagedreven organisaties. Er zijn zelfs meer vacatures voor Data Engineers dan voor Data Scientists. De verwachting is dat het gat tussen vraag en aanbod in de toekomst alleen nog maar groter zal worden.

Doordat het vakgebied van data engineering relatief nieuw is, staan data engineers voor bijzondere uitdagingen. Zo bestaat er (nog) geen officiële studie waardoor het voor (toekomstige) Data Engineers belangrijk is relevante ervaring op te doen in de praktijk en zo snel mogelijk hoogwaardige kennis te vergaren. Beide doe je op in deze opleiding.

Wat houdt de opleiding Data Engineering 360° precies in?

Data Engineering 360° is één van de meest uitgebreide opleidingen van Novalinq. Deze opleiding leidt je op tot Data Engineer.  Vanuit een 360°-overzicht leer je in twaalf dagen hoe je data kan koppelen, organiseren en ontsluiten, zodat een organisatie effectief gebruik kan maken van de kracht van die data. Met andere woorden, je leert hoe je een organisatie helpt om data om te zetten in actie. 

Data engineering is het aspect van data science dat zich richt op het praktisch toepassen van dataverzameling en -analyse. Voor al het werk dat Data Scientists doen om vragen te beantwoorden met behulp van grote hoeveelheden informatie, moeten er mechanismen zijn om die informatie te verzamelen en te valideren.

Om dat werk uiteindelijk enige waarde te laten hebben, moeten er ook mechanismen zijn om het toe te passen op de dagelijkse processen. Dat zijn beide ingenieurstaken: het toepassen van wetenschap op praktische, functionerende systemen.

Met welke tools ga je werken?

Tijdens de opleiding Data Engineering 360° maak je gebruik van Python, SQL en Spark. Deze tools helpen je om de beschikbare data in de juiste vorm bij elkaar te brengen en te organiseren. Vaak moet je hierbij op verschillende platforms werken, omdat de gegevens uit verschillende bronnen komen.

De docenten nemen je mee in Python, waarbij je meer inzicht krijgt in (big)data-management, (big)data-architectuur, (big)data-infrastructuur, datakwaliteit, dataveiligheid, data-opslag en data-modelling. Je krijgt inzicht in de verschillende vormen van een pipeline en leert de code voor deze pipelines aan te passen. Vervolgens leer je data te transformeren in Spark.

Aan het eind van dit programma heb je kennis van:

  • Model- en data gestuurde architectuur.
  • De rol van een data engineer
  • Python toepassen voor data verkenning en data processing
  • Een data lake oplossing bedenken en uitwerken
  • Een juiste serving layer te ontwerpen
  • Een batch processing oplossing te ontwerpen
  • Een stream processing oplossing te ontwerpen
  • Data engineering toepassen in onbekende situaties
  • Data security in data engineering
Meer opleidingsinformatie?
brochure aanvragen

Datagedreven infrastructuur

Python

Data lake

Pijplijn bouwen

Data engineering

Programma

Deze opleiding bestaat uit de volgende modulen.

Module 1: Data architectuur

De module data architectuur behandelt de volgende onderwerpen:

1. Introductie data

2. Modelgedreven infrastructuur

3. Big Data

4. Datagedreven infrastructuur

Introductie data

Introductie werken met data - theorie & interactie

> Vier velden van data analyse
> Feiten en dimensies
> Data kwaliteit.

Introductie data opslag structuren - theorie & interactie

> Model gedreven data structuur (SQL)
> Database normalisatie
> Data gedreven data structuur (NoSQL/Key-Value)

Modelgedreven infrastructuur

OLTP & OLAP - theorie & interactie

> Databases & applicaties
> Oefenen met entiteit en relatie diagrammen
> Data kwaliteit
> Multidimensionale modellen (stermodel)
> Data analyse

Data integratie - theorie & interactie

> Basis ETL en data warehousing
> Data lakes en data reservoirs
> Data kwaliteit

Big Data

Intro big data - theorie

> Het big data probleem
> De big data oplossing
> Definitie big data volgens Gartner inc.

Big data clusters - theorie

> Distributed systems
> Master node
> Worker node
> Hortonworks demo

Big data architectuur - theorie

> Big data engines
> Big data datawarehousing
> Realtime data processing
> Hive demo

Datagedreven infrastructuur

NoSQL databases - praktijk

> NoSQL databases: key-value-, document oriented-, graph-, en wide column databases
> Data lakes
> Data reservoirs

Module 2: Data analyse en data engineering

De module data analyse en engineering behandeld de volgende onderwerpen:

1. AnalyticsBox®

2. Gartner analyse niveau's

3. Data engineering

4. Python

5. Data cleansing

6. Data verkenning

AnalyticsBox®

Vanuit het framework AnalyticsBox® wordt het analyse proces stap voor stap uitgelegd.

> Van vraag naar uitkomst
> 7 analyse stappen

Gartner analyse niveau's

> Beschrijvende analyse
> Diagnostiserende analyse
> Voorspellende analyse
> Voortschrijvende analyse

Data engineering

> Wat is data engineering
> Welke skills heeft een data engineer nodig?
> Hoe werken gedistributeerde data stores?
> Wat is Hortonworks en hoe werkt het?

Python basics

Python basics - praktijk

> Installatie & uitleg IDE’s
> Operatoren en assignment
> Data typen en structuren
> Markdown

Data cleansing

> Introductie Python Pandas
> Data frames
> Indexing
> Data cleaning

Dataverkenning

> Connecties met externe databronnen
> Geavanceerde transformatietechnieken

Module 3: Data transformatie en batch-verwerkingsoplossingen

De module data transformatie en batch-verwerkingsoplossingen behandeld de volgende onderwerpen:

1. Gegevens opnemen en transformeren

2. Ontwerp batch-verwerkingsoplossingen

Gegevens opnemen en transformeren

> Transformeer gegevens met behulp van Apache Spark
> Transformeer gegevens met behulp van SQL
> Transformeer gegevens met behulp van Apache Hive
> Gegevens opschonen
> Gesplitste gegevens
> Versnipperen JSON
> Gegevens coderen en decoderen
> Waarden normaliseren en denormaliseren
> Gegevens verkennende analyse uitvoeren

Ontwerp batch-verwerkingsoplossingen

> Ontwerp datapipelines
> Ontwerp incrementele data loads
> Ontwerp langzaam veranderende afmetingen
> Configureer de batchgrootte
> Ontwerpen en maken van tests voor datapipelines
> Omgaan met dubbele gegevens
> Omgaan met ontbrekende gegevens
> Om te gaan met laat binnenkomende gegevens
> Afhandeling van uitzonderingen op het ontwerp

Module 4: Stroomverwerkingsoplossingen en Data security

De module data transformatie en batch-verwerkingsoplossingen behandeld de volgende onderwerpen:

1. Ontwerp stroomverwerkingsoplossingen

2. Ontwerp data security

Ontwerp stroomverwerkingsoplossingen

> Ontwerp een oplossing voor streamverwerking
> Gegevens verwerken met behulp van gestructureerde streaming van Spark
> Tijdreeksgegevens verwerken
> Optimaliseer pipelines voor analytische of transactionele doeleinden

Ontwerp data security

> Ontwerp beveiliging voor gegevensbeleid en standaarden
> Ontwerp data encryption for data at rest and in transit
> Ontwerp een strategie voor gegevensaudits
> Ontwerp een strategie voor het maskeren van gegevens
> Ontwerp voor gegevensprivacy
> Ontwerp een beleid voor het bewaren van gegevens
> Ontwerp om gegevens te wissen op basis van zakelijke vereisten

Extra informatie

Je hebt voor deze training een eigen laptop nodig. Je hoeft van te voren geen software te installeren. Alle programma’s die tijdens de opleiding gebruikt worden zijn open source en gratis te gebruiken.

Er wordt gebruik gemaakt van een aantal programma’s, die tijdens de opleiding geïnstalleerd worden: zorg dus ervoor dat je een laptop meeneemt waarvan je de installatie rechten hebt. De laptop dient Windows 7 of hoger, of OS X Yosemite of hoger te ondersteunen.

  • Voor deze opleiding is geen specifieke voorkennis vereist.
  • Tijdens de opleiding zal de lunch worden voorzien.
  • Je ontvangt het boek ‘Succes met Big Data’.

Voor wie is de opleiding Data Engineering 360° geschikt?

Deze opleiding is bedoeld voor professionals die affiniteit hebben met data en al data transformeren in bruikbare informatie binnen een organisatie. De opleiding is ook uitermate geschikt voor mensen die zich willen omscholen, of die zich willen laten specialiseren als Data Engineer. Belangrijk is dat je enige jaren werkervaring hebt als programmeur.

Wil je meer informatie over de opleiding? Of twijfel je of je genoeg voorkennis hebt om deze opleiding te volgen? Neem gerust contact met ons op via ons contactformulier, dan voorzien wij je van advies!

Veel gestelde vragen

Welke corona maatregelen hanteren jullie?

Wij stellen jouw veiligheid en gezondheid en die van onze docenten en medewerkers altijd voorop. We volgen hierbij de richtlijnen van de Rijksoverheid en het NRTO brancheprotocol.

Het overzicht van onze maatregelen vind je hier.

Waarom kiezen deelnemers voor Novalinq?

Novalinq staat garant voor kwaliteit en wij zijn in het bezit van het NRTO-keurmerk.

Wij werken met eigen trainers die in dienst zijn bij Novalinq en ruime ervaring hebben met doceren en implementeren van data science, data analyse en data engineering. Dit zijn ervaren domeinexperts die snappen hoe data omgezet moet worden in actie en de uitdagingen kennen.

Wij vinden het cruciaal dat onze trainers de theorie kunnen omzetten in relevante kennis uit de praktijk. Dit realiseren wij door ons eigen opleidingsprogramma te maken volgens de taxonomie van Bloom. Onze opleidingen worden periodiek van een update voorzien in dit snel veranderende vakgebied. Zo ben jij er zeker van dat je de meest actuele kennis krijgt.

Vanaf hoeveel deelnemers gaat de opleiding door?

Novalinq hanteert een startgarantie voor elke opleiding. Dit betekent dat elke opleiding doorgaat. Mocht een opleiding om welke reden dan ook toch verplaatst worden, dan behoudt je het recht om binnen 5 werkdagen na kennisgeving jouw deelname te annuleren of voor een andere opleidingsdatum te kiezen.

Hoe weet ik of de opleiding nog voldoende beschikbare plekken heeft?

Je hoeft zich geen zorgen te maken dat de inschrijfmogelijkheid van de door jouw gekozen opleiding vol is. Wij sturen je na jouw inschrijving een mail met de bevestiging van jouw deelname en mocht het maximaal aantal deelnemers toch bereikt zijn, dan plannen wij een extra opleiding in.

Kunnen jullie een incompany opleiding geven?

Jazeker! Het is zeker mogelijk om een opleiding bij jou op locatie te geven. Tijdens zo’n opleiding bij jou krijg je persoonlijke en intensieve begeleiding van onze ervaren trainers. Klik hier voor meer informatie over een incompany opleiding.

Wat zijn de lestijden van de opleiding?

Onze opleidingen starten om 10:00 uur en eindigen om 16:00 uur. Je bent vanaf 9:30 uur van harte welkom. Aan het einde van de dag dien je rekening te houden met maximaal 30 minuten uitloop. Eventuele afwijkingen van deze tijden worden door de trainer duidelijk met je gecommuniceerd.

Waar wordt de opleiding gegeven?

Wij verzorgen de opleidingen bij ons op kantoor in Haarlem. Deze locatie is makkelijk bereikbaar en kent voldoende parkeergelegenheid en is van alle gemakken voorzien.

Is de lunch inbegrepen bij de opleiding?

Je kan rekenen op een uitgebreide lunch en gedurende de dag staan uiteenlopende (fris)drankjes, koffie en/of thee tot jouw beschikking. Deze kosten nemen wij voor onze rekening.

Hoe schrijf ik mij in voor de opleiding?

Inschrijven voor de opleiding doe via de knop 'schrijf je in'. Er zal een nieuw venster geopend worden om het inschrijfformulier in te vullen. Na het verzenden van het inschrijfformulier ontvang je een bevestiging.

Zijn de getoonde prijzen inclusief of exclusief BTW?

De getoonde prijzen zijn exclusief 21% BTW.

Wat zijn de betalingsvoorwaarden voor deze opleiding?

Je ontvangt de factuur voor jouw deelname in een aparte mail na ontvangst van de bevestigingsmail. Wij hanteren een betalingstermijn van 21 dagen.

Is het mogelijk om mijn deelname te verplaatsen of te annuleren?

Na de bevestiging van jouw deelname aan één van onze opleidingen, kan je 30 dagen voor aanvang van de eerste dag jouw deelname annuleren of verplaatsen. Je dient ons hierover per email of telefonisch in te lichten via info@novalinq.com of 085-060 5534.

Het is ook mogelijk om een vervangende deelnemer aan te dragen. Breng ons hiervan uiterlijk 48 uur voor aanvang van de eerste cursusdag op de hoogte. Voor de annulering van een opleiding vragen wij je onze algemene voorwaarden die opgesteld zijn door de NRTO te raadplegen. Wij zullen in elke situatie ons uiterste best doen om een passende oplossing voor jou te vinden.

Welk opleidingsniveau heeft de opleiding?

De opleidingen van Novalinq zijn geschikt voor personen met een werk- en denkniveau van HBO/HBO+.

In welke taal wordt de opleiding gegeven?

Novalinq biedt opleidingen en trainingen aan in het Nederlands.

Wat zijn de vereisten voor het volgen van een online-training?

Om op een goed deel te kunnen nemen aan een online-training van Novalinq, vragen wij je zorg te dragen voor de volgende zaken:

1. Een computer of laptop met stabiele internetverbinding van minimaal 15 Mbps.

2. Een (ingebouwde) video (webcam) en audio (microfoon) waarmee je goed zichtbaar en verstaanbaar bent.

3. Een rustige ruimte waar je ongestoord kunt deelnemen aan de opleiding. Zo waarborgen we voor elke deelnemer een waardevolle training.

Ik heb een andere vraag.

Staat je vraag er niet bij? Neem dan contact met ons op via 085-060 55 34 of via info@novalinq.com. Wij beantwoorden graag je vraag. Een bericht sturen via het contactformulier kan natuurlijk ook.

Heb je niet kunnen vinden wat je zocht? Neem dan contact met ons op. Wij helpen je graag!
Blijf op de hoogte

Wij houden je graag op de hoogte van ons opleidingenaanbod, geven je tips en delen onze beste blogs met je.

Bedankt voor je aanmelding!
Er is iets fout gegaan.

Alle online trainingen en opleidingen

Data Science opleidingen in Python en R voor beginners tot aan expert, data engineering met Azure en Spark en data visualisatie in PowerBI.