“Sharing is caring! When we share, we open
doors to innovation and strong relationships.”

Daan de Groof

Chief Technology Officer

Passende oplossingen

services

Het laatste nieuws

newsroom

Uitdagingen & successen

cases

In één maand de eerste stap richting een volledig geautomatiseerde infrastructuur op AWS Cloud

Een omgeving volgens de AWS infra-as-a-code standaard

Anthony Potappel

Cloud Engineer
 
Anthony Potappel, een van de LINKIT cloud professionals uit de Engineering Squad, heeft bij een van onze klanten een zeer unieke opdracht aangepakt om een ontwikkelteam te ondersteunen met een AWS-implementatie uitdaging. Een kleine maand werkte hij bij een verzekeraar mee aan het online brengen van een eerste pilot applicatie op AWS. Een mooie eerste stap in de richting van het realiseren van de lange termijnplannen van het bedrijf: het grootste gedeelte van de infrastructuur op de (AWS) Cloud te laten runnen.

De technische uitdaging van dit project was groot, kant-en-klare oplossingen waren er zeker niet, maar door continu in contact te staan met alle stakeholders en een nauwe samenwerking tussen Anthony en het applicatie-ontwikkelteam van de klant kon er in korte tijd veel gerealiseerd worden.

“Wat een uniek project was dit, 100% geautomatiseerd en 100% op AWS”

Kafka cluster op AWS


Anthony richtte zich tijdens deze opdracht op de backend voor een data-intensieve pilotapplicatie. Hiervoor is de keuze gevallen op een Kafka cluster op AWS. Voor ondersteuning bij zowel Kafka als verschillende AWS-diensten is de hulp van LINKIT, en daardoor Anthony, ingeschakeld. Anthony is Cloud engineer en onder andere gecertificeerd AWS Architect, DevOps Engineer, Security Specialist en Advanced Networking Specialist.


Het opzetten van de applicatie had een aantal uitdagingen; essentieel was dat deze gekoppeld moest worden met een SAAS-dienst van een 3rd party cloud vendor, waarvoor een publiek endpoint nodig was. Een uitdaging, omdat de Amazon’s Managed Streaming for Apache (MSK) maar via één VPC netwerk of VPN werkt. Dit werd helaas niet door de SAAS-vendor ondersteunt.


Daarentegen biedt AWS wel een zeer uitgebreid bouwpakket, bouwblokken en automatiseringsgereedschappen om zelf een service in elkaar te zetten, op basis van een eigen recept. Dus daar is Anthony mee aan de slag gegaan!

“Tijdens het ontwikkelen van deze eigen service waren ECS met Autoscaling, SSM-Parameter Store, Route53, PrivateCA en Lambda functions belangrijke componenten. Deze gecreëerde omgeving wordt via een VPN ontsloten naar een tweede AWS-account, met een firewall en Intrusion Detection en Prevention Systems. Pas na al deze acties wordt het endpoint publiekelijk doorgezet."

Een eigen service voor een veilige omgeving volgens de AWS infra-as-code standaarden


Het zelf toepassen van al deze componenten op één service bracht zowel voordelen als uitdagingen met zich mee. Zo biedt ECS als voordeel dat er voor Kafka standaard Confluent images gebruikt kunnen worden. Echter moeten deze nog wel van een additionele security-patch worden voorzien zodat (automatisch gegenereerde) wachtwoorden via een SSM Parameter Store ingeladen kunnen worden. Daarnaast is een portmapping opgezet, een feature die helaas nog niet in de standaard MSK dienst zit van AWS. Portmapping was nodig om Kafka op één endpoint te laten werken.

Wat dit project voor Anthony vooral speciaal maakte was het PrivateCA component. PrivateCA is ingezet om uitgifte van (SSL-) sleutels in te regelen, zodat Kafka-nodes onderling veilig kunnen communiceren, en alleen de applicatie toegang heeft tot het cluster.

Alleen ging het opzetten hiervan niet zonder slag of stoot. PrivateCA is namelijk een van de weinige diensten van AWS die niet volledig kan worden opgebracht via CloudFormation. Het voordeel van CloudFormation is dat je via één recept kunt uitrollen op 4 omgevingen van de OTAP ontwikkelstraat.

Om dit op te lossen zijn in Python Lambda’s geschreven die (via AWS SDK) de juiste APIs aanroepen, een PrivateKey genereren en vervolgens uploaden naar AWS. Uiteindelijk is de gevraagde omgeving nu 100% via CloudFormation geautomatiseerd volgens de AWS Infra-as-code standaard!

Testen en kennisdelen!


In minder dan een maand tijd heeft Anthony de benodigde configuratie code en bijbehorende documentatie opgeleverd. De omgeving wordt nu getest en Anthony springt af en toe bij voor additionele support. Na deze fase verwacht hij dat de service zonder problemen over ongeveer twee maanden live gaat. Nu, na het afronden van deze opdracht, kijkt Anthony met trots terug op de afgelopen periode: 

“De technische uitdagingen maakte het een zeer uniek project, waarin ik mijn AWS kennis goed heb kunnen benutten.”.

Doordat Anthony samen met het team van de klant werkte en de applicatie goed heeft gedocumenteerd, heeft de klant nu de handvatten ontvangen om zelf verder aan de slag te kunnen gaan. 

Zo past dit project perfect binnen de LINKIT manier van werken: door in een transparante en pragmatische aanpak samen met de klant een business gedreven oplossing te vinden, met kennisdeling in de hoofdrol!

Anthony Potappel is Cloud Engineer bij LINKIT en heeft ervaring en AWS certificaten op het gebied van architectuur, DevOps Engineering, Security en Advance Networking.


Ook AWS uitdagingen? Anthony komt graag met veel enthousiasme zijn AWS ervaring met je bespreken.


Contact opnemen >

Samen meer bereiken

partners & klanten

In één maand de eerste stap richting een volledig geautomatiseerde infrastructuur op AWS Cloud

Een omgeving volgens de AWS infra-as-a-code standaard

Anthony Potappel

Cloud Engineer
 
Anthony Potappel, een van de LINKIT cloud professionals uit de Engineering Squad, heeft bij een van onze klanten een zeer unieke opdracht aangepakt om een ontwikkelteam te ondersteunen met een AWS-implementatie uitdaging. Een kleine maand werkte hij bij een verzekeraar mee aan het online brengen van een eerste pilot applicatie op AWS. Een mooie eerste stap in de richting van het realiseren van de lange termijnplannen van het bedrijf: het grootste gedeelte van de infrastructuur op de (AWS) Cloud te laten runnen.

De technische uitdaging van dit project was groot, kant-en-klare oplossingen waren er zeker niet, maar door continu in contact te staan met alle stakeholders en een nauwe samenwerking tussen Anthony en het applicatie-ontwikkelteam van de klant kon er in korte tijd veel gerealiseerd worden.

“Wat een uniek project was dit, 100% geautomatiseerd en 100% op AWS”

Kafka cluster op AWS


Anthony richtte zich tijdens deze opdracht op de backend voor een data-intensieve pilotapplicatie. Hiervoor is de keuze gevallen op een Kafka cluster op AWS. Voor ondersteuning bij zowel Kafka als verschillende AWS-diensten is de hulp van LINKIT, en daardoor Anthony, ingeschakeld. Anthony is Cloud engineer en onder andere gecertificeerd AWS Architect, DevOps Engineer, Security Specialist en Advanced Networking Specialist.


Het opzetten van de applicatie had een aantal uitdagingen; essentieel was dat deze gekoppeld moest worden met een SAAS-dienst van een 3rd party cloud vendor, waarvoor een publiek endpoint nodig was. Een uitdaging, omdat de Amazon’s Managed Streaming for Apache (MSK) maar via één VPC netwerk of VPN werkt. Dit werd helaas niet door de SAAS-vendor ondersteunt.


Daarentegen biedt AWS wel een zeer uitgebreid bouwpakket, bouwblokken en automatiseringsgereedschappen om zelf een service in elkaar te zetten, op basis van een eigen recept. Dus daar is Anthony mee aan de slag gegaan!

“Tijdens het ontwikkelen van deze eigen service waren ECS met Autoscaling, SSM-Parameter Store, Route53, PrivateCA en Lambda functions belangrijke componenten. Deze gecreëerde omgeving wordt via een VPN ontsloten naar een tweede AWS-account, met een firewall en Intrusion Detection en Prevention Systems. Pas na al deze acties wordt het endpoint publiekelijk doorgezet."

Een eigen service voor een veilige omgeving volgens de AWS infra-as-code standaarden


Het zelf toepassen van al deze componenten op één service bracht zowel voordelen als uitdagingen met zich mee. Zo biedt ECS als voordeel dat er voor Kafka standaard Confluent images gebruikt kunnen worden. Echter moeten deze nog wel van een additionele security-patch worden voorzien zodat (automatisch gegenereerde) wachtwoorden via een SSM Parameter Store ingeladen kunnen worden. Daarnaast is een portmapping opgezet, een feature die helaas nog niet in de standaard MSK dienst zit van AWS. Portmapping was nodig om Kafka op één endpoint te laten werken.

Wat dit project voor Anthony vooral speciaal maakte was het PrivateCA component. PrivateCA is ingezet om uitgifte van (SSL-) sleutels in te regelen, zodat Kafka-nodes onderling veilig kunnen communiceren, en alleen de applicatie toegang heeft tot het cluster.

Alleen ging het opzetten hiervan niet zonder slag of stoot. PrivateCA is namelijk een van de weinige diensten van AWS die niet volledig kan worden opgebracht via CloudFormation. Het voordeel van CloudFormation is dat je via één recept kunt uitrollen op 4 omgevingen van de OTAP ontwikkelstraat.

Om dit op te lossen zijn in Python Lambda’s geschreven die (via AWS SDK) de juiste APIs aanroepen, een PrivateKey genereren en vervolgens uploaden naar AWS. Uiteindelijk is de gevraagde omgeving nu 100% via CloudFormation geautomatiseerd volgens de AWS Infra-as-code standaard!

Testen en kennisdelen!


In minder dan een maand tijd heeft Anthony de benodigde configuratie code en bijbehorende documentatie opgeleverd. De omgeving wordt nu getest en Anthony springt af en toe bij voor additionele support. Na deze fase verwacht hij dat de service zonder problemen over ongeveer twee maanden live gaat. Nu, na het afronden van deze opdracht, kijkt Anthony met trots terug op de afgelopen periode: 

“De technische uitdagingen maakte het een zeer uniek project, waarin ik mijn AWS kennis goed heb kunnen benutten.”.

Doordat Anthony samen met het team van de klant werkte en de applicatie goed heeft gedocumenteerd, heeft de klant nu de handvatten ontvangen om zelf verder aan de slag te kunnen gaan. 

Zo past dit project perfect binnen de LINKIT manier van werken: door in een transparante en pragmatische aanpak samen met de klant een business gedreven oplossing te vinden, met kennisdeling in de hoofdrol!

Anthony Potappel is Cloud Engineer bij LINKIT en heeft ervaring en AWS certificaten op het gebied van architectuur, DevOps Engineering, Security en Advance Networking.


Ook AWS uitdagingen? Anthony komt graag met veel enthousiasme zijn AWS ervaring met je bespreken.


Contact opnemen >