pexels-photo-344544

Fast Data in 2017: adoptie van ‘high velocity’ processing platforms

Fast Data? Steeds meer organisaties krijgen het besef van de mogelijkheden van deze nieuwe generatie technologie. Dit heeft blijvende impact op de manier waarop de business georganiseerd wordt. ‘Digital’ zorgt voor nieuwe mogelijkheden, nog hogere efficiency in processen, kwaliteit en user experience. Met de snelheid waarin zich dit ontwikkelt, neemt ook behoefte exponentieel toe om te begrijpen hoe de markt verandert, klanten reageren en systemen presteren. 

State of Fast Data

OpsClarity heeft in dat kader de resultaten van het onderzoek ‘State of Fast Data’ gepresenteerd. Opmerkelijke uitkomst van dit onderzoek is dat 92% van de professionals, zowel business als technology, aangeven dat er een opmerkelijke groei is te zien in de adoptie van ‘high velocity’ data processing platforms. (Let wel: dit gaat om respondenten van Amerikaanse organisaties.)

Met behulp van deze ‘fast data’ platformen kunnen organisaties in retail, finance, public en healthcare sneller en beter inzicht krijgen in de specifieke en veranderende behoeften van de business waarin ze zich begeven.

Wat maakt Fast Data anders dan Big Data?

Voor een goed begrip van Fast Data is het goed om even terug te gaan naar het begrip als Big Data.

Big Data gaat voor het overgrote deel over historische data die ergens opgeslagen moet worden om vervolgens binnen een bepaalde tijd geanalyseerd te worden.

Kenmerkend hierin is een (mini)batchgewijze verwerking en een offline karakter. In veel opzichten kan dit bijvoorbeeld een DataWareHouse 2.0 genoemd worden. Waarbij ook ongestructureerde data als clickstreams, opgeslagen en geanalyseerd kunnen worden.

Behoefte aan realtime data

Steeds vaker ontstaat er echter een behoefte om realtime data streams in grote volumes te kunnen gebruiken. Er moeten real time besluiten genomen worden en real time gereageerd worden op gebeurtenissen. Denk aan een voorbeeld als realtime analyse van wereldwijde creditcard betalingen om fraude patronen te ontdekken en direct in te kunnen grijpen. Deze nieuwe behoeften zorgen ervoor dat er binnen de software industrie een beweging op gang komt. Hierbij wordt zwaar ingezet op nieuwe architectuur, nieuwe generatie tools en frameworks waarmee software applicaties worden gebouwd.

Voorbeelden van Fast Data en Stream processen

Uitgangspunten zijn ‘data driven’ software applicaties die ‘fast data streams’, realtime kunnen vertalen naar inzichten. Fast Data gaat over nieuwe, realtime data. Dit wordt verwerkt op het moment dat deze ontstaat. Deze data wordt ingezet voor business kritische processen (denk opnieuw aan het voorbeeld van creditcard fraude). Het helpt bedrijven om processen verder te optimaliseren en nieuwe business opportunities te ontdekken. Denk bijvoorbeeld ook aan realtime sensor data in auto’s (snelheid, acceleratie, temperatuur, weer). Deze data kan weer gebruikt worden voor conditie afhankelijke premieberekening. Een kort overzicht van voorbeelden van de inzet van fast data en stream processing technologie:

  • (realtime) aanbevelingen op een website kunnen doen om de conversie te verbeteren;
  • (realtime) fraude detectie zodat actie ondernomen kan worden op het moment dat het zich voordoet;
  • (realtime) process informatie van IoT devices op basis waarvan besluiten genomen kunnen worden;
  • Verdere verbetering van efficiency in high frequency trading;
  • (realtime) foutdetectie zorgt dat er eerder gereageerd kan worden.

De uitdagingen van streaming applications

De uitdagingen van bovenstaande toepassingen komen sterk overeen. Realtime verwerking en analyse van zeer grote hoeveelheden data vraagt om andere oplossingen en principes. Uit het onderzoek komt naar voren dat:

  • 32% van de organisaties behoefte heeft om de ‘customer facing’ processen beter te kunnen managen.
  • 29% van de deelnemers geeft aan een behoefte te hebben om doorlopend key processen te optimaliseren.
  • 39% van de organisaties geeft aan beide te willen doen en ziet de behoefte aan ‘streaming applications’ hieruit ontstaan.

Streaming applications zijn software applicaties die de business processen ondersteunen. Ze zijn zo ontworpen dat ze doorlopend en realtime data leveren ten behoeve van sturing en optimalisatie. Zie ook onderstaande figuur:

 

fast data

Uitdagingen voor de adopting van Fast Data

De adoptie van de benodigde vaardigheden, kennis en ervaring wordt gezien als een belangrijk issue. Ondanks het feit dat organisaties een beweging maken van batch naar stream processing. Deels wordt dit veroorzaakt door de complexiteit van de data frameworks die voor dit doel worden ingezet.

Maar liefst 92% van de organisaties geeft aan van plan te zijn de investeringen in streaming data technologie te verhogen. Professionals van betreffende organisaties (data architecten, data scientists, developers) maken zich zorgen over het vermogen van de organisaties om de technologie ook effectief in te kunnen zetten. Een van de grootste uitdagingen lijkt, voor 68% van de ondervraagden, gebrek aan ervaring in combinatie met de complexiteit van de data processing frameworks en tools.

 

fast data

Fast Data platformen voor realisatie, deployment, monitoring en management

De bevindingen uit het rapport geven tenslotte aan dat er behoefte is aan kennis, expertise. Maar ook tooling en frameworks die het eenvoudiger maken. Denk aan monitoring en denk aan ondersteuning op het gebied van deployment, continuous integration ter ondersteuning van de ‘DevOps’ teams. Onderstaand vindt je een top4 van uitdagingen als onderdeel van het rapport. Ben je geinteresseerd in het hele rapport? Downloaden kan via 2016-fast-data-streaming-applications-report

 

fast data

 

Open source in de praktijk

Binnen Trivento maken we gebruik van een op Open Source componenten gebaseerd platform. Deze componenten helpt bij realisatie, deployment, monitoring en management van streaming applicaties, de basis voor fast data oplossingen. Denk daarbij aan op Open Source gebaseerde producten als Elastic, Kafka, Cassandra, Vamp.

Wil je hier meer over weten? Trivento heeft onder Nederlandse organisaties een gelijkend onderzoek uitgevoerd. Download onderstaande whitepaper voor alle in’s en outs over Fast data in Nederland.

Fast data in Nederland

Whitepaper ‘how to better serve and predict your digital business‘.

Wil je weten welke waarde fast en streaming data toepassingen voor jouw organisatie kunnen toevoegen? Download dan de whitepaper Fast Data. Hierin lees je meer over:

  • Hoe realtime data organisaties kan verbeteren
  • Wat de Fast Data uitdagingen zijn
  • Wat een Fast Data platform is
  • Hoe in drie stappen een Fast Data platform geïmplementeerd kan worden

Mockup-whitepaper-Fast-Data






Aantal
0
shares
0
0