scalability mobpro
Nieuws

Scalability: Big Data is too big

Big Data, de naam zegt het al. Door alsmaar stijgende volume aan data praten we over the next big issue: scalability. Wat is scalability en hoe vormt het een bedreiging voor jou als marketeer?

Scalability is the next big issue

Big Data, de naam zegt het al. Digitalisering en het gebruik van steeds meer elektronische en mobiele apparaten zorgen voor een explosie aan data die gegenereerd wordt. Het is niet eenvoudig om de maximale waarde eruit te halen door het grote volume. Nu komt dat vooral door de verscheidenheid aan databronnen en de complexiteit, maar in de toekomst zal het komen door een tekort aan computermachines om het volume aan data te verwerken.

Afgelopen maand vond het dotScale event plaats in Parijs. Het is één van de grootste tech events over scalability. Hier spraken grote tech bedrijven zoals Google en Amazon. Zij noemen scalability the next big issue die alle bedrijven aan gaat, want de explosie aan data vraagt om actiematige verandering in meerder facetten van een organisatie.

Scalability nikos Gijs MobPro Dotscale

Nikos (l) en Gijs (r) op dotScale in Parijs.

Big Data is too big

We zullen illustreren waarom Big Data te veel wordt voor de huidige computers. Per dag ontvangen wij bij MobPro 1.728.000.000 bid-requests. Dit zijn verzoeken om advertentieruimtes in te vullen voor onze adverteerders. Alle bid-requests leveren ons elke dag 1 terrabyte aan data op. 1 terabyte is gelijk aan 1000 GB. Wil je één keer door 1 GB aan data bladeren dan doet een computer met een normale harde schijf daar ongeveer 10 seconden over. En met een snelle SSD -schijf ongeveer 5 seconden.

Wie snel rekent zal zien dat het bijna 3 uur tijd kost om specifieke informatie te zoeken uit één dag data van 1 terabyte. Máár meestal gebruik je data om inzicht te krijgen in een bepaalde periode, bijvoorbeeld een half jaar.

Uitgaande van 178 dagen (half jaar) aan 1 terabyte geheugen, maal 3 uur levert dat de computer maar liefst 534 uur aan verwerkingsduur op. Dat houdt in dat je na ruim 22 dagen maar één keer door alle data kan bladeren. Maar je wilt niet alleen door de data bladeren: je wilt voorspellen of iemand in jouw doelgroep zit, kijken hoeveel unieke contacten je maakt en welke interacties tot een conversie hebben geleid. Dat zijn allemaal ‘zware’ handelingen die extra tijd kosten. Het betekent dat je veel meer dan 22 dagen bezig bent. Kortom, deze manier van werken met data is niet schaalbaar voor de toekomst.

Voorkom lage usability en een systeemcrash

Als een computer te veel data te verwerken krijgt, wordt het traag, loopt het vast of crasht het zelfs. Dat heeft invloed op de usability van jouw website of app, want deze wordt langzaam of functioneert zelfs niet meer. Het kan maanden duren voordat jij op basis van data van nu jouw volgende marketingstrategie kan inrichten. Waardevolle consumenteninzichten kunnen al achterhaald zijn of je wordt ingehaald door de concurrent.

Consumenten kunnen de website niet bezoeken als gevolg van te weinig computers.

Consumenten kunnen de website niet bezoeken als gevolg van te weinig computers.

Hoe moet ik in actie komen?

De oplossing hiervoor is redelijk eenvoudig, breid jouw computerpark uit. Hoe meer computers de data verwerken, hoe lager de ‘werkdruk’. Hoe pak je dit het beste aan?

Hostingplatform
Allereerst, kies een hostingplatform die jou – wanneer nodig – met een paar klikken toegang geeft tot een nieuwe computer. Dit kan virtueel via bekende platforms als CloudVPS, Digital Ocean of Amazon. Bij de keuze van een hostingplatform, let op de volgende punten:

  • De verschillen in prijs
  • De locatie van de servers
  • Garantievoorwaarden
  • Mogelijkheden tot uitbreiden

Tools
Na het uitkiezen van één of meerdere hostingplatforms is het belangrijk om te kijken naar de juiste tool om jouw machines mee te besturen. De tool moet ervoor zorgen dat alle computers bij elkaar nog sneller gaan werken bij zware belasting. Bijvoorbeeld als er door viral content flink meer verkeer op de website komt. Een goede tool zet eenvoudig een extra server aan die de extra belasting opvangt. De zoektocht naar goede tools houdt nooit op. Zo kijken wij altijd uit naar tools met extra en nieuwe mogelijkheden, zodat wij ons computerpark altijd up and running houden.

Voorkom verzameldrang
Daarnaast moet jij als marketeer scherp zijn in welke data je bewaard. Stel jezelf de vraag: “Welke vragen wil ik stellen aan data?”. Als je de data niet gebruikt, hoef je het ook niet op te slaan. En ga verantwoord om met consumentendata en privacy. Vraag je af wat je überhaupt bij wet mag opslaan.

Wanneer moet ik in actie komen?

De kans is aanwezig dat jij op korte termijn jouw computerpark moet uitbreiden. Vraag jezelf af: verwacht ik op korte termijn aanzienlijk meer afnemers, app-gebruikers of bezoekers? Bijvoorbeeld als je jouw app en/of website lanceert in een nieuwe internationale markt of als er een (zeer) grote campagne live gaat.

Verwacht je op korte termijn geen stormloop, maar wel een geleidelijke groei? Zet ook dan scalability op de agenda. Het volume aan data groeit nog steeds door bijvoorbeeld de opkomst van wearables en sensoren. In de toekomst moet je het aantal machines sowieso uitbreiden. De vraag is alleen: doe je het vóór of na een crash?

Marketeer, steek je kop niet in het zand

Trek jij je handen hier vanaf omdat er genoeg slimme koppen op jouw IT afdeling, trading desk of datamanagement platform zitten? Wees niet naïef en steek je kop niet in het zand. Scalability lijkt een technisch issue achter de schermen, maar wordt zichtbaar voor jouw consument als jij niet in actie komt.Gijs Round

Wil jij meer weten over scalability en op welke termijn het voor jouw organisatie een issue wordt? Gijs raakt er niet over uitgepraat en kijkt graag samen met jou hoe de organisatie ervoor staat. Dus kom gezellig langs in MobPro Café! Mail naar contact@mobpro.com of bel naar 020 702 8200 en vraag naar Gijs, onze scalability professional.

 

Gijs maakt wegwijs in de wondere wereld van algoritmes en machine learning. De tech wizard laat ons zo nu en dan toe in de MobPro machinekamer.

Discussie

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd met *

Time limit is exhausted. Please reload CAPTCHA.