Een API als Middel tegen Scraping

Scraping mrt. 10, 2020

Giganten zoals Facebook willen niet dat andere bedrijven hen gaan indexeren dat kunnen ze namelijk niet controleren. Om scrapers te vermijden gaan ze hun data bewust met je delen via hun publieke Application Programming Interface (API). Welke voor- en nadelen hieraan verbonden zijn leggen we uit in deze blog. Verder zal je ook kennismaken met een private API.


De voor- en nadelen van een publieke API

Een API biedt stabiele informatie, is goed gedocumenteerd en in tegenstelling tot scraping is informatie halen van een API geen kat-en-muisspel. In de meeste gevallen bestaan er duidelijke regels rond de informatie en data die beschikbaar is op API’s. Zo mag je data van Instagram slechts een beperkte tijd bewaren. Gebruik maken van een public API is de meest legale en ‘propere’ manier van scrapen.

Het probleem met een publieke API is dat bedrijven kiezen om hun data te delen, als ze dat niet meer willen doen, heb je gewoon pech. Een bedrijf kan zijn API stilleggen wanneer ze maar willen. Sommige bedrijven zijn (volledig) afhankelijk van API’s van anderen, denk maar aan plug-ins voor webbrowsers en socialmediatools bijvoorbeeld. Je bedrijf volledig opbouwen op de API van een ander bedrijf is nooit een goed plan!

Er doen verhalen de ronde dat bedrijven hun API misbruiken als machtsmiddel. Zo zou er een app geweest zijn, gelijkaardig aan Buffer, die enorm populair aan het worden was. Toen het bedrijf weigerde zichzelf te verkopen aan Facebook, omdat ze ook met Twitter integreerden en liever onafhankelijk wilden blijven, werd hen de toegang tot de API ontzegd. Dit is natuurlijk een ramp voor socialmediatools.

Private VS public API

Een app zoals Facebook connecteert met zijn microservices en vraagt data op van zijn API. In dit geval van de private API. Dit is data die Facebook niet met je deelt en waarvan er geen documentatie beschikbaar is. Jouw applicatie daarentegen integreert met de publieke Facebook API. Om deze structuur te verduidelijken, stelden we het volgende schema op:  


Vergelijk het verschil tussen een private en publieke API met de nummer van een CEO en de customer service. Iedereen kan de nummer van de klantendienst terugvinden en bellen, het maakt niet uit dat de customer support veel telefoontjes krijgt. Een CEO daarentegen mag niet zomaar gestoord worden en geeft zijn nummer niet aan iedereen. In dit voorbeeld is de connectie tussen de klantendienst en de CEO de private API. De telefoon van de customer support is de publieke API.

In sommige gevallen is de publieke API te beperkt. Het doel van scrapers is dan de private API onderscheppen om zo nog meer data binnen te kunnen halen. Informatie en data van een private API is super stabiel, compact en duidelijk. Onze boodschap? Onderschep de nummer van de CEO.

Facebook (API) for developers

Je kan gewoon Googelen naar "Facebook API" en dan kom je vanzelf op ‘Facebook for developers’. Bepaalde delen van hun API kan je zonder toestemming gebruiken zoals bijvoorbeeld de integratie van een login-functie. Voor andere functionaliteiten heb je toestemming nodig en gaat er een verificatieproces aan vooraf. Ook grote Belgische spelers zoals Proximus bijvoorbeeld delen de door hen gekozen data via hun API.


Laura Verbeke - Marketing Expert

Our youngest team member full of ambition is responsible for all our marketing activities. She’s also the sympathetic and thoughtful contact person for some of our fantastic brands!

Top! je hebt je succesvol ingeschreven.
Top! Nu nog de checkout afronden voor volledige toegang.
Welkom terug! Je bent succesvol ingelogd.
Yes! je account is volledig geactiveerd, je hebt nu toegang to alle inhoud.