Onze crawler heet NLRentIndexBot.
Die naam staat in de user-agent van elk verzoek dat wij doen. Deze pagina zegt wie er achter zit, want dat is de vraag die een verhuurder of een sitebeheerder als eerste stelt.
Wie verantwoordelijk is
NLRentIndexBot haalt pagina’s op voor Thuisplek. Wij zijn de verwerkingsverantwoordelijke voor de persoonsgegevens die daarbij in een advertentie kunnen meekomen — de naam van een particuliere verhuurder, bijvoorbeeld. Je bereikt ons op hallo@thuisplek.nl; de beheerder van de crawler zelf leest crawler@nlrentindex.nl.
De technische kant van de crawler — welke statuscodes hij respecteert, hoe je controleert of een verzoek echt van ons kwam — staat op nlrentindex.nl/bot. Die pagina is voor sitebeheerders geschreven en noemt het product niet; deze pagina noemt het wel, en knoopt de twee namen aan elkaar.
Wat hij ophaalt
Openbare advertentiepagina’s van huurwoningen. Uit zo’n pagina bewaren wij de feiten: prijs, oppervlakte, aantal kamers, plaats, straat, datum, en de link terug naar jou. De beschrijvende tekst bewaren we niet, en de foto’s ook niet — daarvan bewaren we alleen het adres, zodat de app hem bij jóu ophaalt in plaats van bij ons.
Contactgegevens van particuliere verhuurders halen we er bij het inlezen uit. Reageren gebeurt op jouw site, dus wij hebben ze niet nodig.
Hoe hij zich gedraagt
Hij leest je robots.txt vóór het eerste verzoek en houdt zich eraan. Kunnen we die niet lezen — een 5xx, een time-out, een HTML-pagina waar een policy hoort te staan — dan geldt dat als stop, niet als toestemming.
Hij doet hooguit één verzoek per seconde per domein, meestal veel minder, en gebruikt voorwaardelijke verzoeken: een pagina die niet veranderd is, kost je een 304 en geen inhoud. Hij vult geen formulieren in, maakt geen account aan, logt nergens in en komt niet achter een betaalmuur.
Hij verandert nooit van naam om langs een blokkade te komen, en hij probeert een 401, 402, 403, 407 of 511 niet opnieuw. Dat zijn antwoorden, en die behandelen we als antwoord.
Hoe je hem buiten de deur houdt
Zet dit in je robots.txt: User-agent: NLRentIndexBot gevolgd door Disallow: /. Dat gaat in bij onze volgende lezing van je robots.txt, binnen 24 uur.
Wil je liever dat wij het regelen, of wil je ook de woningen weg die er al staan? Dat kan via de opt-outpagina voor bronnen. Je hoeft niet uit te leggen waarom.
Ontbreekt: De statutaire naam, het vestigingsadres en het KvK-nummer van de verantwoordelijke. Die horen op deze pagina en op de privacyverklaring, en ze zijn niet uit de code af te leiden. In te vullen door de eigenaar, vóór de lancering — dit is een lanceerpoort (§5.7).
Wat we hier niet beloven
- Dat elke crawler die onze naam gebruikt, van ons is. Een user-agent is een tekstregel en iedereen kan hem overtypen. Twijfel je? Mail crawler@nlrentindex.nl met het IP-adres en het tijdstip; dan zeggen we of wij het waren.
- Dat wij alles vinden wat je publiceert. Wat niet in een sitemap of in een overzichtspagina staat, komt hij meestal niet tegen.
Ben je een bron en wil je eruit? Zo meld je je af