Cloudflare gaat AI-crawlers standaard blokkeren op pagina's met advertenties

In dit artikel:

Cloudflare verandert vanaf 15 september de standaardinstellingen voor AI-verkeer op zijn netwerk, met als doel uitgevers meer grip en mogelijk ook meer inkomsten te geven. AI-crawlers die websites doorzoeken voor trainingsdata worden dan automatisch geweerd van pagina’s met advertenties, terwijl gewone zoekmachines wel toegang houden. Voor bezoekers verandert er niets; de aanpassing speelt zich af achter de schermen van het internetverkeer.

Het bedrijf wil daarmee het huidige verdienmodel van online media repareren. Nu kunnen AI-systemen webpagina’s vaak één keer ophalen en die informatie vervolgens talloze keren gebruiken, zonder de maker daarvoor te betalen. Cloudflare noemt dat oneerlijk, zeker omdat inmiddels meer dan de helft van al het internetverkeer van niet-menselijke gebruikers afkomstig zou zijn. Tegelijk drukken AI-samenvattingen de klikcijfers van nieuws- en informatiesites, waardoor advertentie-inkomsten verder onder druk staan. Cloudflare verwijst naar onderzoek van Pew uit 2025 waaruit blijkt dat gebruikers veel minder vaak doorklikken naar gewone zoekresultaten wanneer Google een AI-samenvatting toont.

Nieuw is dat uitgevers straks per gebruiksdoel kunnen bepalen wat er met hun content gebeurt. Cloudflare maakt onderscheid tussen Search, voor indexering door zoekmachines; Agent, wanneer een AI namens een gebruiker een site bekijkt; en Training, voor het verzamelen van materiaal om modellen te trainen. Afhankelijk van het scenario kan een uitgever alleen bronvermelding eisen of juist betaling vragen. Het systeem wordt al getest met onder meer Ceramic.ai en You.com. Matthew Prince, CEO van Cloudflare, heeft zelf ook een lokale krant in Utah, wat zijn betrokkenheid bij het debat over de toekomst van uitgevers extra onderstreept.