Cloudflare, een prominente aanbieder van internetinfrastructuur, zet een belangrijke stap om contentmakers te beschermen. Ze voeren een standaardinstelling in die AI-crawlers blokkeert bij toegang tot website-inhoud zonder expliciete toestemming of compensatie. Deze stap is bedoeld om contentmakers meer controle te geven over hoe hun werk wordt gebruikt door AI-bedrijven.
Vanaf 1 juli 2025 zullen nieuwe webdomeinen die gebruikmaken van de diensten van Cloudflare worden gevraagd om te beslissen over de toegang voor AI-crawlers. Dit verschuift de verantwoordelijkheid naar AI-bedrijven om toegang aan te vragen en het doel van hun crawlers te verduidelijken. Deze doelen omvatten training, inferentie of zoekfuncties.
Het initiatief van Cloudflare speelt in op zorgen over AI-crawlers die inhoud zonder grenzen verzamelen. Deze praktijk heeft contentmakers beroofd van inkomsten en erkenning. Door ongeoorloofd scrapen te blokkeren, wil Cloudflare de toekomst van het internet beschermen.
Naast het blokkeren van crawlers heeft Cloudflare een "Betalen per Crawl"-programma geïntroduceerd. Deze functie stelt contentmakers in staat om een prijs vast te stellen voor AI-bedrijven die hun inhoud gebruiken. Dit is voor modeltraining en retrieval-augmented generation. Het programma bevindt zich momenteel in een privé-betatesting.
Grote uitgevers, waaronder Gannett en Associated Press, steunen het initiatief van Cloudflare. Zij zien dit als een stap naar een eerlijke waardeverhouding. Dit beschermt makers en ondersteunt kwaliteitsjournalistiek.
De stap van Cloudflare vertegenwoordigt een belangrijke verandering voor contentmakers in het tijdperk van AI. Door tools te bieden om toegang te blokkeren en te rekenen voor contenttoegang, stelt Cloudflare een nieuwe standaard voor het respecteren van intellectuele eigendom online.