Reddit heeft dinsdag aangekondigd dat het een webstandaard gaat herzien om geautomatiseerd dataschrapen op zijn platform te voorkomen. Deze stap is een reactie op berichten dat AI startups bestaande regels omzeilen om content te verzamelen voor hun systemen. Het sociale mediabedrijf gaat het Robots Exclusion Protocol bijwerken, beter bekend als "robots.txt", dat bepaalt welke delen van een website toegankelijk zijn voor geautomatiseerde crawlers.
De beslissing komt naar aanleiding van zorgen over kunstmatige intelligentie bedrijven die naar verluidt inhoud van uitgevers plagiëren om AI-gegenereerde samenvattingen te maken zonder de juiste naamsvermelding of toestemming. De bijgewerkte maatregelen van Reddit omvatten het handhaven van rate-limiting om het volume van verzoeken die een enkele gebruiker kan maken te controleren, evenals het blokkeren van ongeïdentificeerde bots en crawlers van het verzamelen van gegevens van de site.
Het gebruik van "robots.txt" heeft aan belang gewonnen nu uitgevers proberen te voorkomen dat hun inhoud wordt gebruikt door technologiebedrijven om AI-algoritmen te trainen en samenvattingen te genereren voor bepaalde zoekopdrachten zonder compensatie. Vorige week stuurde TollBit, een startup die licenties uitgeeft voor content, een brief naar uitgevers waarin werd onthuld dat meerdere AI-bedrijven de webstandaard hadden omzeild om content van sites van uitgevers te schrapen.
Een onderzoek door Wired eerder in juni suggereerde dat AI-zoekbedrijf Perplexity mogelijk maatregelen had omzeild om zijn webcrawler via "robots.txt" te blokkeren. In een gerelateerd incident beschuldigde Forbes eerder in juni Perplexity van het plagiëren van zijn onderzoeksverhalen voor gebruik in generatieve AI-systemen zonder creditering.
Ondanks het verscherpen van de toegang, heeft Reddit bevestigd dat onderzoekers en entiteiten zoals het Internet Archive nog steeds toegang hebben tot de inhoud, op voorwaarde dat hun gebruik niet-commercieel is. Dit zorgt ervoor dat, terwijl het bedrijf stappen onderneemt om zijn inhoud te beschermen tegen ongeautoriseerd schrapen, het legitiem onderzoek en archiefactiviteiten blijft ondersteunen.
Reuters heeft bijgedragen aan dit artikel.Dit artikel is vertaald met behulp van kunstmatige intelligentie. Raadpleeg voor meer informatie onze gebruiksvoorwaarden.