Er det lovlig å hente ut data fra nettsider automatisk (webscraping)?

Slik løser du det

Vurderingen vår står fast: i utgangspunktet er det ingen lover som direkte forbyr scraping, men Åndsverkloven er relevant, enkelte nettsider har egne brukervilkår som forbyr automatiserte teknikker, og koden krever ofte mye vedlikehold fordi nettsider kan endres for å hindre scraping. La oss forklare begrepene og hva dere bør passe på. «Webscraping» betyr å bruke et program (i stedet for å klikke manuelt) for å hente ut og samle inn data fra nettsider automatisk – for eksempel priser, produktlister eller kontaktinfo. Det er en kraftig metode for markedsanalyse og datainnsamling, men den ligger i et juridisk gråsonelandskap dere bør navigere bevisst. «Åndsverkloven» er den norske loven som beskytter åndsverk, altså kreative og originale verk som tekst, bilder, databaser og samlinger. Den er relevant fordi innholdet dere skraper kan være opphavsrettslig beskyttet; å kopiere og gjenbruke større mengder av andres innhold kan krenke denne retten, selv om selve handlingen å hente data ikke i seg selv er forbudt. «Brukervilkår» (på engelsk «Terms of Service», ToS) er det regelverket en nettside setter for bruk av tjenesten; mange forbyr uttrykkelig automatisert innhenting, og bryter dere vilkårene, kan dere stenges ute eller i verste fall møte erstatningskrav. I tillegg kommer personvern: henter dere ut personopplysninger (navn, e-post med mer), trer GDPR inn – EUs personvernforordning, som i Norge gjelder gjennom personopplysningsloven, og som setter strenge krav til hvordan personopplysninger samles inn og behandles. Konkrete steg og tips: (1) Les nettsidens brukervilkår og sjekk filen «robots.txt», som signaliserer hva eieren tillater at roboter henter. (2) Vurder om det finnes et offisielt API (et programmeringsgrensesnitt laget nettopp for å hente data lovlig og stabilt) – det er nesten alltid å foretrekke. (3) Skrap skånsomt: ikke overbelast serveren med mange forespørsler på kort tid. (4) Unngå personopplysninger med mindre dere har et lovlig grunnlag etter GDPR. (5) Regn med vedlikehold – når nettsider endrer struktur eller legger inn sperrer, slutter koden å virke. Vanlige fallgruver: å ignorere brukervilkår, samle personopplysninger uten grunnlag, og å bygge noe skjørt som stadig ryker. Er dere i tvil, spør en juridisk veileder før dere setter i gang i kommersiell skala.