Jeg har fleregange skrevet om min jagt på en nogenlunde opdateret og komplet liste over danske domænenavne.
Her kommer en status.
På https://wallnot.dk/dotdk/ har jeg samlet en liste over 1.3 millioner danske domænenavne, som allesammen har været aktive og registreret i perioden fra sådan cirka sommeren 2022 til starten af 2023.
Nogle er udløbet, nye er kommet til, men om ikke andet er der tale om den største offentligt tilgængelige database over danske domænenavne, som frit kan downloades.
Jeg har planer om at sætte noget i gang, der kan holde oversigten opdateret, men jeg har ikke haft tid til at bygge det. Og jeg vil stadigvæk gerne forsøge en form for maskinlæringsstøttet klassifikation af domænerne, der kan gøre det nemt at finde de domæner, der ikke rigtig bliver brugt til noget, og som måske kunne bruges til dine (og mine) gode idéer…
I På jagt efter danske domænenavne skrev jeg om en smart metode, jeg har fundet til at finde de .dk-domænenavne, som autoriteterne ikke ville dele med mig.
Måske er der andre end mig, der er interesseret i at holde lidt øje med nye steder på internettet?
Her er i hvert fald en lille opskrift på, hvordan man gør:
1. Hent Axeman
Axeman er et program, der hjælper med at automatisere og parallellisere downloads af certifikatlogs. Jeg måtte rette det en lille smule for at få det til at køre, da det vist ikke vedligeholdes aktivt. “Min” udgave finder du her:
Axeman gemmer certifikatlogs som csv-filer. Skriv fx…
axeman -u 'ct.googleapis.com/logs/argon2022'
…for at hente Googles 2022-logs. Det gik ikke specielt hurtigt hos mig, men det virkede.
3. Gennemgå log-filer for .dk-domæner
Jeg skrev et lille program, der søger logfiler igennem for .dk-domæner (der kommer også nogle andre domæner med engang imellem, hvis der er “.dk” et sted i domænet). Det ser sådan her ud:
import os
from pathlib import Path
import csv
csv_dir = 'PATH_TO_LOG_FILES'
paths = Path(csv_dir).iterdir()
for file_path in paths:
# Open and process csv file
with open(file_path, 'rt') as csv_input:
print('Processing: ', file_path)
reader = csv.reader(csv_input)
for row in reader:
host = row[4]
if '.dk' in host:
print('Found: ', host)
with open('PATH_TO_OUTPUT_FILE.CSV', 'a') as dotdk_output:
dotdk_output.write(host + '\n')
# Delete csv file after processing
os.remove(file_path)
Det eneste lidt obskure i programmet er måske hvad der gemmer sig i row[4]? Den indeholder en liste over de domæner og subdomæner, det enkelte certifikat er udstedt til. Elementerne i listen er adskilt med mellemrum.
4. Filtrer listen, så der kun kommer ægte, unikke .dk-domæner med
Efter grovsorteringen, skrev jeg endnu et lille program, der finsorterer. Det ser sådan her ud:
domains_in_file = set()
with open('PATH_TO_INPUT_FILE.CSV', 'rt') as file_input:
for index, row in enumerate(file_input):
items = row.split(' ')
for item in items:
item = item.replace('*.','').replace('\n','')
matches = re.findall(r'([^.]*$)', item)
dk_domain = ''
if matches[0] == 'dk':
dk_domain = item.split('.')
dk_domain = dk_domain[-2] + '.' + dk_domain[-1]
dk_domain = dk_domain.lower()
with open('PATH_TO_OUTPUT_FILE.BIN', 'wb') as unique_domains_file:
pickle.dump(domains_in_file, unique_domains_file)
Her er koden nok lidt mere obskur. Jeg tager hvert element i hver række fra CSV-filen i sidste trin og:
Fjerner evt. wildcard (*.) og linjeskift (\n) fra værtsnavnet
Finder domænesuffixet med et regulær udtryk
Hvis domænesuffixet er .dk, splitter jeg hvert enkelt element i værstnavnet op i en liste
Konstruerer selve domænenavnet ved at sætte det næstsidste (fx helmstedt) og sidste element (.dk) sammen
Sørger for en sikkerheds skyld for, at konvertere domænenavnet til små bogstaver
5. Nyd dit kendskab til nye og gamle domænenavne (der har fået udstedt SSL-certifikater)
For lang tid siden fik jeg fat i domænet wishlist.dk til min ønskeseddelservice ved at klage over, at domænet så ud til at være registreret alene med henblik på at sælge det videre. Det må man nemlig ikke gøre med .dk-domæner.
Noget tid efter blev jeg kontaktet af en, der hedder Jakob, der havde læst mit indlæg og havde brugt samme metode til at få fat i et domænenavn, han havde drømt om.
Et nyt dataprojekt
Den oplevelse gav mig den idé, at jeg kunne tjene det godes sag, hvis jeg på en eller anden måde kunne lave en liste over domæner registreret med henblik på videresalg og offentliggøre listen. Jeg tænkte, jeg kunne:
Hente en liste over danske domænenavne
Lave en robot, der henter noget data om hvert domænenavn og måske tager et skærmbillede af siden
Kategorisere et par tusind domæner efter hvad de i mine øjne bliver brugt til
Bruge noget smart maskinlærings-AI-hokus-pokus til at kategorisere de resterende domænenavne
WHOIS-databasen § 18. Administrator skal oprette og vedligeholde en database indeholdende oplysninger om registranternes navn, adresse og telefonnummer. Stk. 2. Administrator skal sikre, at oplysningerne nævnt i stk. 1 er retvisende, opdaterede og offentligt tilgængelige.
Jeg skrev til DK Hostmaster og fik nej. Jeg skrev til Dansk Internet Forum og fik intet svar. Jeg spurgte Klagenævnet for Domænenavne om jeg kunne klage over DK Hostmaster og fik nej. Så prøvede jeg at få aktindsigt i oplysningerne:
Det gik heller ikke så godt.
De oplysninger, jeg troede var offentlige, bliver åbenbart holdt tæt ind til kroppen. For at beskytte mig (og dig) mod spam!(?)
Efter afslaget klagede jeg til Erhvervsstyrelsen (nej!), forsøgte med aktindsigt hos Det Kongelige Bibliotek, som jeg fandt ud af var i besiddelse af listen (nej!), og skrev også til et par legitime domæneregistrationssælgere, som får listen af DK Hostmaster, om de var indstillet på at dele (nej!).
Jeg havde været ihærdig, men spildt så meget af min egen og andres tid, at jeg besluttede mig for at ændre kurs.
På datahøst
Det gik op for mig, at jeg ikke behøvede at kende alle .dk-domæner til mit hobbyprojekt. Nogle hundrede tusinde eller en million ville sikkert være rigeligt (der er registreret ca. 1,4 millioner i skrivende stund).
Jeg fandt en lang liste over danske ord og lavede en lille robot til at slå ordene op som domæner hos DK Hostmaster.
Jeg fandt en lignende liste med de mest brugte engelske ord og slog ordene op.
Jeg søgte på ord fra ordlisterne hos en kendt søgemaskine og fik søgeresultater tilbage med danske domænenavne.
Jeg fik API-adgang til CVR-registeret (som sjovt nok er rigtigt offentligt) og hentede domænenavne for alle danske virksomheder.
Disse metoder gav mig de første ca. 350.000 .dk-domæner og gav mig lejlighed til at skrive en masse små Python-scripts til at automatisere det meste.
Guldminen
Så fandt jeg guldminen. Apple, Google, Facebook, Cloudflare og andre hæderkronede virksomheder har et lidt andet syn på sikkerhed end DK Hostmaster, der jo gerne vil hemmeligholde danske domænenavne for at forhindre spam.
For at bekæmpe snyd med certifikater til sikker kommunikation på nettet (hængelåsen i browseren, du ved), logger de udstedelsen af certikater og har indtil videre logget lige under 8,5 milliard certifikater. I stedet for hemmeligholdelse: transparens.
Aha! Så når en ejer af et .dk-domæne får udstedt et certifikat til sin fine hjemmeside, bliver udstedelsen logget.
Jeg satte et smart program, der hedder Axeman, til at begynde at downloade logs, filtrerede for .dk-domænenavne og begyndte at tilføje dem til min database.
Det går langsomt, men det giver resultater.
På https://wallnot.dk/dotdk/ har jeg nu samlet 639.485 .dk-domænenavne til fri download og videredistribution. Og der er mange, mange flere på vej.
Tag den!
…Men hvad med projektet?
Jeg har faktisk fået kategoriseret nogle domænenavne efter hvordan jeg vurderer, de bliver brugt. Og taget en masse skærmbilleder, som jeg håber jeg kan bruge noget maskinlæring på. Men listen over .dk-domæner, jeg mener er registreret med henblik på videresalg, har lange udsigter.
Til gengæld håber jeg at listen over .dk-domæner i sig selv kan bruges af andre til et eller andet. Vi får se.
