Mange webstedsoperatører er urolige. Tilsyneladende skal du absolut have en fil kaldet robots.txt. Hvad er det?
Windows + Linux / engelsk / Open Source. Hvis du har en hjemmeside, vil du normalt blive fundet. Der er stor frustration, når din egen side ikke vises på Google. Dette kan meget vel skyldes robots.txt -filen. Men kun hvis det er der. Denne fil kan kun gøre én ting: Forbyde.
I filen robots.txt kan du forbyde automatiske programmer, der surfer på internettet døgnet rundt, at få adgang til dine sider. Du kan udtale forbuddet overalt for alle disse robotter eller for visse. Du kan blokere dine sider helt eller kun bestemte områder.
Hvis filen ikke findes, er der derfor ingen forbud. Dine sider er åbne for alle søgemaskiner. Hvis du stadig ikke vises på Google, opstår et helt andet spørgsmål: Har du allerede registreret dine sider? Det bedste er at gøre det med det samme. Du skal blot indtaste adressen her:
https://www.google.com/webmasters/tools/submit-url
For at gøre dette skal du logge ind på din Google -konto.
For at en manglende robots.txt -fil skulle være et problem, skulle serveren også være konfigureret forkert. Derefter kunne en robot prøve at få adgang til filen og støde på usædvanlige fejlmeddelelser, der får processen til at afbryde. Men denne sag er meget usandsynlig.
Hvis du vil oprette en robots.txt -fil, skal du gemme den i hovedmappen på din webserver. Hvis du vil tillade alle at gøre alt, skal du skrive følgende ind i det:
Brugeragent: *
Tillad ikke:
Linjen "User-Agent" angiver, hvem forbuddet gælder. * betyder: for alle. Linjen "Tillad" udtrykker forbuddet. Hvis der ikke er mere, betyder det, at al adgang er tilladt.
Mere om emnet:Gardin op, her kommer dit websted: Sådan opretter du et websted med lille indsats
