Hallo,
ich bin mir nicht ganz sicher ob sich die Zeilen mit Erlauben und Sperren ggf. ausschließen.
Bitte schaut mal drauf.
User-Agent: *
User-Agent: /Images/Stellungen/
User-Agent: /Images/orchidee.gif
User-Agent: /Images/logo_heisse-fantasien_breit.gif
User-Agent: /Images/stengelblume.gif
User-Agent: /Images/tech_update.gif
User-Agent: /Images/inhalt_update.gif
User-Agent: /Images/Navigation/home_out.gif
User-Agent: /Images/Navigation/fantasie_out.gif
User-Agent: /Images/Navigation/stellung_out.gif
User-Agent: /Images/Navigation/ideen_out.gif
User-Agent: /Images/Navigation/medien_out.gif
User-Agent: /Images/Navigation/projekt_out.gif
User-Agent: /Images/Navigation/gaeste_out.gif
User-Agent: /Images/Navigation/links_out.gif
User-Agent: /Images/Navigation/kontakt_out.gif
User-Agent: /Images/Navigation/ie-navi-unten.gif
User-Agent: /Images/Navigation/ie-navi-oben-home.gif
User-Agent: /Images/neu_im_kreis.gif
User-Agent: /Images/dot.gif
Disallow: /Images/
Disallow: /aus/
Disallow: /.js
Disallow: /.css
Disallow: /.inc
Disallow: /*impressum*
Disallow: impressum.htm
Disallow: impressum
Mir geht es vor allem um die Erlaubnis der einzelnen Dateien.
system
19. Januar 2012 um 17:36
2
Schau dir mal an wie eine Robots.txt aufgebaut sein sollte: Robots Exclusion Standard
Erlauben macht man mit Allow:
Tomm
19. Januar 2012 um 18:27
3
Also das was du da geschrieben hast,stimmt glaube ich nicht
Hinter User-Agent schreibt man immer den Namen des Crawlers,für die die Regel gelten soll
mit Disallow wird verboten und mit Allow wird erlaubt
Wenn es für alle Crawler gelten soll schreibt man [B]User-agent: *
[/B]
Mit der Datei robots.txt Seiten vor Robots schützen
was aber in den Erklärungen nicht erwähnt wird…
gibt es eine Reihenfolge von Disallow und Allow?
Besonders wenn Das Verzeichnis Images gesperrt ist aber einzelne Dateien in selbigem Verzeichnis frei sind.
system
19. Januar 2012 um 23:57
5
was aber in den Erklärungen nicht erwähnt wird…
gibt es eine Reihenfolge von Disallow und Allow?
Doch, wird in beiden Anleitungen erwähnt.
[FONT=monospace]Bitte noch mal lesen.[/FONT]
Tomm
20. Januar 2012 um 11:11
6
was aber in den Erklärungen nicht erwähnt wird…
gibt es eine Reihenfolge von Disallow und Allow?
Besonders wenn Das Verzeichnis Images gesperrt ist aber einzelne Dateien in selbigem Verzeichnis frei sind.
Wenn das Verzeichnis Images gesperrt wird,und dann gleichzeitig einzelne Dateien im Verzeichnis Images wieder erlaubt sein sollen,
dann weiss ich nicht so genau,wie das funktioniert.Ich würde dann diese Dateien lieber in ein anderes Verzeichnis verschieben.
eventuell könnte es so funktionieren
[HTML]
User-agent: *
Disallow: /Images
Allow: /Images/Stellungen/
Allow: /Images/orchidee.gif
[/HTML]
system
20. Januar 2012 um 11:27
7
Es muss so lauten:
User-Agent: *
Disallow: /Images/
Allow: /Images/Stellungen/
Allow: /Images/orchidee.gif
Allow: /Images/logo_heisse-fantasien_breit.gif
Allow: /Images/stengelblume.gif
Allow: /Images/tech_update.gif
Allow: /Images/inhalt_update.gif
Allow: /Images/Navigation/home_out.gif
Allow: /Images/Navigation/fantasie_out.gif
Allow: /Images/Navigation/stellung_out.gif
Allow: /Images/Navigation/ideen_out.gif
Allow: /Images/Navigation/medien_out.gif
Allow: /Images/Navigation/projekt_out.gif
Allow: /Images/Navigation/gaeste_out.gif
Allow: /Images/Navigation/links_out.gif
Allow: /Images/Navigation/kontakt_out.gif
Allow: /Images/Navigation/ie-navi-unten.gif
Allow: /Images/Navigation/ie-navi-oben-home.gif
Allow: /Images/neu_im_kreis.gif
Allow: /Images/dot.gif
Disallow: /aus/
Disallow: /.js
Disallow: /.css
Disallow: /.inc
Disallow: /impressum/
Disallow: impressum.htm