robot.txt

Hallo,

ich bin mir nicht ganz sicher ob sich die Zeilen mit Erlauben und Sperren ggf. ausschließen.
Bitte schaut mal drauf.

User-Agent: * User-Agent: /Images/Stellungen/ User-Agent: /Images/orchidee.gif User-Agent: /Images/logo_heisse-fantasien_breit.gif User-Agent: /Images/stengelblume.gif User-Agent: /Images/tech_update.gif User-Agent: /Images/inhalt_update.gif User-Agent: /Images/Navigation/home_out.gif User-Agent: /Images/Navigation/fantasie_out.gif User-Agent: /Images/Navigation/stellung_out.gif User-Agent: /Images/Navigation/ideen_out.gif User-Agent: /Images/Navigation/medien_out.gif User-Agent: /Images/Navigation/projekt_out.gif User-Agent: /Images/Navigation/gaeste_out.gif User-Agent: /Images/Navigation/links_out.gif User-Agent: /Images/Navigation/kontakt_out.gif User-Agent: /Images/Navigation/ie-navi-unten.gif User-Agent: /Images/Navigation/ie-navi-oben-home.gif User-Agent: /Images/neu_im_kreis.gif User-Agent: /Images/dot.gif Disallow: /Images/ Disallow: /aus/ Disallow: /.js Disallow: /.css Disallow: /.inc Disallow: /*impressum* Disallow: impressum.htm Disallow: impressum

Mir geht es vor allem um die Erlaubnis der einzelnen Dateien.

Schau dir mal an wie eine Robots.txt aufgebaut sein sollte: Robots Exclusion Standard

Erlauben macht man mit Allow:

Also das was du da geschrieben hast,stimmt glaube ich nicht
Hinter User-Agent schreibt man immer den Namen des Crawlers,für die die Regel gelten soll

mit Disallow wird verboten und mit Allow wird erlaubt
Wenn es für alle Crawler gelten soll schreibt man [B]User-agent: *

[/B]
Mit der Datei robots.txt Seiten vor Robots schützen

was aber in den Erklärungen nicht erwähnt wird…

gibt es eine Reihenfolge von Disallow und Allow?
Besonders wenn Das Verzeichnis Images gesperrt ist aber einzelne Dateien in selbigem Verzeichnis frei sind.

was aber in den Erklärungen nicht erwähnt wird…
gibt es eine Reihenfolge von Disallow und Allow?

Doch, wird in beiden Anleitungen erwähnt.

[FONT=monospace]Bitte noch mal lesen.[/FONT]

Wenn das Verzeichnis Images gesperrt wird,und dann gleichzeitig einzelne Dateien im Verzeichnis Images wieder erlaubt sein sollen,
dann weiss ich nicht so genau,wie das funktioniert.Ich würde dann diese Dateien lieber in ein anderes Verzeichnis verschieben.

eventuell könnte es so funktionieren

[HTML]
User-agent: *
Disallow: /Images
Allow: /Images/Stellungen/
Allow: /Images/orchidee.gif
[/HTML]

Es muss so lauten:

User-Agent: *
Disallow: /Images/
Allow: /Images/Stellungen/
Allow: /Images/orchidee.gif
Allow: /Images/logo_heisse-fantasien_breit.gif
Allow: /Images/stengelblume.gif
Allow: /Images/tech_update.gif
Allow: /Images/inhalt_update.gif
Allow: /Images/Navigation/home_out.gif
Allow: /Images/Navigation/fantasie_out.gif
Allow: /Images/Navigation/stellung_out.gif
Allow: /Images/Navigation/ideen_out.gif
Allow: /Images/Navigation/medien_out.gif
Allow: /Images/Navigation/projekt_out.gif
Allow: /Images/Navigation/gaeste_out.gif
Allow: /Images/Navigation/links_out.gif
Allow: /Images/Navigation/kontakt_out.gif
Allow: /Images/Navigation/ie-navi-unten.gif
Allow: /Images/Navigation/ie-navi-oben-home.gif
Allow: /Images/neu_im_kreis.gif
Allow: /Images/dot.gif
Disallow: /aus/
Disallow: /.js
Disallow: /.css
Disallow: /.inc
Disallow: /impressum/
Disallow: impressum.htm