Wie erstellt man eine robots.txt Datei für Google crawler

  • Hallo,
    ich habe auf seitwert.de meine Homepage gecheckt und unter Technisches stand dass ich keinen robot.txt habe und das für Gogle crawler wichtig wäre.
    Habe im Internet nachrecherchiert doch richtig weiter bin ich nicht gekommen.
    Kann WebSite diese Datei erstellen und gleich hochladen?

  • Danke,
    ich habe soweit alles wie beschrieben gemacht und die robots.txt Datei erstellt und hochgeladen.
    Heute habe mit dem seitwert.de kontrolliert, doch er findet die Datei nicht.
    Was habe ich falsch gemacht?

  • Ich weis nicht nach was seitwert.de sucht und wo man die robots.txt abfragen kann? Aber nach 2 x abfragen ist Schluss, außer man hat Premium !


    Google findet sie jedefalls !

    Dateien

    • robots.JPG

      (106,82 kB, 21 Mal heruntergeladen, zuletzt: )

    Wissen ist MACHT ! Nichts zu Wissen macht nichts !
    Wissen ist MACHT ...ohne es zu wissen !

  • andy du hast falsch geschrieben...oder was falsch verstanden mit der robots.....


    also wenn ich suche


    site:rm-minden.de/galerie-anhang.html


    ist sie im Index von google....irgendwann wird sie da wieder raussein wenn google die robots mal angeschaut hat.