Die meiste Ursache für die nicht auffindbare Seite ist ein HTTP-Fehlercode 404 (Not Found). Mehr Informationen zu Gängigen HTTP-Fehlermeldungen, erfahren Sie hier: Gängige HTTP-Fehlermeldungen.
Die mögliche Ursache ist in der Regel durch Suchmaschinen-Bots oder Besucher verursacht. Dies geschieht durch den direkten Aufruf der entsprechenden Unterordner. Üblicherweise wird eine index-Datei als Startseite in einem Verzeichnis verwendet. Weicht der Seitenbetreiber hiervon ab und hat dies nicht in der .htaccess (mit der Direktive "DirectoryIndex") festgehalten, liefert der Webserver einen entsprechenden 404-Fehler aus.
Die Datei robots.txt wird von Suchmaschinen gelesen, da sich in dieser Hinweise und Anweisungen für den Suchmaschinen-Bot befinden
(siehe hierzu http://de.wikipedia.org/wiki/Robots.txt). Ist die Datei nicht vorhanden, wird auch hier eine 404-Meldung durch den Bot generiert.
(siehe hierzu http://de.wikipedia.org/wiki/Robots.txt). Ist die Datei nicht vorhanden, wird auch hier eine 404-Meldung durch den Bot generiert.