Die robots.txt-Datei ist eine Textdatei im Root-Verzeichnis einer Webseite, die Suchmaschinen-Crawlern Anweisungen gibt, welche Bereiche der Seite indexiert oder ignoriert werden sollen.