Robots.txt is een tekstbestand met deze naam wordt door webspiders en zoekrobots opgevraagd. Hierin staan welke delen van de website niet toegankelijk zijn, en bijvoorbeeld niet moeten worden opgenomen in zoekresultaten.
