Die robots.txt ist eine einfache Textdatei, in der bestimmte Seiten und Verzeichnisse der Website angegeben werden können, die von der Indexierung durch alle oder einzelne Suchmaschinen ausgeschlossen werden kann.
Hilfreich kann der Ausschluss einzelner Seiten oder Verzeichnisse bei großen Websites und Shops sein, um z.B. doppelte Inhalte (duplicate content) auszuschließen.
