Důvody použití robots.txt
Nejčastějším důvodem pro zamezení přístupu do některých složek (souborů) je jejich nerelevantnost s obsahem www stránek. Například nepotřebujeme, aby se zaindexovaly stránky z administrace, které nemají s obsahem nic společného. Navíc zde mohou být citlivé a choulostivé informace.
Odfiltrování některých složek pro přístup fulltextových vyhledávačů může také odlehčit komunikační lince.
Zdroje