यह वेबसाइट खोज इंजनों को आपकी वेबसाइट को अधिक कुशलता से अनुक्रमित करने में मदद करने के लिए बनाई गई है। टेक्स्ट फ़ाइल में एक या अधिक नियम होते हैं। प्रत्येक नियम में वेबसाइट में निर्दिष्ट पथ को अवरुद्ध करने या अनुमति देने की क्षमता होती है। जब तक आप robot txt फ़ाइल निर्दिष्ट नहीं करते, सभी वेबसाइटों को क्रॉल करने की अनुमति है।