فایل robots.txt

[olampiad]

سلام استاد خسته نباشین
یه سوالی برام پیش اومده :
ما تو فایل robots.txt به ربات ها میگیم که به چه فایل هایی دسترسی داشته باشن و به چه فایل ها یا صفحاتی دسترسی نداشته باشن .
حالا ما باید بیایم برای دونه دونه از صفحاتمون allow بزنیم و بگیم که به این صفحات دسترسی داشته باشه .
این کار یکم سخت نیست .
میشه به ربات ها بگیم که فقط به فلان فایل و صفحه دسترسی نداشته باشن و بعدش به همه صفحات دسترسی داشته باشن ؟


یا اصلا من میخوام ربات به همه ی فایل های ما و صفحات ما دسترسی داشته باشه فقط دستور allow * رو بزنم ؟


الان برای یه سایتی این فایل رو نوشتن :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

به ربات ها گفتن که به wp-admin دسترسی نداشته باشن و به /wp-admin/admin-ajax.php دسترسی داشته باشن . پس تکلیف بقیه ی صفحاتتون و محتویات سایت چی میشه ؟
واقعیتش من یکم گیج شدم و نمیدونم که چیکار کنم .


ما تو سایت مپ هم به گوگل تمام لینک ها و صفحاتمون رو معرفی میکنیم . پس robots.txt به چه درد میخوره ؟


ممنون

[ADMIN]

اول اینکه توی سایت‌مپ نباید «تمام صفحات» رو معرفی کنید. فقط صفحاتی که میخواین ایندکس بشن رو مشخص می‌کنید. ضمناً robots.txt صرفاً پیشنهاد هست برای ربات‌هایی که مؤدب هستن وگرنه هیچ الزام و قیدوبندی برای ربات‌ها ایجاد نمیکنه و کاملاً آزاد هستن که رعایت نکنن. البته ربات گوگل خیلی مؤدبه و رعایت می‌کنه.