Semalt: داروڑ روبوٹس ڈاٹ ٹی ایس ٹی کو کس طرح روکیں

روبوٹس ڈاٹ ٹی ایس ٹی فائل ایک عام ٹیکسٹ فائل ہے جس میں یہ ہدایت دی گئی ہے کہ ویب کرالر یا بوٹس کسی سائٹ کو کیسے کرال کریں۔ ان کی درخواست سرچ انجن بوٹس میں واضح ہے جو متعدد آپٹمائزڈ ویب سائٹوں میں عام ہیں۔ روبوٹس ایکزیوژن پروٹوکول (آر ای پی) کے ایک حصے کے طور پر ، روبوٹ ڈاٹ ٹی ایس ٹی فائل فائل کو ویب سائٹ کے مواد کو انڈیکس کرنے کے ساتھ ساتھ سرور کو اس کے مطابق صارف کی درخواستوں کی توثیق کرنے کا اہل بناتا ہے۔

جولیا واشینیوا ، سیملٹ سینئر کسٹمر کامیابی مینیجر ، وضاحت کرتی ہے کہ لنک سرچ انجن آپٹیمائزیشن (SEO) کا ایک پہلو ہے ، جس میں آپ کے طاق میں دوسرے ڈومینز سے ٹریفک حاصل کرنا شامل ہے۔ لنک کا رس منتقل کرنے کے ل follow "فالو" لنکس کے ل it ، یہ ضروری ہے کہ آپ کی ویب سائٹ پر ایک روبوٹ ڈاٹ ٹی ایس ٹی فائل کو شامل کریں جس میں انسٹرکٹر کے طور پر کام کیا جاسکے کہ سرور آپ کی سائٹ کے ساتھ کس طرح عمل کرتا ہے۔ اس محفوظ شدہ دستاویزات سے ، کچھ مخصوص صارف ایجنٹوں کے ساتھ سلوک کرنے کی اجازت یا اجازت دے کر ہدایات موجود ہیں۔

روبوٹس ڈاٹ ٹیکسٹ فائل کا بنیادی فارمیٹ

روبوٹ ڈاٹ ٹی ایس ٹی فائل میں دو ضروری لائنیں شامل ہیں:

صارف ایجنٹ: [صارف-ایجنٹ کا نام]

اجازت نہ دیں: [یو آر ایل اسٹرنگ کو نہیں کرینگے]

ایک مکمل روبوٹ ڈاٹ ٹی ایس ٹی فائل میں ان دونوں لائنوں پر مشتمل ہونا چاہئے۔ تاہم ، ان میں سے کچھ میں صارف کے ایجنٹوں اور ہدایتوں کی ایک سے زیادہ لائنیں شامل ہوسکتی ہیں۔ ان کمانڈوں میں ایسے پہلو شامل ہوسکتے ہیں جیسے اجازت ، اجازت یا کرال تاخیر۔ عام طور پر ایک لائن بریک ہوتا ہے جو ہدایت کے ہر سیٹ کو الگ کرتا ہے۔ ہدایت یا اجازت نامے میں سے ہر ایک کو اس لائن وقفے کے ذریعہ الگ کیا جاتا ہے ، خاص طور پر روبوٹس ڈاٹ ٹیکسٹ کے لئے متعدد لائنوں کے ساتھ۔

مثالیں

مثال کے طور پر ، روبوٹ ڈاٹ ٹی ایس ٹی فائل میں کوڈ شامل ہوسکتے ہیں جیسے:

صارف کا ایجنٹ: دارودر

انکار کریں: / پلگ ان

اجازت نامہ: / API

انکار کریں: / _ تبصرے

اس معاملے میں ، یہ ایک بلاک روبوٹ ڈاٹ ٹیکسٹ فائل ہے جو داروڑ ویب کرالر کو آپ کی ویب سائٹ تک رسائی سے روکتی ہے۔ مذکورہ نحو میں ، کوڈ ویب سائٹ کے پہلوؤں کو روکتا ہے جیسے پلگ انز ، API ، اور تبصرے سیکشن۔ اس علم سے ، یہ ممکن ہے کہ روبوٹ کی ٹیکسٹ فائل کو موثر طریقے سے انجام دینے سے بے شمار فوائد حاصل کیے جائیں۔ روبوٹ ڈاٹ ٹی ایس ٹی فائلیں متعدد کام انجام دینے کے اہل ہوسکتی ہیں۔ مثال کے طور پر ، وہ اس کے لئے تیار ہوسکتے ہیں:

1. تمام ویب کرالر مواد کو کسی ویب سائٹ کے صفحے میں جانے دیں۔ مثال کے طور پر؛

صارف ایجنٹ: *

اجازت نہ دیں:

اس معاملے میں ، صارف کے تمام مواد تک کسی بھی ویب کرالر کے ذریعہ کسی ویب سائٹ پر جانے کی درخواست کی جاسکتی ہے۔

2. کسی مخصوص فولڈر سے مخصوص ویب مواد کو مسدود کریں۔ مثال کے طور پر؛

صارف ایجنٹ: گوگل بوٹ

اجازت نہیں: / مثال کے ذیلی فولڈر /

یہ ترکیب جس میں صارف-ایجنٹ کا نام شامل ہے گوگل بوٹ کا تعلق گوگل سے ہے۔ یہ بوٹ کو www.ourexample.com/example-subfolder/ کے اسٹرنگ میں کسی بھی ویب پیج تک رسائی سے روکتا ہے۔

3. کسی مخصوص ویب صفحے سے کسی مخصوص ویب کرالر کو مسدود کریں۔ مثال کے طور پر؛

صارف کا ایجنٹ: بنگبوٹ

انکار کریں: /example-subfolder/blocked-page.html

صارف ایجنٹ بنگ بوٹ کا تعلق بنگ ویب کرالر سے ہے۔ اس قسم کی روبوٹ ڈاٹ ٹی ایس ٹی فائل بنگ ویب کرالر کو www.ourexample.com/example-subfolder/blocked-page کے اسٹرنگ والے مخصوص صفحے تک رسائی سے روکتی ہے۔

اہم معلومات

• ہر صارف آپ کی robts.txt فائل کو استعمال نہیں کرتا ہے۔ کچھ صارفین اس کو نظرانداز کرنے کا فیصلہ کرسکتے ہیں۔ ایسے ویب کرالروں میں زیادہ تر ٹروجن اور میلویئر شامل ہوتے ہیں۔
• روبوٹس ڈاٹ ٹی ایس ٹی فائل کے مرئی ہونے کے ل it ، یہ اعلی سطح کی ویب سائٹ ڈائرکٹری میں دستیاب ہونا چاہئے۔
• حروف "روبوٹ ڈاٹ ٹیکسٹ" کیس حساس ہیں۔ نتیجے کے طور پر ، آپ کو ان میں کسی بھی طرح سے ردوبدل نہیں کرنا چاہئے جس میں کچھ پہلوؤں کا سرمایہ کاری بھی شامل ہے۔
• "/robots.txt" عوامی ڈومین ہے۔ جب بھی کسی بھی URL کے مندرجات میں شامل کرکے کوئی بھی اس معلومات کو تلاش کرسکتا ہے۔ آپ کو ضروری تفصیلات یا صفحات کی فہرست نہیں بنانی چاہیئے جو آپ چاہتے ہیں کہ وہ نجی رہیں۔