Disallow هو أمر يستخدمه مشرفو المواقع لإدارة برامج زحف محركات البحث التي تسمى برامج الزحف. يتمثل الدور الرئيسي لهذا التوجيه في إخبار هذه الروبوتات في ملف Robots.txt ، وليس الزحف إلى صفحة أو ملف معين لموقع ويب. في المقابل ، لدينا أمر Allow الذي يخبر برامج الزحف أنه يمكنها الوصول إلى هذه العناصر نفسها.
يعد إنشاء محتوى عالي الجودة والروابط الخلفية تقنيات شائعة للإشارة إلى موقع ما. حتى إذا كانت هذه التقنيات هي المسيطرة ، فهناك العديد من التقنيات الأخرى التي تساهم في تحسين محركات البحث لموقع الويب.
معظم هذه التقنيات غير معروفة للأسف ، على الرغم من أن بعضها يتحول إلى أصول حقيقية للإشارة إلى موقع ما.
هذه هي حالة ملف robots.txt ، وهو ملف يتصل بمحركات البحث من خلال عدة توجيهات ، وكيفية الزحف إلى صفحات موقع الويب. من بين هذه التوجيهات ، يبرز Disallow. إنها أداة قوية قادرة على التأثير على تحسين محركات البحث للموقع.
من خلال هذه المقالة ، نكتشف معًا توجيه Disallow وفائدته لتحسين محركات البحث. أخيرًا ، سوف نستكشف بعض أفضل الممارسات لتجنب الأخطاء أثناء استخدامها.
الفصل 1: ما هو التوجيه Disallow وكيف يكون مفيدًا في تحسين محركات البحث؟
التوجيه Disallow هو ممارسة شرعية لتحسين محركات البحث يستخدمها بالفعل العديد من مشرفي المواقع. هذا الفصل مخصص لتعريف هذا التوجيه وأهميته في عالم تحسين محركات البحث.
1. ما هو توجيه Disallow؟
مثل العلامات الأخرى مثل Nofollow ، يؤثر التوجيه Disallow على سلوك برامج الزحف مثل Googlebot و Bingbot عند مواجهة أقسام معينة من موقع الويب.
تعمل هذه الروبوتات كأرشيفات على الإنترنت وتجمع محتوى الويب لفهرسته. لهذا ، يقومون بالزحف إلى جميع مواقع الويب لاكتشاف صفحات جديدة وفهرستها.
يتمكن مشرفو المواقع من تقديم إرشادات متنوعة إلى برامج الزحف التي تصل إلى مواقعهم من خلالهاملف robots.txt. يعد توجيه Disallow أحد هذه العبارات.
يسمح لمشرفي المواقع بحظر الوصول إلى موارد محددة على موقع ويب. لذلك ، لن تتمكن برامج الزحف من الزحف إلى عناوين URL المحظورة باستخدام الأمر Disallow.يستخدم هذا الاتجاه أحيانًا بشكل وثيق مع توجيه سماح. بخلاف التوجيه Disallow ، فإنه يتيح الوصول إلى برامج الزحف ويخبرهم بالموارد التي يجب استكشافها.
يجب أن نتذكر أن روبوتات محرك البحث فقط هي التي تفهم اللغة المستخدمة في ملف robot.txt. يمكن لبرامج الروبوت التي لا تستخدم هذه اللغة مثل الروبوتات الضارة الوصول إلى الموارد المحظورة بواسطة التوجيه Disallow.
1.2 أين هو أمر Disallow؟
يتم تضمين الأمر Disallow في ملف robots.txt كما ذكرنا سابقًا. يتم وضع هذا الملف في جذر الموقع في المستوى الأول (www.yoursite.com/robots.txt).لا تعثر برامج الروبوت إلا على ملف robots.txt في الموقع المذكور أعلاه. الاسم الصحيح هوملف robots.txt وغيرها من الكتب المقدسة مثلملف robots.txt أوالروبوتات يتم تجاهلها ببساطة.
يتضمن ملف robots.txt توجيهات أخرى وهي:
- عدم السماح ؛
- ينكر ؛
- ترتيب ؛
- إلخ.
يظل ملف robots.txt متاحًا للجمهور ويمكن الرجوع إليه لأي موقع ويب. يظهر عند إضافة “/robots.txt” إلى نهاية المجال. هذا يسمح لك بمشاهدة جميع توجيهات الموقع عندما يحتوي على هذا الملف.
يبدو الرابط المراد فتحه في متصفحك كما يلي: www.yoursite.com/robots.txt. عندما لا يكون ملف robots.txt على هذا العنوان ، تفترض برامج الروبوت أن الموقع لا يحتوي على مثل هذا الملف.
1.3 ما هي أهمية الأمر Disallow؟
يمكن استخدام التوجيه Disallow لعدة أسباب. إلى جانب التوجيهات الأخرى في ملف robots.txt ، فهو يساعد في تحسين ترتيب الموقع.
تساعد هذه الإرشادات في توجيه برامج الزحف إلى الموارد واستكشاف تلك المفيدة فقط.
1.3.1. تحسين الميزانية d’exploration
غالبًا ما يتم استخدام التوجيه Disallow لمنع برامج الزحف من استكشاف الصفحات التي ليس لها مصلحة حقيقية في تحسين محركات البحث لموقع الويب. هذا الذي جوجل حاول أن تشرح في المقطع التالي:
“لا تريد أن يغرق خادمك في زاحف Google أو تهدر ميزانية الزحف الخاصة به على صفحات غير مهمة أو مشابهة على موقعك.“
ببساطة ، تخصص Google ما يسمى بميزانية الزحف لروبوتاتها لكل موقع ويب. هذه الميزانية هي عدد عناوين URL التي يمكن لبرنامج Googlebots الزحف إليها على الموقع.
ولكن عندما تصل الروبوتات إلى موقع ما ، فإنها تبدأ في الزحف إلى كل صفحة من صفحاتها. لذلك سيستغرق استكشاف الموقع وقتًا أطول نظرًا لتعدد الصفحات.
هذا هو السبب في أنه من الضروري مساعدة الروبوتات على تجاهل الصفحات غير المهمة باستخدام التوجيه Disallow وتوجيهها بـ Allow نحو الصفحات المهمة التي تستحق الترتيب.
ومع ذلك ، من خلال وضع تعليمات جيدة في ملف robots.txt باستخدام Disallow ، يساعد مشرفو المواقع الروبوتات في إنفاق ميزانية الزحف بحكمة. هذا هو أحد الأسباب التي تجعل التوجيه Disallow مفيدًا بشكل خاص لتحسين محركات البحث.
بالإضافة إلى ذلك ، يساعد التوجيه Disallow في الحفاظ على خصوصية أقسام موقع الويب ويساعد على منع التحميل الزائد للخادم. كما يسمح لك بمنع بعض الموارد مثل الصور أو مقاطع الفيديو من الظهور في نتائج البحث.
1.3.2. هل يمنع الأمر Disallow فهرسة الصفحة؟
لا يمنع الأمر Disallow فهرسة الصفحة ، بل يمنع الزحف إليها.لذلك ، قد يظهر عنوان URL الذي تم حظره باستخدام Disallow في نتائج البحث عندما يعثر Google على المحتوى ذي الصلة لاستعلام ما. يمكن أيضًا تصنيفها عند وجود روابط خلفية والعلامات المتعارف عليها الذي يشير إليه.
ومع ذلك ، لن يتمكن Google إلا من عرض معلومات أخرى بخلاف عنوان URL للصفحة. وهكذا يظهر الأخير مكان العنوان. بالنسبة للوصف التعريفي ، يعرض محرك البحث رسالة تفيد بأنه غير متوفر بسبب ملف robots.txt.
لمنع محركات البحثلفهرسة صفحة ويب، نستخدم علامة Noindex. يخبرهم بعدم النظر في المورد المعني في SERPs.
يجب أيضًا أن نتذكر أنه يمكن الجمع بين توجيهي Disallow و Noindex. ستسمح لك علامة Noindex بإخراج بعض صفحاتك من الفهرس وتجنب مشاكل مثلمحتوى مكرر.
لاحظ أن هذه العلامة تختلف عن Nofollow ، وهي علامة تُستخدم عندما تريد إخبار Google بفهرسة الصفحة ، ولكن ليس لمتابعة الروابط الموجودة في هذه الصفحة.
علامات Noindex ولا اتباع يمكن دمجها عندما لا تريد فهرسة الصفحة المعنية وعدم اتباع روابطها.
الفصل 2: نماذج طلب عدم السماح وأفضل الممارسات لتجنب الأخطاء
يعد تطبيق أمر Disallow بسيطًا بشكل خاص ولا يتطلب سوى التمكن من بناء الجملة والأحرف العامة. يناقش هذا الفصل أشكال تطبيق توجيه Disallow والممارسات الجيدة لتجنب الأخطاء.
2.1. وكلاء المستخدمين لتحديد محركات البحث
لتطبيق أمر Disallow وتوجيهات ملف robots.txt ، يجب أن تبدأ بوضع وكلاء المستخدم الذين تستهدفهم الرسالة. هذه هي الروبوتات التي ستأخذ تعليمات التوجيه بعين الاعتبار.
للدلالة على أنها مخصصة لجميع الروبوتات ، نضع الرمز (*) على النحو التالي.
ولكن عند التعامل مع Googlebots حصريًا ، فإننا نتابع ما يلي:
- وكيل المستخدم: Googlebots
عندما يتعلق الأمر بمعالجة Bingbots فقط ، نكتب:
- وكيل المستخدم: Bingbots
يمثل تسجيل وكيل المستخدم أيضًا بداية التعليمات لمجموعة من التوجيهات. وبالتالي ، يتم التعامل مع جميع التوجيهات المتضمنة بين وكيل المستخدم الأول ووكيل المستخدم الثاني على أنها توجيهات الوكيل الأول.
أيضا ، النجمة (*) يمثل مجموعة الأحرف الممكنة بينما علامة الدولار ($) هي الطريقة التي تنتهي بها عناوين URL. حاد (#) في الوقت نفسه يسمح لك ببدء تعليق.
التعليقات مخصصة للبشر فقط ولا تدعمها برامج الروبوت. تسمى هذه الرموز الثلاثة أحرف البدل ويمكن أن يتسبب سوء التعامل مع هذه الأحرف في حدوث مشكلات لموقعك.
2.2. الأشكال المختلفة لتطبيق Disallow
يختلف بناء جملة Disallow تبعًا لشكل الطلب.
2.2.1. عدم السماح:
عندما تضع Disallow: بدون إضافة أي شيء بعد ذلك ، فإنك تشير إلى برامج الزحف إلى عدم وجود قيود. هذا يعني أن كل شيء في صفحتك مفيد للتعلم ويمكن للروبوتات استكشاف كل شيء
أنت تدرك أن بناء الجملة هذا ليس مفيدًا لأن محركات البحث ستزحف إلى موقعك على أي حال في حالة عدم وجوده.
2.2.2. عدم السماح:/
يقرأ هذا التوجيه Disallow all ويسمح لك برفض الوصول إلى موقع بأكمله. عند استخدام بناء الجملة هذا ، لن تتمكن برامج الروبوت من وكلاء المستخدم المحددين من الزحف إلى أي شيء على موقعك. يمكن استخدام بناء الجملة هذا عندما لا يزال الموقع قيد الصيانة ، على سبيل المثال.
2.2.3. Disallow: مدونة
يستخدم هذا الرمز لمنع الوصول إلى جميع الصفحات التي يبدأ عنوان URL الخاص بها بالمدونة. لذلك ، سيتم ببساطة تجاهل جميع العناوين التي تبدأ بـ https://www.yoursite.com/blog أثناء الزحف.
2.2.4. عدم السماح: / *. pdf
من الممكن حظر استكشاف نوع معين من الملفات وهذا ما يفعله هذا الرمز مع ملفات من نوع PDF. سيسمح هذا لبرامج الزحف بتجاهل هذا النوع من الملفات عند الزحف إلى عناوين URL التالية:
- https://www.votresite.com/contrat.pdf
- https://www.votresite.com/blog/documents.pdf
من الممكن أيضًا إضافة الرمز ($) إلى تركيبنا للإشارة إلى برامج الروبوت أنه يجب تجاهل جميع الصفحات التي تنتهي عناوين URL الخاصة بها بـ (.pdf).
2.3 عدم السماح مقابل السماح
يمكن استخدام الأمرين Disallow و Allow في ملف robots.txt. عند استخدامها معًا ، قد يؤدي استخدام أحرف البدل إلى تعليمات متضاربة.
بالإضافة إلى ذلك ، غالبًا ما تنفذ روبوتات Google التوجيهات الأقل تقييدًا عندما تكون التعليمات غير واضحة. ولكن عندما يتطابق الأمران Disallow و Allow مع نفس عنوان URL في ملف robots.txt ، فإن الأمر الأطول يفوز.
طول العبارة هو عدد الأحرف في العبارة خارج التوجيه. هذا هو المسار التوجيهي الذي ستتبعه الروبوتات. للأمثلة أدناه ، سيتم تنفيذ العبارة الثانية.
- عدم السماح :/مثال* (9 أحرف)
- يسمح :/exemple.htm $(13 حرفًا)
- يسمح :/ * pdf $(6 أحرف)
2.4 أفضل الممارسات لتجنب الأخطاء
قد يؤدي التكوين غير الصحيح لملف robots.txt أو العبارة غير الصحيحة لتوجيه Disallow إلى إعاقة أداء تحسين محركات البحث لموقعك. هذا هو السبب في أنه من المهم أن تكون يقظًا بما يكفي حتى لا تمنع مواردك عن طريق الخطأ.
من ناحية أخرى ، يجب ألا تحظر البيانات الحساسة فقط باستخدام التوجيه Disallow. كما ذكرنا سابقًا ، لا يزال من الممكن أن تظهر الصفحة المحظورة في نتائج البحث وتصبح عامة.
بالإضافة إلى ذلك ، يمكن لبرامج الروبوت الضارة التي لا تتبع الإرشادات الواردة في ملف robots.txt الزحف إلى الصفحات التي من المفترض أن تكون محمية باستخدام Disallow. نظرًا لأن ملف robots.txt عام ، يمكن لأي شخص الاطلاع عليه ومعرفة ما تحاول إخفاءه.
فيما يتعلق بوكلاء المستخدم ، من الضروري معرفة كيفية استخدامها من أجل الدقة في تسجيل تعليمات التوجيهات المختلفة. ضع في اعتبارك أن محرك البحث يمكن أن يحتوي على برامج زحف متعددة عند تحديد العوامل.
كمثال ، يستخدم Google Googlebot للبحث العضوي ، بينما يستخدم Googlebot-Image للبحث عن الصور.
الفصل 3: أسئلة أخرى تم طرحها حول توجيه عدم السماح
في هذا الفصل ، نتناول الأسئلة التي يتم طرحها بانتظام في سياق توجيه Disallow.
3.1. ما هو ملف robots.txt؟
يعطي ملف robots.txt توجيهات لمحركات البحث فيما يتعلق بتفضيلات الزحف الخاصة بك. هذا الملف حساس في عالم تحسين محركات البحث ويمكن لخطأ بسيط أن يعرض موقعًا بأكمله للخطر.
ولكن عند استخدامه بحكمة ، فإنه يرسل إشارات جيدة إلى Google ويساعد تحسين محركات البحث لموقعك. لتعديل ملف robots.txt ، سيكون عليك فقط الاتصال بالخادم الخاص بك عن طريق عميل FTP ثم إجراء التعديلات.
إذا لم تتمكن من إنشاء الاتصال ، فيمكنك الاتصال بالمضيف. من ناحية أخرى ، إذا كنت بحاجة إلى إنشاء ملف robots.txt جديد ، فما عليك سوى القيام بذلك من محرر نص عادي.
في هذه الحالة ، تأكد من حذف القديم إذا كان لديك بالفعل واحد على موقعك. احرص على عدم استخدام محرر نصوص مثل Word ، حيث يمكنه تقديم رمز آخر إلى النص الخاص بك.
3.2 ما هو استكشاف الروبوت؟
يُعرف أيضًا باسم الزحف ، واستكشاف صفحات الويب هو عملية ترسل من خلالها محركات البحث روبوتات (عناكب) لفحص محتوى كل عنوان URL.
تنتقل برامج الروبوت هذه من صفحة إلى أخرى للعثور على عناوين URL جديدة أو محتوى جديد. هذه هي الخطوة الأولى التي تسمح لمحركات البحث باكتشاف المحتوى الخاص بك لبرمجة فهرسته.
يتدخل ملف الروبوت في هذه المرحلة ويوجه الروبوتات وفقًا لتفضيلاتك. يختلف الزحف عن الفهرسة لأن الفهرسة تتضمن تخزين وتنظيم المحتوى الموجود أثناء الزحف.
3.3 ما الصفحات التي يمكن حظرها باستخدام الأمر Disallow؟
لم تضع محركات البحث قاعدة عامة بشأن الصفحات التي يجب حظرها. ولذلك ، فإن استخدام التوجيه Disallow خاص بكل موقع ويعتمد على حكم مشرف الموقع.
ومع ذلك ، يمكن أن يساعد هذا التوجيه في إخبار العناكب بعدم الزحف إلى الصفحات قيد الاختبار. يمكنك أيضًا رفض الوصول إلى صفحات معينة مثل صفحات الشكر.
عندما تعمل أيضًا على موقع متعدد اللغات ، على سبيل المثال ، يمكنك حظر النسخة الإنجليزية ، على سبيل المثال ، إذا لم تكن جاهزة وتمنع الروبوتات من استكشافها.
أما بالنسبة لصفحة الشكر ، فعادةً ما تكون مخصصة للعملاء المحتملين الجدد. لا يزال بإمكان هذه الصفحات إنفاق ميزانيات الزحف والظهور في نتائج البحث.
عندما تظهر في نتائج البحث ، تكون صفحة الشكر متاحة للجميع ويمكن للأشخاص الوصول إليها دون المرور بعملية التقاط العميل المتوقع.
ولكن من خلال حظر صفحة شكرًا لك ، فإنك تضمن أن العملاء المحتملين المؤهلين سيتمكنون من الوصول إليها. في هذه الحالة ، لن يكون التوجيه Disallow وحده كافيًا لأنه لا يمنع فهرسة عنوان URL المعني.
ومع ذلك ، قد تظل الصفحة المعنية تظهر على SERPs. لذلك يُنصح بدمج توجيه DIsallow مع توجيه Noindex. وبالتالي ، لن تتمكن برامج الزحف من زيارة الصفحة أو فهرستها.
استنتاج
بشكل عام ، هناك العديد من الإجراءات لتحسين ترتيب الموقع. يعد توجيه Disallow أحد تلك الإجراءات التي تمنحك ميزة حقيقية لتحسين محركات البحث.
يمنع عناكب محرك البحث من استكشاف المحتوى غير المفيد من أجل تحسين ميزانية الاستكشاف لموقع الويب.
بهذه الطريقة ، يسمح لروبوتات العنكبوت باستخدام هذه الميزانية بأفضل طريقة لزيادة ظهور المحتوى الخاص بك في نتائج البحث.
لذلك يمكن أن يكون لاستخدام التوجيه Disallow تأثير كبير عندما يتم تقديم التعليمات بشكل جيد. ومع ذلك ، يمكن أن يكسر الموقع بأكمله عندما تكون التعليمات خاطئة.
