تعريف زحف الميزانية

ميزانية الزحف يتم تعريف ميزانية الزحف على أنها الحد الأقصى لعدد الصفحات التي حددت Google نفسها لاستكشافها على موقع ويب للرجوع إليها. عند الزحف ، يحاول محرك البحث التحكم في محاولاته عدم زيادة التحميل على خادم الموقع ، ولكن مع الحرص على عدم تجاهل الصفحات المهمة. للعثور على التوازن الصحيح ، ستخصص Google ميزانية زحف مختلفة لكل موقع ويب بناءً على بعض المعايير مثل: استجابة الخادم ، وحجم الموقع ، وجودة المحتوى ، وتكرار التحديث.

الويب يتوسع ، تحسين محركات البحث أيضًا. في عام 2019 وحده ، تم نشر أكثر من 4.4 مليون مشاركة مدونة على الشبكة يوميًا.

بينما يستمتع الأشخاص بمشاهدة هذا المحتوى ، تواجه محركات البحث تحديًا كبيرًا: كيفية تنظيم الموارد للزحف إلى الصفحات ذات الصلة فقط وتجاهل الروابط غير المرغوب فيها أو منخفضة الجودة. 

ومن هنا جاء مفهوم الزحف الميزانية. 

• ما هو ملموس؟ 
• ما هي أهميته بالنسبة لموقع الويب؟ 
• ما هي العوامل التي تؤثر عليه؟ 
• كيف يمكن تحسينه لموقع ويب؟ 
• وكيف ترصده؟ 

هذه كلها أسئلة سنقدم لها إجابات واضحة وموجزة في هذا الدليل المصغر. 

حسنا هيا بنا!

الفصل 1: ميزانية الزحف – التعريفات وأهمية تحسين محركات البحث

لتطوير هذا الفصل بشكل صحيح ، سنتناول تعريف ميزانية الزحف من زاويتين: 

• تعريف يُرى من جانب خبراء تحسين محركات البحث ؛ 
• وما تعنيه Google حقًا بهذا المصطلح. 

1.1 ما هي ميزانية الزحف؟ 

ميزانية الزحف (أو ميزانية الاستكشاف أو الفهرسة) ليست مصطلحًا رسميًا تقدمه Google. 

بدلاً من ذلك ، نشأ في صناعة تحسين محركات البحث حيث يتم استخدامه من قبل خبراء تحسين محركات البحث كمصطلح عام للإشارة إلى الموارد المخصصة من قبل Google للزحف إلى موقع وفهرسة صفحاته.

ببساطة ، تشير ميزانية الزحف لموقع الويب إلى عدد الصفحات التي يتوقع Google الزحف إليها على الموقع خلال إطار زمني معين. إنه عدد محدد مسبقًا من عناوين URL التي يطلب محرك البحث من روبوت الفهرسة، GoogleBot ، مراعاته عند المرور عبر الموقع.

بمجرد الوصول إلى حد ميزانية الزحف ، يتوقف GoogleBot عن الزحف إلى الموقع ، ويتم تلقائيًا تخطي بقية الصفحات غير المفهرسة ، ويغادر الروبوت الموقع. 

يمكن أن يختلف عدد الصفحات المراد فهرستها من موقع إلى آخر على وجه التحديد لأن جميع المواقع ليس لديها نفس الأداء ولا نفس السلطة. قد تكون ميزانية الزحف الثابتة لجميع مواقع الويب مرتفعة جدًا بالنسبة إلى أحد المواقع ومنخفضة جدًا بالنسبة إلى موقع آخر. 

لذلك قرر محرك البحث استخدام عدد معين من المعايير قبل تحديد الوقت الذي روبوت الفهرسة في كل موقع بالإضافة إلى عدد الصفحات المراد الزحف إليها. 

بالنسبة لهذه المعايير ، لا توجد قائمة شاملة ، كما هو الحال بالنسبة للعديد من الأشياء المتعلقةبخوارزمية Google 

ومع ذلك ، إليك بعض هذه المعايير المعروفة للجميع: 

• أداء الموقع : من المحتمل أن يحصل موقع الويب المحسن جيدًا والذي يتميز بسرعة تحميل سريعة على ميزانية زحف أعلى من موقع بطيء التحميل. 
• حجم الموقع : كلما زاد محتوى الموقع ، زادت ميزانيته. 
• تكرار التحديثات : سيتم تخصيص ميزانية زحف كبيرة للموقع الذي ينشر محتوى عالي الجودة ويقوم بتحديث صفحاته بانتظام.  

الروابط الموجودة على الموقع : كلما زاد عدد الروابط الموجودة في الموقع ، زادت ميزانية الزحف الخاصة به وستتم فهرسة.

من الناحية المثالية ، يجب أن تغطي ميزانية الزحف جميع صفحات الموقع ، ولكن للأسف ليس هذا هو الحال دائمًا. هذا هو السبب في أنه من المهم تحسين المعايير المذكورة أعلاه لزيادة فرصك في الحصول على ميزانية زحف كبيرة. 

يجب القول أنه حتى الآن ، تم التعامل مع تعريف هذا المصطلح من وجهة نظر مالك الموقع أو خبير تحسين محركات البحث على الويب المسؤول عن العمل على الإحالة إلى موقع ويب. 

ولكن عندما طُرح سؤال “ما هي ميزانية الزحف” على جاري إيليس ، المحلل في جوجل ، كانت إجابتها أكثر دقة. 

1.2 ما الذي تعنيه Google حقًا بميزانية الزحف؟ 

في عام 2017 ، تناول Gary Illyes المشكلة من خلال توضيح كيفية تصميم Google لميزانية الزحف. في إجابته، يمكننا التمييز بين ثلاثة أجزاء رئيسية مهمة: 

• مفهوم معدل الاستكشاف ؛ 
• طلب الاستكشاف ؛ 
• وبعض العوامل الأخرى. 

1.2.1. معدل الاستكشاف

أثناء الاستكشاف، تخشى Google أن تطغى على كل الزحف إليه وتفجير خادمه. هذا ليس مفاجئًا ، لأننا نعلم أن محرك البحث كان دائمًا وقائيًا ويدافع عن تجربة مستخدم جيدة على مواقع الويب. 

كلمات Gary Illyes كل هذا مرة أخرى:

“تم تصميم Googlebot ليكون مواطنًا صالحًا على الويب. يعتبر الزحف من أولوياته الرئيسية مع ضمان أنه لا يؤدي إلى تدهور تجربة المستخدمين الذين يزورون الموقع. نطلق على هذا اسم “حد معدل الاستكشاف” ، والذي يحد من الحد الأقصى لمعدل الاسترداد لموقع معين “. 

لذلك إذا لاحظ GoogleBot علامات على موقع تشير إلى أن زيارته المتكررة يمكن أن تؤثر على أداء الموقع ، فإن روبوت الفهرسة يؤدي إلى إبطاء مدة الزحف وكذلك تواتر الزيارة. 

نتيجة لذلك ، في بعض الحالات ، قد ينتهي الأمر بعدم فهرسة GoogleBot لصفحات معينة من موقع الويب. 

وعلى العكس من ذلك ، إذا تلقى الزاحف إشارات مشجعة مثل الاستجابات السريعة من الخادم ، فإنه يجعل المهمة أسهل وقد يقرر GoogleBot زيادة مدة زياراته وتكرارها. 

1.2.2. طلب 

فيما يتعلق بطلب الزحف ، يوضح Gary Illyes ، 

“حتى إذا لم يتم الوصول إلى حد سرعة الزحف ، إذا لم يكن هناك طلب فهرسة ، فسيكون هناك نشاط Googlebot منخفض”.

المصدر: Tech Journey 

من الواضح أن GoogleBot يعتمد على الطلب لاستكشاف موقع ما لتحديد ما إذا كان الموقع يستحق الزيارة مرة أخرى. 

يتأثر هذا الطلب بعاملين: 

• شعبية عناوين URL : كلما زادت شهرة الصفحة ، زاد استكشافها من خلال فهرسة برامج الروبوت.
• عناوين URL القديمة : تحاول Google أيضًا عدم وجود عناوين URL قديمة في فهرسها. لذلك كلما احتوى الموقع على عناوين URL قديمة ، قل عدد صفحاته التي تتم فهرستها بواسطة GoogleBot. 

تهدف Google إلى فهرسة المحتوى الحديث أو المحدث بانتظام من المواقع الشهيرة وتجاهل تلك التي عفا عليها الزمن. هذه هي طريقتها في الحفاظ على فهرسها دائمًا محدثًا بالمحتوى الحديث لمستخدميها. 

العوامل الأخرى كل ما من شأنه تحسين جودة محتوى الموقع وهيكله. هذا جانب مهم أراد غاري إيليس التأكيد عليه. 

علاوة على ذلك ، يوصي مشرفي المواقع بتجنب ممارسات معينة مثل: 

• إنشاء محتوى رديء الجودة ؛
• تنفيذ أسلوب معين من التنقل متعدد الأوجه ؛
• مكرر محتوى _
• إلخ.

سنناقش هذه العوامل بمزيد من التفصيل في فصل لاحق. بالنسبة إلى Gary Illyes ، باستخدام مثل هذه الممارسات على موقعك ، فإنك تهدر نوعًا ما ميزانية الزحف الخاصة بك. 

وهذه هي كلماته: 

“سيؤدي إهدار موارد الخادم على صفحات مثل هذه إلى استنزاف نشاط الزحف من الصفحات التي لها قيمة فعلية ، مما قد يؤخر بشكل كبير اكتشاف محتوى عالي الجودة على الموقع.”. 

لفهم المكان الذي يأتي منه Gary بشكل أفضل ، لنفترض على سبيل المثال أن لديك متجرًا شهيرًا للتجارة الإلكترونية متخصصًا في بيع أجهزة ألعاب الفيديو وجميع الملحقات. 

قررت إنشاء مساحة على الموقع حيث يمكن للمستخدمين مشاركة تجاربهم مع منتجاتك ، وهو نوع من المنتديات الواسعة والنشطة للغاية. ماذا تعتقد سوف يحصل؟ 

حسنًا ، بسبب هذا المنتدى ، ستتم إضافة الملايين من عناوين URL منخفضة القيمة إلى ملف تعريف الارتباط الخاص بك. النتيجة: ستستهلك عناوين URL هذه جزءًا كبيرًا من ميزانية الزحف التي خصصتها لك Google. نتيجة لذلك ، قد لا تتم فهرسة الصفحات التي تمثل قيمة فعلاً بالنسبة لك.                                                                                                                                                                                                                                                                                                                                                                                                         

الآن لديك فكرة واضحة جدًا عن ميزانية الزحف ، ولكن ما مدى أهمية ذلك بشكل ملموس لموقع ويب؟ 

الفصل 2: ​​أهمية ميزانية الزحف للإحالة الطبيعية 

تعتبر ميزانية الاستكشاف المثلى ذات أهمية كبيرة لمواقع الويب لأنها تجعل من الممكن فهرسة الصفحات المهمة بسرعة. 

كما أشار Gary Illyes ، فإن إهدار ميزانية الزحف سيمنع Google من الزحف إلى موقعك بشكل فعال. قد الزاحف وقتًا أطول في الصفحات غير المهمة على حساب الصفحات التي تريد حقًا ترتيبها. 

سيؤدي ذلك إلى تقليل إمكانات تحسين محركات البحث لديك نظرًا لأن كل مفهرسة لن تكون موجودة في نتائج بحث Google. ستفقد هذه الصفحة بعد ذلك كل احتمالات أن يستشيرها مستخدمو الإنترنت من SERP. 

تخيل نفسك تنتج محتوى مثيرًا للاهتمام مع صور رائعة توضيحية للغاية. ثم تذهب إلى أبعد من ذلك من خلال تحسين علامات العنوان و Alt و Hn والعديد من العوامل الأخرى ، تمامًا مثل خبير تحسين محركات البحث المتمرس. 

ولكن إذا تجاهلت في النهاية تحسين ميزانية الزحف ، للأسف أخشى ألا تصل روبوتات الزاحف من Google إلى هذا المحتوى عالي الجودة ولن تصل إلى مستخدمي الإنترنت أيضًا. والذي سيكون عارًا نظرًا لجميع جهود تحسين محركات البحث التي تم بذلها. 

ومع ذلك ، تجدر الإشارة إلى أن تحسين ميزانية الزحف مهم بشكل خاص فقط لمواقع الويب الكبيرة. 

جون مولر ، محلل آخر في Google ، في تغريدة : 

“لا داعي للقلق بشأن هذا الأمر على معظم المواقع. إنه موضوع مثير للاهتمام ، وإذا كنت تزحف إلى الويب أو تشغل موقعًا به مليارات من عناوين URL ، فهو مهم ، ولكنه أقل أهمية بالنسبة لمالك الموقع العادي. »

كما ترى ، فإن ميزانية الزحف مخصصة لمواقع الويب الكبيرة التي تحتوي على مليارات من عناوين URL مثل الشهيرة منصات التجارة الإلكترونية على سبيل المثال. 

يمكن أن تشهد هذه المواقع حقًا انخفاضًا في حركة المرور إذا لم يتم تحسين ميزانية الزحف الخاصة بها بشكل جيد. أما بالنسبة للمواقع الأخرى ، فإن Google تظل أقل إثارة للقلق وتطمئن على أنها لا ينبغي أن تقلق كثيرًا بشأن المشكلات المتعلقة بمعدل الاستكشاف. 

إذا كنت موقعًا محليًا صغيرًا أو كنت قد أنشأت موقع الويب الخاص بك للتو ، فإليك الأخبار التي تجلب لك الصعداء. 

ومع ذلك ، لن تخسر شيئًا من خلال الرغبة في تحسين ميزانية الزحف الخاصة بك ، خاصة إذا كنت تخطط لتوسيع موقعك في المستقبل. 

على العكس من ذلك ، يوجد جزء كبير من الطرق المستخدمة لتحسين معدل الاستكشاف أيضًا في الطرق المستخدمة لتحسين ترتيب الموقع على صفحات Google. 

في الأساس ، عندما تحاول شركة ما تحسين ميزانية الزحف لموقعها ، فإنها تعمل أيضًا على تحسين موقعها على Google. 

فيما يلي قائمة ببعض مزايا تحسين محركات البحث (SEO) التي يستفيد منها موقع الويب من تحسين ميزانية الزحف الخاصة به ، حتى لو لم يمثل أي مشكلة في هذا المجال: 

• الحصول على GoogleBot للزحف إلى الصفحات المهمة فقط من الموقع ؛ 
• لديك خريطة موقع جيدة التنظيم ؛ 
• تقليل الأخطاء وإعادة توجيه سلاسل طويلة ؛ 
• تحسين أداء الموقع ؛ 
• تحديث محتوى الموقع ؛ 
• إلخ. 

مع كل هذه المزايا ، ليس هناك شك في أن ميزانية الزحف لها أهمية كبيرة لموقع الويب. 

ولكن من أجل تحسين ناجح ، أود أن أقدم لكم بعض العوامل السلبية التي يجب أن تنتبهوا لها قبل أن تبدأوا. 

الفصل 3: العوامل التي تؤثر على ميزانية الزحف

فيما يلي بعض العوامل التي يمكن أن تؤثر سلبًا على ميزانية الزحف للموقع: 

3.1. التنقل الأوجه 

هذا شكل من أشكال التنقل يوجد غالبًا في مواقع المتاجر عبر الإنترنت. يسمح التنقل الأوجه للمستخدم باختيار منتج ثم إتاحة فلاتر أخرى على الصفحة لنفس المنتج.

قد يكون منتجًا متوفرًا بعدة ألوان أو أحجام مختلفة. الشيء هو أن طريقة تنظيم النتائج هذه تتطلب إضافة عناوين URL إلى الصفحة. 

وكل عنوان URL جديد يُضاف فقط يعرض مقتطفًا من صفحته الأصلية وليس المحتوى الجديد. هذا يمثل مضيعة لميزانية الزحف للموقع. 

3.2 عناوين URL مع معرفات 

الجلسات لم يعد يجب استخدام تقنية إنشاء معرفات الجلسات في عناوين URL ، لأنه مع كل اتصال جديد ، يقوم النظام تلقائيًا بإنشاء عنوان URL جديد. يؤدي هذا إلى إنشاء قدر هائل من عناوين URL على صفحة واحدة.

المصدر: Pole Position Marketing

3.3. محتوى مكرر

في حالة وجود عدة محتويات متطابقة على أحد المواقع ، يمكن لبرنامج Googlebot استكشاف جميع الصفحات المعنية دون الوقوع في أي محتوى جديد. 

يمكن استخدام الموارد التي يستخدمها محرك البحث لتحليل كل هذه الصفحات المتطابقة لاستكشاف عناوين URL ذات المحتوى الملائم والمختلف.  

3.4. صفحات أخطاء البرامج 

على عكس أخطاء 404 ، تشير هذه الأخطاء إلى صفحة وظيفية ، ولكن ليس الصفحة المطلوبة. فشل الوصول إلى المحتوى الفعلي للصفحة ، يقوم الخادم بإرجاع رمز الحالة 200. 

3.5. الصفحات 

اختراقها تحرص Google دائمًا على تقديم أفضل النتائج لمستخدميها ، وهو ما يستبعد بالطبع الصفحات التي تم الاستيلاء عليها. لذلك إذا عثر محرك البحث على مثل هذه الصفحات على موقع ما ، فسيتم إيقاف الفهرسة لمنع هذه الصفحات من الوصول إلى نتائج البحث. 

3.6 المساحات اللانهائية 

 هناك مساحات لا نهائية يمكن العثور عليها في الموقع. لنأخذ حالة التقويم حيث تمت برمجة زر “الشهر التالي” للإشارة بشكل فعال إلى الشهر التالي. 

عند الزحف ، قد يقع Googlebot في نوع من التكرار اللانهائي ويستنزف ميزانية الزحف للموقع من خلال البحث المستمر عن “الشهر القادم”. 

في كل مرة ينقر فيها المستخدم على السهم الأيمن ، يتم إنشاء عنوان URL جديد على الموقع ، مما يجعل عدد فلكي من الروابط في الصفحة الواحدة. 

3.7 محتوى غير مرغوب فيه أو ذو جودة رديئة 

تحاول Google أن يكون في فهرسها محتوى عالي الجودة فقط يجلب قيمة مضافة حقيقية لمستخدمي الإنترنت. 

لذلك إذا اكتشف محرك البحث محتوى رديء الجودة على موقع ما ، فإنه يعطي قيمة قليلة جدًا. 

3.8 سلاسل إعادة التوجيه 

لسبب ما إعادة توجيه، يتعين على Googlebot الزحف عبر جميع عناوين URL الوسيطة قبل الوصول إلى المحتوى الفعلي.

لا يزال الروبوت غير قادر على معرفة الفرق ، لذا فهو يتعامل مع كل عملية إعادة توجيه كصفحة في حد ذاتها ، مما يؤدي دون داعٍ إلى إفراغ ميزانية الزحف المخصصة للموقع.

3.9.مخبأ ذاكرة التخزين المؤقت 

في بعض الأحيان يمكن إعادة تسمية ملفات مثل ملف CSS على النحو التالي: style.css؟ 8577484 مشكلة طريقة التسمية هذه هي أن العلامة “؟” يتم إنشاؤه تلقائيًا في كل مرة يُطلب فيها الملف.

الفكرة هي منع متصفحات المستخدمين من تخزين الملف مؤقتًا. تعمل هذه التقنية أيضًا على إنشاء قدر هائل من عناوين URL التي ستعالجها Google بشكل فردي. ما يؤثر على ميزانية الزحف. 

3.10.إعادة التوجيه المفقودة 

حتى لا يفقد جزءًا من جمهوره ، يمكن للموقع أن يقرر إعادة توجيه نسخته التي لا تحتوي على www إلى إصدار www تمامًا مثل twaino.com إلى www.twaino.com أو العكس. 

قد يرغب أيضًا في الترحيل من بروتوكول HTTP إلى HTTPS. ومع ذلك ، إذا لم يتم تكوين هذين النوعين من عمليات إعادة التوجيه العامة بشكل صحيح ، فلاحظ أن Google يمكنه الزحف إلى 2 أو 4 عناوين URL لنفس الموقع:

http://www.monsite.com
https://www.monsite.com
http: / / mysite.com
https://mysite.com

3.11.2 ترقيم الصفحات السيئة 

عندما ترقيم يتكون الترقيم من أزرار تسمح لك بالتنقل في كلا الاتجاهين ، دون أي ترقيم ، يحتاج Google إلى استكشاف عدة صفحات في هذا الاتجاه قبل فهم أنه صفحات. 

نمط ترقيم الصفحات الموصى به والذي لا يضيع ميزانية الزحف هو الذي يذكر صراحة عدد كل صفحة.

المصدر: CrazyLeafDesign 

باستخدام هذا النمط من ترقيم الصفحات ، يمكن لبرنامج Googlebot التنقل بسهولة من الصفحة الأولى إلى الصفحة الأخيرة للحصول على فكرة عن الصفحات المهمة التي يجب فهرستها.

إذا اكتشفت واحدًا أو أكثر من العوامل المذكورة حتى الآن ، فمن المهم تحسين ميزانية الزحف لمساعدة Googlebot على فهرسة الصفحات الأكثر أهمية بالنسبة لك.

ولكن كيف يمكن تحسينها؟

الفصل 4: كيفية تحسين ميزانية الزحف؟ 

الآن وقد تم وضع الأساسيات ، يمكننا أن نبدأ التحسين الفعلي لميزانية الزحف. 

4.1 السماح بالزحف إلى صفحاتك المهمة في ملف Robots.txt ربما تكون

هذه الخطوة الأولى في تحسين ميزانية الزحف هي الأهم على الإطلاق. 

لديك طريقتان لاستخدام ملف robots.txt، إما يدويًا أو باستخدام أداة تدقيق تحسين محركات البحث. 

إذا لم تكن متعصبًا للبرمجة ، فمن المحتمل أن يكون خيار الأداة هو الأسهل والأكثر كفاءة. 

استخدم أداة من اختيارك ، ثم أضف ملف robots.txt. في غضون ثوانٍ قليلة ، يمكنك تحديد ما إذا كنت تسمح بالزحف إلى أي صفحة على موقعك أم لا. تعرف على كيفية القيام بذلك في هذا الدليل ، كل ما يتعلق بملف robots.txt.

4.2 تجنب عمليات إعادة التوجيه المتسلسلة

الإمكان لا يمكن للمرء أن يمتنع بشكل قاطع عن اللجوء إلى عمليات إعادة التوجيه المتسلسلة لأنه في ظروف معينة ، يمكن أن يكون نهجًا مفيدًا. ومع ذلك ، فإن الخيار المثالي هو أن يكون لديك إعادة توجيه واحدة على موقع ويب. لكن ، يجب أن ندرك أنه يكاد يكون من المستحيل بالنسبة للمواقع الكبيرة. في مرحلة أو أخرى ، يجدون أنفسهم مجبرين على استخدام 301 و 302

ومع ذلك ، فإن تكوين عمليات إعادة التوجيه بأي ثمن على الموقع يضر بشدة بميزانية الزحف حتى لو كان ذلك يعني منع Googlebot من استكشاف الصفحات التي تريد الرجوع إليها.  

التزم بعدد قليل من عمليات إعادة التوجيه ، واحدة أو اثنتين ، ويفضل السلاسل القصيرة. 

4.3 استخدم كود HTML بقدر الإمكان

لقد تحسن برنامج تتبع الارتباطات من Google كثيرًا في فهم المحتوى في Javascript، وكذلك في Flash و XML. 

لكن محركات البحث الأخرى لا تستطيع قول الشيء نفسه. لذلك للسماح لجميع محركات البحث باستكشاف صفحاتك بالكامل ، سيكون من الحكمة استخدام HTML وهي لغة أساسية ، يمكن لجميع محركات البحث الوصول إليها. 

وبالتالي ، فإنك تزيد من فرص الزحف إلى صفحاتك بواسطة جميع محركات البحث. 

4.4 إصلاح أخطاء HTTP مع خطر فقدان ميزانية الزحف 

إذا لم تكن تعرف ، أخطاء 404 و 410 يلتهم حرفيا ميزانية الزحف الخاصة بك. والأسوأ من ذلك ، أنها تحط من تجربة المستخدم الخاصة بك. 

تخيل خيبة أمل مستخدم الإنترنت الذي يسارع إلى استشارة منتج تبيعه أو محتوى كتبته وينتهي به الأمر على صفحة فارغة ، دون أي بديل آخر.

هذا هو السبب في أنه من المهم إصلاح أخطاء HTTP من أجل صحة موقعك ، ولكن أيضًا من أجل إرضاء زوار موقعك. 

تمامًا مثل أخطاء إعادة التوجيه ، سيكون من الأنسب استخدام أداة مخصصة لاكتشاف هذه الأخطاء وإصلاحها إذا لم تكن مغرمًا جدًا بالبرمجة. 

يمكنك استخدام أدوات مثل SE Rankingو Ahrefsو Screaming Frog… لإجراء تدقيق لتحسين محركات البحث لموقعك. 

4.5 تكوين عناوين URL الخاصة بك بشكل صحيح

إذا قمت بتكوين عناوين URL مختلفة للوصول إلى نفس الصفحة ، فلن يفهمها Google بهذه الطريقة. بالنسبة لمحرك البحث ، يمكن التعرف على كل صفحة بعنوان URL واحد فقط. 

وبالتالي ، سيقوم Googlebot بفهرسة كل عنوان URL على حدة ، بغض النظر عما إذا كان هناك العديد منها يعيد التوجيه إلى نفس المحتوى. وهو مضيعة لميزانية الزحف. 

إذا كان لديك مثل هذا الموقف على موقعك ، يجب عليك إخطار Google. 

هذه مهمة لها ميزة مزدوجة ، فمن ناحية يتم حفظ ميزانية الاستكشاف الخاصة بك ومن ناحية أخرى لم تعد مضطرًا للخوف من عقوبة من Google بسبب المحتوى المكرر الخاص بك. 

تعرف على كيفية إدارة المحتوى المكرر بشكل صحيح من خلال الرجوع إلى هذه المقالة التي توضح بالتفصيل الإجراء الذي يجب اتباعه. 

4.6 حافظ على تحديث خريطة موقعك دائمًا 

. من المهم تحديث خريطة موقع XMLيسمح هذا لبرامج الزحف بفهم بنية موقعك ، مما يسهل الزحف إليه.

يوصى باستخدام عناوين URL الأساسية لملف Sitemap الخاص بك. 

4.7 تعد علامات Hreflang ضرورية

عندما يتعلق الأمر بالزحف إلى صفحة محلية ، تعتمد برامج الزحف على علامات hreflang. لهذا السبب من المهم أنتخبر Google عن الإصدارات المختلفة التي لديك. اعثر على جميع المعلومات حول منارة Hreflang في هذا الدليل المصغر.

كانت هذه 7 نصائح لتحسين ميزانية الزحف لموقعك ، لكنها لا تتوقف عند هذا الحد. من المفيد أيضًا مراقبة كيفية قيام Googlebot بالزحف إلى موقعك والوصول إلى المحتوى الخاص بك. 

الفصل 5: كيف تراقب ميزانية الزحف الخاصة بك؟ 

لمراقبة ميزانية الزحف إلى موقعك ، لديك أداتان للقيام بذلك: Google Search Console وملف سجل الخادم: 

5.1. Google Search Console 

GSC هي أداة مقدمة من Google تقدم العديد من الميزات التي تساعد في تحليل موقعك في فهرس محرك البحث و SERPs. تقدم الأداة أيضًا نظرة عامة على ميزانية الزحف الخاصة بك. لبدء التحقق ، يمكنك الوصول إلى إحصائيات الاستكشاف . هذا تقرير يتتبع نشاط googlebot على موقعك على مدار الثلاثين يومًا الماضية.

في هذا التقرير ، يمكننا أن نرى أن Googlebot يقوم بالزحف 48 صفحة يوميًا في المتوسط ​​على الموقع. ستكون صيغة حساب متوسط ​​ميزانية الزحف لهذا الموقع كما يلي: 

BC = متوسط ​​عدد الصفحات التي يتم الزحف إليها يوميًا × 30 يومًا

قبل الميلاد = 48 × 30 

قبل الميلاد = 1440 

لذا بالنسبة لهذا الموقع ، يبلغ متوسط ​​ميزانية الزحف 1440 صفحة شهريًا. 

ومع ذلك ، من المهم الإشارة إلى أن هذه الأرقام من Google Search Console مبالغ فيها بعض الشيء. 

ولكن في نهاية اليوم ، يعد هذا تقديرًا وليس قيمة مطلقة لميزانية الزحف. تعطي هذه الأرقام فكرة عن معدل الاستكشاف الذي يتمتع به الموقع. 

للنصيحة الصغيرة ، يمكنك كتابة هذا التقدير قبل البدء في تحسين ميزانية الزحف الخاصة بك. بمجرد اكتمال العملية ، يمكنك عرض قيمة ميزانية الاستكشاف هذه مرة أخرى. 

من خلال مقارنة القيمتين ، ستتمكن من تقييم نجاح استراتيجيات التحسين بشكل أفضل. 

يقدم بحث Google أيضًا تقريرًا آخر ، “تقرير تغطية” لمعرفة عدد الصفحات التي تم فهرستها على الموقع ، بالإضافة إلى تلك التي تم فهرستها.

يمكنك مقارنة عدد الصفحات المفهرسة بإجمالي عدد الصفحات على موقعك لمعرفة العدد الفعلي للصفحات التي يتخطى Googlebot. 

5.2.4 تحديث الخادم

يظل ملف سجل الخادم بلا شك أحد المصادر الموثوقة للتحقق من ميزانية الزحف لموقع الويب. 

بكل بساطة لأن هذا الملف يتتبع بأمانة تاريخ أنشطة روبوتات الفهرسة التي تستكشف موقعًا ما. في ملف السجل هذا ، يمكنك أيضًا الوصول إلى الصفحات التي يتم الزحف إليها بانتظام وحجمها الدقيق. 

فيما يلي نظرة عامة على محتويات ملف السجل: 

11.222.333.44 – – [11 / Mar / 2020: 11: 01: 28 –0600] “احصل على https://www.seoclarity.net/blog/keyword-research HTTP / 1.1 “200 182” – “” Mozilla / 5.0 Chrome / 60.0.3112.113 “

لتفسير هذا الجزء من التعليمات البرمجية ، سنقول أنه في 11 مارس 2020 ، حاول أحد المستخدمين الوصول إلى الصفحة https: //www.seoclarity. net / blog / keyword-research من متصفح Google Chrome. 

تم وضع الكود “200” ليعني أن الخادم قد وصل بالفعل إلى الملف وأن الملف يزن 182 بايت. 

الفصل السادس: الأسئلة الأخرى المطروحة حول الزحف على الميزانية

6.1. ما هي ميزانية الزحف؟

ميزانية الزحف هي عدد عناوين URL الموجودة على موقع الويب والتي يمكن لمحرك البحث الزحف إليها في فترة زمنية معينة بناءً على معدل الزحف وطلب.

6.2 ما هو معدل الزحف وحد ​​معدل الزحف؟

الزحف معدل على أنه عدد عناوين URL في الثانية التي يمكن لمحرك البحث الزحف إليها على أحد المواقع. يمكن حد معدل على أنه الحد الأقصى لعدد عناوين URL التي يمكن الزحف إليها دون الإخلال بتجربة زوار الموقع.

6.3 ما هو طلب الاستكشاف؟

بالإضافة إلى معدل الزحف وحدود سرعة الزحف التي يحددها مشرف الموقع ، تختلف سرعة الزحف من صفحة إلى أخرى حسب الطلب على صفحة معينة.

من المرجح أن يتم الزحف إلى الصفحات الأكثر شيوعًا أكثر من الصفحات التي نادرًا ما تتم زيارتها أو لم يتم تحديثها أو ذات قيمة قليلة. 

6.4. لماذا ميزانية الاستكشاف محدودة؟

ميزانية الزحف محدودة لضمان عدم تحميل خادم موقع الويب بشكل زائد عن طريق عدد كبير جدًا من الاتصالات المتزامنة أو الطلب الكبير على موارد الخادم ، مما قد يؤثر سلبًا على تجربة زوار موقع الويب.

6.5. كم مرة يزحف محرك بحث Google إلى موقع ما؟

تعد شعبية موقع الويب وقابلية الزحف إليه وبنيته عوامل تحدد المدة التي سيستغرقها محرك بحث Google للزحف إلى موقع ما. بشكل عام ، قد يستغرق Googlebot أكثر من أسبوعين للزحف إلى أحد المواقع. ومع ذلك ، يعد هذا إسقاطًا وقد ادعى بعض المستخدمين أنه تمت فهرسته في أقل من يوم.

6.6. كيف تحدد ميزانية الاستكشاف؟

• السماح للروبوتات بالزحف إلى صفحاتك المهمة ؛
• احذر من سلاسل إعادة التوجيه ؛
• استخدم HTML كلما أمكن ذلك ؛
• لا تدع أخطاء HTTP تستهلك ميزانية الزحف الخاصة بك ؛
• اعتن بمعلمات URL الخاصة بك ؛
• تحديث خريطة الموقع الخاص بك ؛
• تعد علامات Hreflang أمرًا حيويًا ؛
• إلخ.

6.7 ما الفرق بين الزحف والفهرسة؟

الزحف والفهرسة شيئان منفصلان وغالبًا ما يساء فهم ذلك في صناعة تحسين محركات البحث. الزحف يعني أن Googlebot يفحص كل المحتوى أو الشفرة على الصفحة ويحللها. 

من ناحية أخرى ، تعني الفهرسة أن Google قد أنشأت نسخة من المحتوى في فهرسها ويمكن أن تظهر الصفحة في SERPs من Google.

6.8 هل يحفظ Noindex ميزانية الزحف؟

لا تحفظ علامة Noindex الوصفية ميزانية زحف Google الخاصة بك. هذا سؤال واضح جدًا عن تحسين محركات البحث لمعظمكم ، لكن جون مولر من Google أكد أن استخدام علامة noindex الوصفية على موقعك لن يساعد في حفظ ميزانية الزحف الخاصة بك. تمنع العلامة الوصفية هذه الصفحة من الفهرسة وعدم الزحف إليها.

الخلاصة 

باختصار ، تجمع ميزانية الزحف معًا الموارد التي يحتفظ بها Google لكل موقع لاستكشاف صفحاته وفهرستها. 

حتى إذا لم تكن ميزانية الاستكشاف بحد ذاتها عاملاً مرجعيًا ، فإن تحسينها يمكن أن يساهم في الرجوع إلى صفحات الموقع ، ولا سيما الصفحات الأكثر أهمية. 

لهذا ، قدمنا ​​في هذا الدليل عددًا من الممارسات التي يجب مراعاتها. 

آمل أن تساعدك هذه المقالة في فهم مفهوم ميزانية الزحف بشكل أفضل وخاصة كيفية تحسينها. Si vous avez d’autres questions, n’hésitez pas à me les faire savoir dans les commentaires.
شكرا و إلى اللقاء !