تعريف الفهرسة 

تشير الفهرسة في تحسين محركات البحث (SEO) إلى الإجراء الذي يقوم من خلاله محرك البحث بسرد صفحات موقع الويب وتخزينها وطلبها لعرضها بسرعة بمجرد أن يبدأ مستخدم الإنترنت عملية بحث. هذه خطوة أساسية في المراجع الطبيعية والتي بدونها لا يمكن عرض موقع الويب في نتائج محرك البحث.

محركات البحث مثل Google أو Bing قادرة على تقديم آلاف الإجابات بعد استعلام في جزء صغير فقط من ثانية. ولكن وراء سرعة المعالجة هذه ، يتم إخفاء العديد من الخطوات ، بما في ذلكالفهرسة. 

إذن: 

• ما هذا؟ 
• ما هي أهميتها بالنسبة إلى تحسين محركات البحث ؟ 
• وكيف تسهل فهرسة الموقع؟ 

اكتشف الإجابة على كل هذه الأسئلة والمزيد في هذا الدليل المصغر كل شيء عن الفهرسة. 

إذن هيا بنا نذهب!

الفصل 1: الفهرسة – عملية وأهمية تحسين محركات البحث (SEO)

قبل إغراقك بالمصطلحات الفنية ، من المناسب أن نتناول تشغيل هذا المفهوم لتجنب أي غموض في بقية الدليل. 

1.1 كيف تعمل الفهرسة؟

عندما يتم إنشاء موقع ويب حديثًا أو إضافة صفحة جديدة إلى موقع ما ، لا يمكن الوصول إليها تلقائيًا لمحركات البحث. يجب أن تتبع المحركات أولاً عددًا من الخطوات قبل العثور عليها.

وللوصول إلى هذه الصفحات ، سترسل محركات البحث ما يسمى بـ SEO، برامج الزحف. كما يوحي اسمه ، يقوم الزاحف بالزحف إلى المواقع عن طريق تتبع مسار بناءً على الداخلية والخارجية. 

من خلال هذه الروابط ، سوف “ينتقل” الزاحف بين صفحات الموقع أو من موقع إلى آخر. 

خلال رحلة الاستكشاف هذه ، سيقوم الروبوت بجمع المعلومات وطلبها وتخزينها في قاعدة بيانات: هذه هي مرحلة الفهرسة. تسمى قاعدة البيانات هذه ” الفهرس “. 

بعد إطلاق استعلام ، ستعتمد محركات البحث على المعلومات المخزنة في الفهرس لتقديم عناصر استجابة بناءً على الكلمات الرئيسية التي أدخلها المستخدم في استعلامه.  

بدون خطوة الفهرسة هذه ، لا يمكن عرض أي صفحة من صفحات موقع الويب في نتائج المحرك بعد البحث. إنها خطوة أساسية للمراجع الطبيعية ، ولكنها ليست كافية ، لترتيب الصفحة جيدًا على محركات البحث. 

وهذا يعني أنه لكي تنجح في الحصول على ترتيب جيد على Google أو أي محرك بحث آخر ، يجب أن تفي بمعايير التصنيف بعد مرحلة فهرسة الصفحة. 

لذلك ، عندما يقوم المستخدم بتشغيل طلب على Google أو Bing على سبيل المثال ، فإنه لا يبدأ بحثه مباشرة على الويب ، بل في فهرس المحرك. 

إذا كان البحث الذي تم إطلاقه يتعلق بموضوعك ، فلن يكون لصفحتك فرصة لتقديمها إلى مستخدم الإنترنت إذا لم يتم استكشافها وفهرستها مسبقًا. 

بالإضافة إلى ذلك ، يجب القول أن محركات البحث لا تقوم دائمًا بفهرسة جميع الصفحات المتاحة على الويب. في بعض الأحيان ، بسبب جودة المحتوى الرديئة أو ممارسات تحسين محركات البحث السيئة ، قد لا تتم فهرسة بعض الصفحات على الموقع. 

سنعود بمزيد من التفاصيل في فصل لاحق عن العوامل التي يمكن أن تمنع فهرسة الصفحة. 

ولكن بمجرد أن يطلق مستخدم الإنترنت طلبه ، ما الذي يحدث فعليًا بين الوقت الذي يفصل بين طلبه والاستجابة من محرك البحث؟ 

حسنًا ، سيقوم محرك البحث بما يلي: 

• تحليل استعلام المستخدم لفهم هدف البحث تمامًا ؛
• ابحث في فهرسها وقم بتصفية المعلومات وفقًا لنية مستخدم الإنترنت ؛
• اختر جميع الصفحات التي تعتبر ذات صلة بالاستعلام بناءً على العديد من معايير التصنيف ؛
• ثم اعرض هذه الصفحات على المستخدم بالترتيب من حيث صلتها بالموضوع. 

بينما تقوم بعض المواقع بتحديث صفحاتها بانتظام ، ينتهي الأمر بالبعض الآخر بالية. 

يتم أيضًا إنشاء صفحات جديدة كل يوم ، مما يوفر إذا أمكن معلومات جديدة أكثر صلة بالمحتوى القديم. في مواجهة هذا التغيير المستمر في المعلومات ، لتظل فعالة ، روبوتات الفهرسة تضطر

ما الزاحف على عدة عوامل تحدد ميزانية الزحف من الموقع. 

1.2 كيف تعمل الفهرسة مع جوجل؟ 

كما أوضحنا سابقًا ، يعمل Google أيضًا بنفس الطريقة لفهرسة صفحات الويب الخاصة به. ما يجب توضيحه هو أنه لاستكشاف الويب وفهرسة الصفحات المتاحة ، يستخدم Google روبوت الفهرسة الخاص به المسمى Googlebot.

إذا صادف Googlebot أثناء الاستكشاف صفحة محسّنة للفهرسة ، يمكن أن يحاول الروبوت فهم الموضوع الذي يتناوله. 

يمكن أن تكون صفحة تم إنشاؤها حديثًا أو صفحة قديمة ، بشرط أن تفي بمعايير التحسين الخاصة بالفهرسة. 

لبدء مرحلة الفهرسة هذه ، سيقوم Googlebot بتحليل محتوى الصفحة ، وفهرسة المرئيات المدرجة بالإضافة إلى أي بيانات أخرى متاحة يمكن أن تساعده في فهم موضوع الصفحة. 

سيتم بعد ذلك تصنيف جميع المعلومات التي تم جمعها حسب الموضوع ثم تخزينها في فهرس Google. 

يعد فهرس Google هذا قاعدة بيانات ضخمة تحتوي على مئات المليارات من الصفحات. يقدر محرك البحث نفسه حجم فهرسه بأكثر من 100 مليون جيجا بايت. 

الآن ، دعنا نلقي نظرة على أهمية الفهرسة لتحسين محركات البحث لموقعك.   

1.3 ما هي أهمية الفهرسة في تحسين محركات البحث؟ 

من خلال شرح كيفية فهرسة محركات البحث لصفحات الويب ، ذكرنا الأهمية الأساسية للفهرسة للإشارة إلى موقعك. 

أنت تعلم بالفعل أنه بدون مرحلة التخزين في فهرس الويب ، لا يمكن أن تكون صفحات موقعك مرئية لمستخدمي الإنترنت على صفحة نتائج المحرك. 

وهذا ليس كل شيء ، فعندما يمر Googlebot عبر موقعك ، قد يكتشف الروبوت البرامج الضارة أو المشكلات الفنية أو المحتوى ذي الجودة الرديئة. 

بمعنى آخر ، يمكنك اعتبار فهرس Google مصدرًا موثوقًا به. إذا كانت بعض صفحاتك مدرجة هناك ، فهذا دليل على أن هذه الصفحات “بصحة جيدة” وأنها وثيقة الصلة بما يكفي لعرضها على مستخدمي الإنترنت. ومع ذلك ، تذكر أن Google لديها أيضًا فهرس ثانوي حيث يخزن صفحات منخفضة الجودة. وتشمل هذه الصفحات التي يتم تكرارها أو التي يعتبرها محرك البحث “أقل صلة”.

بداهة ، لا يعرض Google الصفحات المرتبة في الفهرس الثانوي في نتائجه ، لأنه لا يعطي نفس الأهمية لجميع الصفحات. من الناحية المثالية ، يجب أن يتم تصنيف صفحات الويب الخاصة بك في الفهرس الرئيسي. 

ولكن لماذا لا تتم فهرسة بعض الصفحات بواسطة محركات البحث؟ سنتحدث عنها في الفصل التالي. 

الفصل 2: ​​العوامل التي تمنع فهرسة الصفحة

قبل تقديم العوامل التي قد تمنع فهرسة صفحاتك ، إليك ما تتحمله إذا حدث هذا بالفعل: 

2.1. عواقب مشاكل الفهرسة

إن الطبيعة والمشاكل التي تؤثر على فهرسة الصفحة ليس لها نفس المقياس من حيث العواقب على الموقع. 

إذا كانت الصفحة أقل أهمية بالنسبة للمالك المتأثر ، فمن المحتمل ألا تكون نهاية العالم. 

ولكن إذا كانت ، من ناحية أخرى ، صفحة مهمة ذات محتوى محسّن للغاية يتأثر ، فهذا عار ويتم إهدار جميع جهود تحسين محركات البحث.  

إذا كان متجرًا للتجارة الإلكترونية ، فستكون العواقب أكثر خطورة. نحن نتفق على أنه بالنسبة لمواقع التجارة الإلكترونية هذه ، تكون حركة المرور العضوية أكثر ربحية على المدى الطويل من الإعلانات أو حملات الدفع لكل نقرة. 

تخيل أن جزءًا كبيرًا من أوراق منتجات لم تتم فهرسته بواسطة Google. لن يراها المستهلكون وسيرى المتجر معدل التحويل بشكل كبير. 

الآن دعونا نلقي نظرة على العوامل نفسها:

2.2. 10 أسباب شائعة لعدم قيام Google بفهرسة جميع الروابط

صحيح أننا حددنا الفهرس كقاعدة بيانات للمحركات ، لكن الفهرسة الروبوتات تظل انتقائية للغاية ولا تخزن كل شيء في مسارها. 

هناك أسباب شائعة لعدم قيام محركات البحث بفهرسة جميع الروابط: 

2.2.1. الصفحات التي ترجع رموز الاستجابة بخلاف 200 

قد لا تعرف ذلك ، ولكن إذا كانت الصفحات الموجودة على موقعك لا تعرض رمز الاستجابة 200 ، فلا توجد طريقة لفهرستها أو ستستمر فهرستها إذا كانت موجودة بالفعل. 

يعين الرمز 200 (موافق) استجابة مواتية من الخادم بعد طلب للوصول إلى صفحة. 

لأسباب تتعلق بإعادة توجيه ، قد يؤدي الوصول إلى الصفحة إلى ظهور 404 أو 500. وحتى يتم مسح الخطأ ، لن تقوم محركات البحث بفهرسة هذه الصفحة. يمكنك التحقق من حالة صفحاتك المهمة على HTTPStatus.io. يعرض عنوان URL للصفحة والأداة حالة الصفحة فقط:

إذا وجدت الصفحات التي تحتوي على رمز 404 ، أدعوك لمراجعة مقالتي Error 404: لماذا وكيف تصححه بشكل فعال؟

2.2.2. يمكن أيضًا حظر الفهرسة بواسطة ملف Robots.txt.

قد تستثمر نفس الاهتمام في كتابة كل المحتوى الخاص بك ، ولكن من المحتمل أن تكون هناك صفحات ذات أهمية أكبر لعملك أكثر من غيرها. 

حتى إذا كان التحدي الذي يواجه المحركات هو توفير الصفحات ذات الصلة لمستخدمي الإنترنت ، فماذا سيكون اهتمامك إذا قاموا بإعطاء الأولوية للصفحات التي لا تمثل بالضرورة أولوية بالنسبة لك؟

لهذا السبب تعمل محركات البحث على تمكين مالكي مواقع الويب من تحديد المحتوى الذي يريدون فهرسته بنشاط. 

يوجد ملف Robots.txt في جذر موقعك ويتم استخدامه لتقديم توصيات الفهرسة لمحركات البحث. لذلك إذا كانت إحدى صفحاتك غير موجودة في فهرس Google ، فإن أول ما عليك فعله هو الرجوع إلى ملف Robot.txt. 

إذا كانت الصفحة مفهرسة بالفعل بواسطة محرك البحث ، فستتلقى رسالة تخبرك بأن الصفحة لم تعد متوفرة وأن المشكلة تأتي من ملف Robots.txt:

المصدر: Kern Media

https: /www.twaino. com / wp-content / uploads / 2021/01/8-Kemmedia.com_.png

راجع مقالتي عن ملف Robots.txt لمعرفة كيفية تحسين ملف Robots.txt الخاص بك والتخلص من هذه الأخطاء.  

2.2.3. علامة Meta Robots بالقيمة “Noindex”

من الأسباب الأخرى الأكثر شيوعًا التي تجعل موقع الويب غير مفهرس من قِبل Google هو وجود علامة Meta Robots في الجزء <head> من شفرة المصدر للصفحة. 

إذا كانت هذه العلامة تأخذ القيمة “noindex” ، فهي رسالة مرسلة إلى Google تخبرها بعدم فهرسة الصفحة المعنية. وبالفعل ، لن تقوم Google بفهرسة الصفحة حتى يتم تغيير القيمة. 

للتحقق من القيمة التي علامة Meta Robots في الصفحة ، انقر بزر الماوس الأيمن فوق الصفحة وانقر فوق “فحص العنصر” للانتقال مباشرةً إلى شفرة المصدر. للذهاب بسرعة ، يمكنك دمج مفاتيح ” Ctrl + U”، مرة أخرى للوصول إلى شفرة المصدر.

بمجرد إدخال الرمز ، استبدل قيمة معلمة “content” بما يناسبك. اكتشف بنية العلامة بالإضافة إلى القيم المختلفة الممكنة لتعيينها في هذه المقالة والتي تحدد علامة Meta Robots.

2.2.4. علامة X-Robots بالقيمة “Noindex”

تعمل هذه العلامة تمامًا مثل Meta Robots. كما يسمح لك بالتحكم في كيفية قيام Google بفهرسة الصفحة. ولكن يجب القول أن علامة X-Robots موجودة أكثر في استجابة رأس صفحات الويب أو مستندات معينة. 

هذه عادةً صفحات ليست بتنسيق HTML بدون قسم <head> مثل ملفات PDF و DOC وما إلى ذلك. 

ما لم تقم عن قصد بإضافة “noindex” إلى علامة X-Robots ، فمن النادر جدًا أن يحدث هذا عن طريق الصدفة. على أي حال ، تحقق أيضًا من هذا الاحتمال للتأكد من أن علامة X-Robots ليست هي التي تمنع فهرسة صفحتك. للقيام بذلك ، يمكنك استخدام ملحق chrome SEO Site Tools :

2.2.5. المحتوى المكرر على الموقع 

المحتوى على نفس الموقع ضار جدًا بالـ SEO بشكل عام. المحتوى المكرر جزئيًا أو كليًا على صفحة أخرى من نفس الموقع يمكن أن يمنع الآخرين من الفهرسة بواسطة محركات البحث. 

لذلك إذا لاحظت وجود محتوى مكرر على موقعك ، فمن المحتمل أن يكون هذا هو أصل مشكلة الفهرسة لديك. إذا كان عدد النسخ مرتفعًا ، فسيتم إرجاع الصفحة الأصلية إلى إصدار سابق على SERPs من Google. 

لمعرفة ما إذا كان لديك محتوى مكرر على موقعك ، يمكنك استخدام Siteliner للزحف السريع إلى الموقع واسترداد عناوين URL للصفحات المكررة. 

استخدامه بسيط للغاية ، ما عليك سوى إدخال اسم المجال الخاص بالموقع وستوفر الأداة رسمًا بيانيًا مع النسبة المئوية للمحتوى المكرر.

تظل Google حازمة تمامًا على المحتوى المكرر وتتسامح مع الحد الأدنى من المقاطع الصغيرة التي يمكن أن تتكرر. 

لذلك إلى حد ما ، من الممكن تمامًا فهرسة الصفحات ذات المحتوى المماثل على موقعك وترتيبها على Google. 

ولكن إذا تم نسخ كمية كبيرة من المحتوى ولصقها بالكامل على صفحات أخرى ، فمن المحتمل أن تقوم Google بفرض عقوبات على هذه الصفحات حتى إذا قامت بإزالتها من فهرسها. 

2.2.6. محتوى مكرر خارج الموقع

حتى إذا كنت تراقب المحتوى المكرر على موقعك ، فلا يزال بإمكان المحتوى المكرر من الخارج ، أي المواقع الأخرى ، الوصول إليك. 

عدد كبير من محتوياتك المكررة على عدة مواقع أخرى سيشاهدها محرك البحث بشكل سيء للغاية. 

بغض النظر عن مجال عملك أو نوع الموقع لديك ، تظل عقوبات Google للمحتوى المكرر كما هي. إذا كنت تشك في أن بعض مواقع الويب قد سرقت مقتطفًا من المحتوى الخاص بك ، فضع المقتطف بين علامتي اقتباس ثم ابحث على Google. 

سيكون لديك قائمة بمواقع الويب التي استخدمت هذا المقتطف في محتواها ، تمامًا كما نجد الاقتباسات على Google. للتأكد من النتيجة ، يمكنك استخدام أداة مخصصة قادرة على تحديد المحتوى المكرر ، وهذا هو Copyscape. توفر الأداة تقريرًا مفصلاً عن مواقع الويب التي سرقت حقوقك.

يمكنك أيضًا استخدام Quetext لمعرفة ما إذا كانت أي مواقع قد نسخت المحتوى الخاص بك بعناية. 

بمجرد إدراج هذه المواقع ، اكتشف في هذه المقالة الاستراتيجيات التي يجب اتباعها للمطالبة بالمحتوى المكرر واطلب من Google استعادة الحق لك. 

2.2.7. الصفحات التي لا تقدم أي قيمة مضافة لمستخدمي الإنترنت

يتمثل التحدي الأول لمحركات البحث في تقديم النتائج ذات الصلة فقط والتي تستجيب بشكل فعال لطلب المستخدم. 

لسوء الحظ ، لا تجلب كل المحتويات التي يتم إغراقها على الإنترنت قيمة مضافة حقيقية لمستخدمي الإنترنت.

إذا كنت تعتقد أنك في نفس الموقف ، فقم بإصلاح جودة المحتوى الخاص بك في أقرب وقت ممكن لتقديم تجربة أفضل للمستخدمين. ستكافئك Google من خلال فهرسة صفحاتك بانتظام. 

لدينا ، على سبيل المثال ،تابعة تقوم بشكل عام بإنشاء إعلانات دون القلق بشأن رضا مستخدم الإنترنت. أصبحت خوارزميات Google أكثر ذكاءً وقادرة على اكتشاف هذه الصفحات منخفضة القيمة حتى لا يتم فهرستها.   

2.2.8. تم إنشاء موقعك للتو

إذا كنت قد أنشأت موقعك للتو ، فمن المهم أن تعرف أنه لن تتم فهرسته بشكل منهجي. يستغرق Google أو أي محرك بحث آخر وقتًا لاكتشافك.

كما أوضحنا سابقًا ، للوصول إلى موقعك ، سوف تشق Google طريقها مبنيًا بالارتباطات. هذا هو السبب في أنه من المهم أن يكون لديك استراتيجيات جيدة لبناء الروابط، خاصةً إذا كان موقعًا تم إنشاؤه حديثًا. 

2.2.9. سرعة تحميل صفحتك

بالإضافة إلى جودة المحتوى النصي ، يجب على الموقع أيضًا تحسين أدائه الفني. 

على الرغم من محتواه ، فإن الموقع الذي يستغرق وقتًا طويلاً في التحميل أو الذي يربط النوافذ المنبثقة بطريقة غير مناسبة أو يقدم تجربة مستخدم سيئة سيكون دائمًا موضع استياء من قبل محركات البحث. 

يؤثر وقت التحميل الذي تستغرقه صفحاتك بشكل مباشر على معدل حركة المرور. كلما كان وقت التحميل أبطأ ، قل عدد المستخدمين الذين سيبقون على موقعك.

ونظرًا لأن Google تدعو دائمًا إلى تجربة المستخدم ، فإن المحرك لا يشجع المواقع التي ليس لديها سرعة تحميل سريعة. 

إذا استمرت مشكلة البطء ، فقد تقرر Google إزالة الصفحة المعنية من فهرسها. 

هناك عدد من الأدوات لاختبار سرعة تحميل صفحاتك ، بما أداة Page Speed ​​Insights من Google أو GTMetrix. 

2.2.10. الصفحات اليتيمة

لتحديث فهرسها ، تزحف Google بانتظام إلى مواقع الويب ، بما في ذلك . خرائط مواقع XMLإذا قام Googlebot بزيارتك غالبًا وقمت بدمج عوامل الترتيب ، فسيكون محرك البحث قادرًا على تحسين وضعك على SERPs. 

ولكن إذا لم تعثر Google أثناء الاستكشاف على روابط تعيد التوجيه إلى محتوى معين على موقعك ، فلن تتم فهرسة هذا المحتوى ببساطة. 

سواء كان الرابط داخليًا أو يأتي من موقع خارجي ، يحتاج Google إليه للوصول إلى المحتوى والزحف إليه وفهرسته إن أمكن. 

هذه الصفحات التي ليس لها روابط داخلية هي ما يسمى في SEO ” الصفحات اليتيمة “. إذا كان موقعك يحتوي على عدد كبير جدًا من الصفحات اليتيمة ، فقد يؤدي ذلك إلى منع Google من فهرسة موقعك بانتظام. لاكتشاف الصفحات اليتيمة الموجودة على موقعك ، يمكنك استخدام Screaming Frog.

للحيلة الصغيرة ، يمكنك تصدير جميع عناوين URL التي تم الزحف إليها بواسطة Screaming Frog إلى جدول بيانات. 

ثم قارن هذه القائمة الأولى من عناوين URL بتلك المتوفرة في خريطة موقع XML الخاصة بك. لذلك ، سيتم اعتبار جميع الروابط التي تنتهي في خريطة الموقع وليس في تقرير زحف Screaming Frog صفحات يتيمة. 

من الجيد معرفة كيفية التعرف على مشكلات الفهرسة التي يعاني منها موقعك وإصلاحها.

ولكن من الأفضل أن تراقب الموقع باستمرار لاكتشاف هذه المشكلات بسرعة قبل أن تؤثر على مُحسنات محركات البحث لديك. 

2.3 راقب حالة فهرسة موقعك باستخدام Google Search Console

كما رأينا ، فإن وجود أخطاء في الفهرسة يمكن أن يفسد الإحالة إلى الموقع ويقلل من معدل دورانه. 

ولكن قبل الوصول إلى هناك ، توفر لك Google أداة لمراقبة حالة فهرسة موقعك باستمرار: إنها Google Search Console. 

لاستخدام هذه الأداة ، قم أولاً بالوصول إلى صفحتها الرئيسية ؛ 

الشريط الجانبيثم، انقر فوق الخيارات التالية الموجودة أسفل علامة التبويب “الفهرس”:التغطية

• خرائط المواقع

يوصى بالتحقق من حالة الفهرسة مرة واحدة على الأقل كل شهر أو شهرين للكشف بدلا من الأخطاء. 

بعد إصلاح مشكلات فهرسة مواقعهم ، غالبًا ما يظهر سؤال في صفوف مالكي المواقع: “متى ستتم فهرسة صفحتي؟” “. 

2.4 معرفة متى ستتم فهرسة الصفحة

يشعر العديد من مالكي مواقع الويب بالقلق ويتساءلون متى ستتم فهرسة صفحتهم. حسنًا ، للأسف لا توجد إجابة محددة يمكن للمرء أن يعطيها لهذا السؤال. 

الشيء هو أنك لا تتحكم في كل شيء عندما يتعلق الأمر بفهرسة الصفحة. على الرغم من بذل قصارى جهدك ، وفقًا لإرشادات Google ، هناك عوامل خارجية أخرى لا تعتمد بالضرورة على رغبتك في رؤية صفحة مفهرسة بسرعة.  

ببساطة لأنك لست الوحيد الذي يريد أن تتم فهرسته بواسطة Google. هناك الملايين والملايين من الصفحات الأخرى المتاحة على الويب في انتظار استكشافها. 

 قد يكون دورك غدًا ، أو في الأسبوع المقبل أو في غضون بضعة أشهر ، من الصعب تحديد موعد نهائي محدد. سيعتمد كل شيء على التردد الذي حددته Google للزحف إلى موقعك.  

ومع ذلك ، توفر Google إمكانية صياغة طلب لاستكشاف عناوين URL الجديدة الخاصة بك. 

2.5 كيف أطلب زحفًا من Google؟ 

بالنسبة لأية صفحة جديدة أو تم تحديثها مؤخرًا على موقعك ، يمكنك تقديم طلب فهرسة وإرسالها إلى Google باتباع الطرق التالية: 

2.5.1. استخدم أداة فحص عنوان URL لطلب فهرسة بضع صفحات

قبل تقديم الإجراء الواجب اتباعه ، من المهم الإشارة إلى أنه بدون الوصول إلى حساب Google Search Console ، لا يمكنك طلب الفهرسة باستخدام أداة فحص Google. 

للقيام بذلك: 

• راقب عنوان URL المتأثرأداة فحص عنوان URL ؛  
• حدد “فحص URL”. ستبدأ الأداة في اختبار عنوان URL عبر الإنترنت للتحقق مما إذا كان قد تمت فهرسته بالفعل أم لا:

سيتم إخطارك في حالة وجود أي مشكلة أو إذا كانت الصفحة موجودة بالفعل في فهرس Google:

ولكن إذا لم تتم فهرسة الصفحة بعد ، يمكنك طلب الفهرسة:

ملاحظة : لا يضمن طلب الزحف تخزين عنوان URL تلقائيًا في فهرس Google. في بعض الحالات ، قد لا تتم الفهرسة حتى. حالة المحتوى رديء الجودة على سبيل المثال. 

2.5.2. اطلب فهرسة عدد كبير من عناوين URL باستخدام ملف Sitemap 

. ملف Sitemap هو ملف تدير Google فيه فكرة عن عناوين URL الموجودة في موقعك. إذا كنت لا تعرف كيفية إنشاء خريطة الموقع ، فيمكنك الرجوع إلى هذه المقالة التي تقدمها Google. 

إذا لم يتغير ملف Sitemap منذ آخر زحف لـ Google ، فلا فائدة من إرساله مرة أخرى إلى محرك البحث مرة أخرى. ولكن إذا أضفت صفحات إلى ملف Sitemap ، فتأكد من <lastmod>.

فيما يلي الخطوات المختلفة التي يجب اتباعها لتنبيه Google بالتغييرات التي تم إجراؤها على ملف Sitemap: 

• إرسال خريطة الموقع باستخدام تقرير خرائط ؛ 
• باستخدام المستعرض أو محرر الأوامر ، يمكنك إرسال طلب GET إلى العنوان التالي عن طريق إدخال رابط خريطة الموقع الكامل: http://www.google.com/ping؟sitemap= <full_URL_of_sitemap>

مثال:

• بعد ذلك ، انتقل إلى ملف Robots.txt وأضف مقتطف الشفرة التالي: 

خريطة الموقع: http: // example. com / my_sitemap.xml 

باستخدام الخطوات أدناه ، سيتمكن Google من الزحف إلى الصفحات المضافة إلى خريطة الموقع أثناء زيارته التالية. 

الفصل 3: أسئلة أخرى مطروحة حول الفهرسة

3.1. ماذا تعني فهرسة جوجل؟

يُقال أن الصفحة تمت فهرستها بواسطة Google عندما:

• تمت زيارتها بواسطة متتبع ارتباطات Google (“يسمى Googlebot”) ؛
• مستكشفة بالكامل 
• أخيرًا ، تم تخزينها في فهرس Google.  

بينما تمر الغالبية العظمى من صفحات الويب بمرحلة الزحف قبل الفهرسة ، قد تقوم Google أيضًا بفهرسة الصفحات دون الوصول إلى محتواها. على سبيل المثال ، عندما يتم حظر الصفحة بواسطة ملف robots.txt.

3.2 ما هو زحف الويب والفهرسة؟

الزحف: هذه هي المرحلة التي تتصفح فيها برامج الزحف الإنترنت بحثًا عن المحتوى ، وتستكشف رمز / محتوى كل عنوان URL يكتشفونه. 

الفهرسة: هي مرحلة تخزين وتنظيم المحتوى الموجود أثناء عملية الاستكشاف. بمجرد تخزين الصفحة في الفهرس ، والذي يمثل قاعدة البيانات الكبيرة ، فإنها تنتظر عرضها كنتيجة للاستعلامات ذات الصلة.

3.3 لماذا تعد فهرسة مواقع الويب مفيدة؟

تقوم محركات البحث بفهرسة مواقع الويب للرد على استفسارات البحث بالمعلومات ذات الصلة في أسرع وقت ممكن. لهذا السبب ، يقوم بتخزين معلومات حول صفحات الويب المفهرسة ، على سبيل المثال: الكلمة الأساسية أو العنوان أو الوصف في قاعدة بيانات. وبالتالي ، ستكون محركات البحث قادرة على تحديد الصفحات ذات الصلة بسهولة وسرعة لاستعلام البحث.

3.4. ما هي أخطاء الفهرسة؟

إذا تلقيت الرسالة “عنوان URL ليس على google: أخطاء الفهرسة” ، فهذا يعني أن Google قد أزال عنوان URL من الفهرس الخاص به بسبب عدم تمكنه من الوصول إليه ، أو أنه لم يكن في الفهرس الخاص به ، لأنه لم يكن متاحًا في محاولتها الأولى.

3.5 لماذا موقعي ليس موجودًا على Google؟

إذا كان موقعك لا يظهر على Google ، فمن المحتمل أن يكون ذلك لأحد الأسباب التالية:

•  لم يقم Google بفهرسة موقع الويب الخاص بك حتى الآن ؛ 
• تعتبر Google موقعك غير “جدير بالثقة” أو “ذي صلة” بما يكفي لإظهاره للكلمات الرئيسية التي تريد ترتيبها ؛ 
• لقد حظرت برنامج زاحف Googlebot في برامج الروبوت لديك.

لحل هذه المشكلة ، قم بإجراء فحص مباشر واستكشاف أية مشكلات قد تواجهك وإصلاحها وإرسال الصفحة للفهرسة.

3.6 كيف أمنع Google من فهرسة موقعي؟

لمنع إحدى صفحاتك من الظهور في بحث Google ، ما عليك سوى تضمين علامة meta noindex في HTML للصفحة أو عن طريق إرجاع رأس noindex في استجابة HTTP.

3.7 كيف تتحقق مما إذا كانت صفحتك مفهرسة بواسطة Google؟

لمعرفة ما إذا كانت محركات البحث مثل Google و Bing قد قامت بفهرسة موقعك ، اكتب: ” الموقع: url الخاص بنطاقك ”

تُظهر النتائج جميع صفحات موقعك التي تمت فهرستها والعلامات الوصفية الحالية المسجلة في فهرس محرك البحث.

من المهم أن تعرف أنه قد يستغرق الأمر أحيانًا بعض الوقت حتى تزحف محركات البحث إلى موقعك.

3.8 ما مقدار الإنترنت المفهرس بواسطة Google في 2020؟

قامت Google بتخزين حوالي 35 تريليون صفحة ويب على الإنترنت في جميع أنحاء العالم في فهرسها. على الرغم من أن هذه إحصائية مذهلة ، صدق أو لا تصدق ، 35 تريليون هي مجرد غيض من فيض. يمثل فهرس Google حوالي 4٪ فقط من المعلومات الموجودة على الشبكة.

الخلاصة 

باختصار ، تعد الفهرسة خطوة أساسية للإشارة إلى صفحة ويب وهي جزء من عملية يتم توفيرها عن طريق فهرسة برامج الروبوت. 

بعد إنشاء موقع ويب جديد أو نشر صفحة جديدة ، محسّنة بالكامل لتحسين محركات البحث ، فإن أفضل طريقة لمساعدة صفحتك على الفهرسة هي الانتظار. 

على الرغم من أنه لبعض الأسباب ، قد يضطر المرء في بعض الأحيان إلى اللجوء إلى طرق للإشارة إلى بعض التوصيات لمحركات البحث. 

آمل أن يكون هذا التعريف الخاص بـ “الفهرسة” قد خدمك وسيجلب المزيد إلى معرفتك في مُحسّنات محرّكات البحث. 

إذا كان لديك أي أسئلة أخرى ، فلا تتردد في طرحها علي في التعليقات. 

شكرا و إلى اللقاء !