اذا كنت صاحب موقع، يعد فهم كيفية تفاعل محركات البحث مع موقع الويب الخاص بك أمرًا بالغ الأهمية، ومن الضروري أن يكون لديك فهم لكيفية عمل ذالك.
أداتان أساسيتان في هذا المجال هما العلامات الوصفية للروبوتات وملف robots.txt واللتين ترشدان محركات البحث وبرامج الزحف لكيفية التعامل مع موقعك.
يلعب كلاهما دورًا مهمًا في توجيه برامج زحف الويب وتحسين موقعك لمحركات البحث، لكنهما يعملان بطرق مختلفة ولكل أدات طريقة إستعماله الخاصة.
تتعمق هذه المقالة في الوظائف والاختلافات وأفضل الممارسات لاستخدام العلامات الوصفية لبرامج الروبوت وملف robots.txt لتحسين أداء تحسين محركات البحث لموقعك.
فهم ما هي العلامات الوصفية للروبوتات و ملف Robots.txt في المواقع
ما هي العلامات الوصفية للروبوتات (Robots Meta Tags)؟
العلامات الوصفية لبرامج الروبوت أو (Robots Meta Tags) هي مقتطفات من تعليمات HTML البرمجية التي توفر إرشادات لبرامج زحف محركات البحث حول كيفية فهرسة صفحات الويب والتفاعل معها والوصول إليها.
العلامات الوصفية لبرامج الروبوت يتم تضمينها في أي مكان في قسم <head> بصفحة الويب ويمكنها التحكم في جوانب مختلفة من الزحف والفهرسة.
ما هو ملف Robots.txt؟
ملف robots.txt هو ملف نصي بسيط يتم وضعه في جذر موقع الويب، ولا يمكن تضمينه مباشرىة في شيفرة اكواد الموقع مثل العلامات الوصفية لبرامج الروبوت.
يوفر هذا الملف توجيهات لبرامج زحف محركات البحث حول الصفحات أو أقسام الموقع التي لا ينبغي الزحف إليها أو فهرستها.
إنه بمثابة حارس البوابة، حيث يوجه برامج زحف الويب إلى المكان المسموح لهم بالذهاب إليه ومنعه من الذهاب الي الأماكن الغير المسموح بها أثناء الزحف والأرشفة.
الوظيفة والاستخدام
طريقة إستخدام العلامات الوصفية للربوت في الموقع
العلامات الوصفية للروبوتات متعددة الاستخدامات للغاية ويتم إدراجها داخل الوسم <meta name="robots" content="العلامة الوصفية">، ويمكن دمجها مع بعض للوصول الي أفضل صيغة تريدها:
يوجه الكود (<meta name="robots" content="noindex">) جميع برامج زحف محركات البحث إلى عدم فهرسة صفحة الويب التي تم وضع علامة التعريف هذه فيها .
تُستخدم هذه العلامة لمنع الوصول العام إلى صفحات معينة من خلال محركات البحث، مثل الصفحات التي تحتوي على محتوى مكرر أو الصفحات المؤقتة أو المحتوى الخاص الذي لا يرغب مالك الموقع في فهرسته.
يوجه الكود (<meta name="robots" content="nofollow">) برامج زحف محركات البحث إلى عدم اتباع أي روابط على صفحة الويب التي تم وضع الكود فيها.
هذا يعني أن الكود الموجودة على تلك الصفحة المحددة لن يتم الزحف إليها أو فهرستها بواسطة محركات البحث.
عادةً ما يتم استخدام التوجيه "nofollow" لمنع تمرير قيمة الارتباط (أو نظام ترتيب الصفحات) من الصفحة الحالية إلى الصفحات المرتبطة.
يتم تطبيق هذه العلامة بشكل شائع على الروابط التي لم يتم ضمانها تحريريًا، مثل الروابط الدعائية، أو المحتوى الذي ينشئه المستخدمون، أو الإعلانات المدفوعة، حيث لا يرغب مشرفو المواقع في إرسال الصفحة المرتبط لمحركات البحث.
يخدم الكود (<meta name="robots" content="index, nofollow">) غرضين محددين:
- الفهرسة: من خلال وسم (index) يوجه برامج زحف محركات البحث إلى فهرسة صفحة الويب التي تم وضع الكود فيها، مما يعني أنه سيتم تضمين محتوى الصفحة في فهرس محرك البحث ويمكن أن يظهر في نتائج البحث.
- Nofollow: يخبر برامج الزحف إلى عدم اتباع أي روابط على صفحة الويب، وهذا يعني أنه على الرغم من أن الصفحة نفسها ستتم فهرستها، فلن يتم الزحف إلى الروابط الموجودة على تلك الصفحة أو تمرير حقوق الارتباط الخاصة بها إلى الصفحات المرتبطة.
تقوم العلامة (<meta name="googlebot" content="noindex">) بتوجيه زاحف الويب الخاص بـ Google، Googlebot، على وجه التحديد، إلى عدم فهرسة صفحة الويب التي تم وضع هذه العلامة الوصفية فيها.
وهذا يعني أن الصفحة لن تظهر في نتائج بحث Google. يتم استخدام هذه العلامة عندما يريد مشرفو المواقع منع فهرسة صفحات معينة بواسطة Google، مثل الصفحات التي تحتوي على محتوى مكرر أو الصفحات المؤقتة أو الصفحات التي تحتوي على معلومات حساسة أو صفحات مدرجة تحت خانة soft 404.
هذا يوفر تحكمًا دقيقًا في الصفحات التي يتم تضمينها في فهرس بحث Google.
- index: طلب أرشفة صفحة معينة
- follow: السماح بتتبع الروابط التي تحمل سمة Follow
- noarchive: يطلب من محركات البحث بعدم حفظ نسخة مخبأة من الصفحة، حيث يمنع محركات البحث من عرض رابط "مخبأ" في نتائج البحث.
- nosnippet: هذه العلامة تقوم بتوجيه محركات البحث إلى عدم إظهار مقتطف أو وصف للصفحة في نتائج البحث.
- noodp: ترشد هذه العلامة محركات البحث إلى عدم استخدام العنوان والوصف من مشروع الدليل المفتوح (DMOZ) لقائمة البحث الخاصة بالصفحة. قد يكون هذا مفيدًا إذا كانت بيانات DMOZ قديمة أو غير صحيحة.
- notranslate: تخبر هذه العلامة محركات البحث بعدم تقديم خيارات الترجمة للصفحة في نتائج البحث.
- noimageindex: تمنع هذه العلامة محركات البحث من فهرسة الصور الموجودة على الصفحة، وهو ما قد يكون مفيدًا لحماية محتوى الصورة من الظهور في نتائج بحث الصور.
- nosnippet: تقوم هذه العلامة بتوجيه أخبار Google على وجه التحديد إلى عدم عرض مقتطف للصفحة في نتائج البحث.
- max-snippet:-1 & max-image-preview & max-video-preview: تتيح لك هذه العلامة التحكم في الحد الأقصى لطول مقتطفات النص، وحجم معاينات الصور، ومدة معاينات الفيديو المعروضة في نتائج البحث.
طريقة استخدام ملف Robots.txt
ملف robots.txt هو ملف نصي يتم وضعه في جذر موقع الويب الخاص بك (يمكن الوصول اليه من رابط www.example.com/robots.txt).
يوفر robots.txt إرشادات لبرامج زحف الويب حول طريقة الوصول الي أجزاء موقع الويب الخاص بك. إليك ما قد يحتوي عليه ملف robots.txt النموذجي:
نموذج بسيط لملف robots.txt
- User-agent: *
- Disallow: /private
- Disallow: /temp
- Allow: /temp/public-page.html
- Sitemap:http://ar.tech-notice.com/sitemap.xml
حسنا، من المهم معرفة عمل كل رمز داخل ملف Robots.txt:
- وكيل المستخدم - User agent
- عدم السماح - Disllow
- السماح - Allow
- خريطة الموقع - sitemap
هذا الأمر يحدد وكيل الزاحف المستخدم، علي سبيل المثال لو تركت المعرف علي (*) فأنت تسمح لجميع محركات البحث من الوصول الي موقعك والزحف اليه، أو يمكنك التخصيص بوضع أحد محركات البحث مثل (googlebot، bingbot، yandexbot).
يخبر توجيه Disallow برامج زحف الويب بالصفحات أو الأدلة التي لا ينبغي لهم الوصول إليها وفهرستها مثل صفحات البحث في الموقع أو أقسام الموقع أو صفحات محددة.
يتم استخدامه للسماح بالوصول إلى صفحات أو أدلة محددة حتى لو كان الدليل الأصلي غير مسموح به، حيث تسممح لبرامج الزحف الوصول الي الصفحات المسموح بها وفهرستها.
يحدد توجيه Sitemap موقع خريطة موقع XML للموقع، مما يساعد برامج الزحف في العثور على الصفحات المهمة لموقعك وفهرستها.
الاختلافات الرئيسية بين العلامات الوصفية للروبوتات و ملف Robots.txt
| robots.txt | وسوم الميتا للروبوتات | |
| الموضع | يوضع داخل دليل الجذر للموقع | داخل قسم <head> في صفحات HTML الفردية |
| النطاق | على مستوى الموقع أو الدليل | على مستوى الصفحة أو العنصر |
| الصيغة | توجيهات نصية بسيطة لبرامج الزحف | وسوم ميتا HTML يتم دمجها في الصفحات المطلوبة |
| التوجيهات |
User-agent, Disallow, Allow,
Sitemap
|
index, noindex, follow,
nofollow, noarchive, nosnippet,
إلخ
|
| الغرض | التحكم في وصول الزاحف إلى الموقع بالكامل أو الأقسام | التحكم في الفهرسة والزحف على صفحات أو عناصر محددة |
| حالات الاستخدام | منع الوصول إلى الأقسام الخاصة، منع الزحف إلى ملفات أو أدلة معينة | منع فهرسة المحتوى المكرر، التحكم في توزيع الروابط، إدارة ظهور الصفحات الفردية |
| التحكم في الروابط | لا يمكن التحكم في تتبع الروابط مباشرة | يمكن تحديد nofollow للتحكم في تتبع الروابط |
| الدقة | واسعة، تؤثر على صفحات متعددة أو أقسام كاملة | دقيقة، تؤثر على الصفحات الفردية المحددة |
| سهولة الاستخدام | بسيطة، لكنها محدودة بالتكوين المستند على الملفات | أكثر تعقيدًا، مضمنة داخل كود HTML وأكثر تحكما |
| مدعوم من | جميع محركات البحث | جميع محركات البحث |
| التخزين المؤقت | يمكن أن يتم تخزين التعليمات مؤقتًا من قبل محركات البحث | يتم تفسير التعليمات في كل مرة يتم فيها الزحف الي الصفحة |
| المحتوى الديناميكي | أقل ملاءمة للتحكم الديناميكي | يمكن أن يتم إنشاؤها أو تعديلها ديناميكيًا في كل تحميل للصفحة |
| الأمثلة | User-agent: * Disallow: /private/ |
<meta name="robots" content="noindex, nofollow">
|
أفضل الممارسات لإستخدام Robots Meta Tags وملف Robots.txt
العلامات الوصفية للروبوتات
- التحكم الكامل: يقدم لك تحكما كاملا في الصفحات والموقع عن طريق العديد من الصيغ والطرق
- إعطاء الأولوية للصفحات المهمة: تأكد من فهرسة الصفحات الرئيسية ومتابعتها لتحسينها لمحركات البحث.
- إدارة ميزانية الزحف: منع الزحف إلى الصفحات غير الضرورية لتحسين ميزانية الزحف.
ملف Robots.txt
- حماية المعلومات الحساسة: منع الزحف إلى صفحات الإدارة والمحتوى الخاص.
- تبسيط الزحف: قم بتوجيه برامج الزحف إلى الأقسام الأكثر أهمية في موقعك ومنع أقسام أخري.
- تقديم خريطة الموقع: يتم دائمًا تضمين توجيه خريطة الموقع لمساعدة برامج الزحف في العثور على خريطة الموقع الخاصة بك بسهولة.
أسئلة متعلقة بالموضوع
نعم، يمكن أن يوفر استخدام كلتا الأداتين معًا تحكمًا شاملاً في كيفية تفاعل محركات البحث مع موقعك، مما يؤدي إلى تحسين الجوانب العامة والمحددة للزحف والفهرسة.
ولاكن، تأكد أن يكون لديك معرفة تقنية أثناء التعامل مع هاذه الأكواد
ليس بالضرورة، استخدم العلامات الوصفية لبرامج الروبوت فقط في الصفحات التي تحتاج فيها إلى تحكم خاص.
يمكن أن يؤدي ملف robots.txt الذي تمت تهيئته بشكل خاطئ إلى منع محركات البحث من الوصول إلى الصفحات داخل موقعك، مما يؤثر سلبًا على أرشفة موقعك في محركات البحث.
استخدم أدوات مثل أداة اختبار ملف robots.txt من Google للتحقق من الأخطاء والتأكد من تكوين ملفك بشكل صحيح.
الخاتمة
يعد فهم الاختلاف بين العلامات الوصفية للروبوتات وملف robots.txt أمرًا ضروريًا لإدارة وتحسين الموقع لمحركات البحث.
تخدم كل أداة غرضًا محددا، وعند استخدامها معًا، يمكنها تحسين رؤية موقعك وأدائه بشكل كبير بالنسبة لمحركات البحث الموجودة وبالتالي تواجد قوي لموقعك.
ليست هناك تعليقات: