شرح الفرق بين العلامات الوصفية للروبوتات Robots Meta Tags و Robots.txt في المواقع

اذا كنت صاحب موقع، يعد فهم كيفية تفاعل محركات البحث مع موقع الويب الخاص بكأمرًا بالغ الأهمية، ومن الضروري أن يكون لديك فهم لكيفية عمل ذالك.

أداتان أساسيتان في هذا المجال هما العلامات الوصفية للروبوتات وملف robots.txt واللتين ترشدان محركات البحث وبرامج الزحف لكيفية التعامل مع موقعك.

يلعب كلاهما دورًا مهمًا في توجيه برامج زحف الويب وتحسين موقعك لمحركاتالبحث، لكنهما يعملان بطرق مختلفة ولكل أدات طريقة إستعماله الخاصة.

تتعمق هذه المقالة في الوظائف والاختلافات وأفضل الممارسات لاستخدام العلاماتالوصفية لبرامج الروبوت وملف robots.txt لتحسين أداء تحسين محركات البحث لموقعك.

فهم ما هي العلامات الوصفية للروبوتات و ملف Robots.txt في المواقع

ما هي العلامات الوصفية للروبوتات (Robots Meta Tags)؟

العلامات الوصفية لبرامج الروبوت أو (Robots Meta Tags) هي مقتطفات من تعليماتHTML البرمجية التي توفر إرشادات لبرامج زحف محركات البحث حول كيفية فهرسةصفحات الويب والتفاعل معها والوصول إليها.

العلامات الوصفية لبرامج الروبوت يتم تضمينها في أي مكان في قسم <head>بصفحة الويب ويمكنها التحكم في جوانب مختلفة من الزحف والفهرسة.

ما هو ملف Robots.txt؟

ملف robots.txt هو ملف نصي بسيط يتم وضعه في جذر موقع الويب، ولا يمكن تضمينهمباشرىة في شيفرة اكواد الموقع مثل العلامات الوصفية لبرامج الروبوت.

يوفر هذا الملف توجيهات لبرامج زحف محركات البحث حول الصفحات أو أقسامالموقع التي لا ينبغي الزحف إليها أو فهرستها.

إنه بمثابة حارس البوابة، حيث يوجه برامج زحف الويب إلى المكان المسموح لهمبالذهاب إليه ومنعه من الذهاب الي الأماكن الغير المسموح بها أثناء الزحفوالأرشفة.

الوظيفة والاستخدام

طريقة إستخدام العلامات الوصفية للربوت في الموقع

العلامات الوصفية للروبوتات متعددة الاستخدامات للغاية ويتم إدراجها داخل الوسم<meta name=”robots” content=”العلامة الوصفية”>، ويمكن دمجها مع بعض للوصول الي أفضل صيغة تريدها:

يوجه الكود (<meta name=”robots” content=”noindex”>) جميع برامج زحفمحركات البحث إلى عدم فهرسة صفحة الويب التي تم وضع علامة التعريف هذه فيها .

تُستخدم هذه العلامة لمنع الوصول العام إلى صفحات معينة من خلال محركات البحث،مثل الصفحات التي تحتوي على محتوى مكرر أو الصفحات المؤقتة أو المحتوى الخاصالذي لا يرغب مالك الموقع في فهرسته.

يوجه الكود (<meta name=”robots” content=”nofollow”>) برامج زحف محركاتالبحث إلى عدم اتباع أي روابط على صفحة الويب التي تم وضع الكود فيها.

هذا يعني أن الكود الموجودة على تلك الصفحة المحددة لن يتم الزحف إليها أوفهرستها بواسطة محركات البحث.

عادةً ما يتم استخدام التوجيه “nofollow” لمنع تمرير قيمة الارتباط (أو نظامترتيب الصفحات) من الصفحة الحالية إلى الصفحات المرتبطة.

يتم تطبيق هذه العلامة بشكل شائع على الروابط التي لم يتم ضمانها تحريريًا، مثلالروابط الدعائية، أو المحتوى الذي ينشئه المستخدمون، أو الإعلانات المدفوعة،حيث لا يرغب مشرفو المواقع في إرسال الصفحة المرتبط لمحركات البحث.

يخدم الكود (<meta name=”robots” content=”index, nofollow”>) غرضينمحددين:

الفهرسة: من خلال وسم (index) يوجه برامج زحف محركات البحث إلى فهرسة صفحة الويب التي تم وضع الكود فيها، مما يعني أنه سيتم تضمين محتوى الصفحة في فهرس محرك البحث ويمكن أن يظهر في نتائج البحث.
Nofollow: يخبر برامج الزحف إلى عدم اتباع أي روابط على صفحة الويب، وهذا يعني أنه على الرغم من أن الصفحة نفسها ستتم فهرستها، فلن يتم الزحف إلى الروابط الموجودة على تلك الصفحة أو تمرير حقوق الارتباط الخاصة بها إلى الصفحات المرتبطة.

تقوم العلامة (<meta name=”googlebot” content=”noindex”>) بتوجيه زاحفالويب الخاص بـ Google، Googlebot، على وجه التحديد، إلى عدم فهرسة صفحة الويبالتي تم وضع هذه العلامة الوصفية فيها.

وهذا يعني أن الصفحة لن تظهر في نتائج بحث Google. يتم استخدام هذه العلامةعندما يريد مشرفو المواقع منع فهرسة صفحات معينة بواسطة Google، مثل الصفحاتالتي تحتوي على محتوى مكرر أو الصفحات المؤقتة أو الصفحات التي تحتوي علىمعلومات حساسة أو صفحات مدرجة تحت خانةsoft 404.

هذا يوفر تحكمًا دقيقًا في الصفحات التي يتم تضمينها في فهرس بحث Google.

index: طلب أرشفة صفحة معينة
follow: السماح بتتبع الروابط التي تحمل سمة Follow
noarchive: يطلب من محركات البحث بعدم حفظ نسخة مخبأة من الصفحة، حيث يمنع محركات البحث من عرض رابط “مخبأ” في نتائج البحث.
nosnippet: هذه العلامة تقوم بتوجيه محركات البحث إلى عدم إظهار مقتطف أو وصف للصفحة في نتائج البحث.
noodp: ترشد هذه العلامة محركات البحث إلى عدم استخدام العنوان والوصف من مشروع الدليل المفتوح (DMOZ) لقائمة البحث الخاصة بالصفحة. قد يكون هذا مفيدًا إذا كانت بيانات DMOZ قديمة أو غير صحيحة.
notranslate: تخبر هذه العلامة محركات البحث بعدم تقديم خيارات الترجمة للصفحة في نتائج البحث.
noimageindex: تمنع هذه العلامة محركات البحث من فهرسة الصور الموجودة على الصفحة، وهو ما قد يكون مفيدًا لحماية محتوى الصورة من الظهور في نتائج بحث الصور.
nosnippet: تقوم هذه العلامة بتوجيه أخبار Google على وجه التحديد إلى عدم عرض مقتطف للصفحة في نتائج البحث.
max-snippet:-1 & max-image-preview & max-video-preview: تتيح لك هذه العلامة التحكم في الحد الأقصى لطول مقتطفات النص، وحجم معاينات الصور، ومدة معاينات الفيديو المعروضة في نتائج البحث.

طريقة استخدام ملف Robots.txt

ملف robots.txt هو ملف نصي يتم وضعه في جذر موقع الويب الخاص بك (يمكن الوصولاليه من رابط www.example.com/robots.txt).

يوفر robots.txt إرشادات لبرامج زحف الويب حول طريقة الوصول الي أجزاءموقع الويب الخاص بك. إليك ما قد يحتوي عليه ملف robots.txt النموذجي:

نموذج بسيط لملف robots.txt

User-agent: *

Disallow: /private

Disallow: /temp

Allow: /temp/public-page.html

Sitemap:http://ar.tech-notice.com/sitemap.xml

حسنا، من المهم معرفة عمل كل رمز داخل ملف Robots.txt:

وكيل المستخدم – User agent

هذا الأمر يحدد وكيل الزاحف المستخدم، علي سبيل المثال لو تركت المعرف علي (*)فأنت تسمح لجميع محركات البحث من الوصول الي موقعك والزحف اليه، أو يمكنكالتخصيص بوضع أحد محركات البحث مثل (googlebot، bingbot، yandexbot).

عدم السماح – Disllow

يخبر توجيه Disallow برامج زحف الويب بالصفحات أو الأدلة التي لا ينبغي لهمالوصول إليها وفهرستها مثل صفحات البحث في الموقع أو أقسام الموقع أو صفحاتمحددة.

السماح – Allow

يتم استخدامه للسماح بالوصول إلى صفحات أو أدلة محددة حتى لو كان الدليل الأصليغير مسموح به، حيث تسممح لبرامج الزحف الوصول الي الصفحات المسموح بهاوفهرستها.

خريطة الموقع – sitemap

يحدد توجيه Sitemap موقع خريطة موقع XML للموقع، مما يساعد برامج الزحف فيالعثور على الصفحات المهمة لموقعك وفهرستها.

الاختلافات الرئيسية بين العلامات الوصفية للروبوتات و ملف Robots.txt

	robots.txt	وسوم الميتا للروبوتات
الموضع	يوضع داخل دليل الجذر للموقع	داخل قسم `<head>` في صفحات HTML الفردية
النطاق	على مستوى الموقع أو الدليل	على مستوى الصفحة أو العنصر
الصيغة	توجيهات نصية بسيطة لبرامج الزحف	وسوم ميتا HTML يتم دمجها في الصفحات المطلوبة
التوجيهات	`User-agent`, `Disallow`, `Allow`, `Sitemap`	`index`, `noindex`, `follow`, `nofollow`, `noarchive`, `nosnippet`, إلخ
الغرض	التحكم في وصول الزاحف إلى الموقع بالكامل أو الأقسام	التحكم في الفهرسة والزحف على صفحات أو عناصر محددة
حالات الاستخدام	منع الوصول إلى الأقسام الخاصة، منع الزحف إلى ملفات أو أدلة معينة	منع فهرسة المحتوى المكرر، التحكم في توزيع الروابط، إدارة ظهور الصفحات الفردية
التحكم في الروابط	لا يمكن التحكم في تتبع الروابط مباشرة	يمكن تحديد `nofollow` للتحكم في تتبع الروابط
الدقة	واسعة، تؤثر على صفحات متعددة أو أقسام كاملة	دقيقة، تؤثر على الصفحات الفردية المحددة
سهولة الاستخدام	بسيطة، لكنها محدودة بالتكوين المستند على الملفات	أكثر تعقيدًا، مضمنة داخل كود HTML وأكثر تحكما
مدعوم من	جميع محركات البحث	جميع محركات البحث
التخزين المؤقت	يمكن أن يتم تخزين التعليمات مؤقتًا من قبل محركات البحث	يتم تفسير التعليمات في كل مرة يتم فيها الزحف الي الصفحة
المحتوى الديناميكي	أقل ملاءمة للتحكم الديناميكي	يمكن أن يتم إنشاؤها أو تعديلها ديناميكيًا في كل تحميل للصفحة
الأمثلة	`User-agent: * Disallow: /private/`	`<meta name="robots" content="noindex, nofollow">`

أفضل الممارسات لإستخدام Robots Meta Tags وملف Robots.txt

العلامات الوصفية للروبوتات

التحكم الكامل: يقدم لك تحكما كاملا في الصفحات والموقع عن طريق العديدمن الصيغ والطرق
إعطاء الأولوية للصفحات المهمة: تأكد من فهرسة الصفحات الرئيسيةومتابعتها لتحسينها لمحركات البحث.
إدارة ميزانية الزحف: منع الزحف إلى الصفحات غير الضرورية لتحسينميزانية الزحف.

ملف Robots.txt

حماية المعلومات الحساسة: منع الزحف إلى صفحات الإدارة والمحتوى الخاص.
تبسيط الزحف: قم بتوجيه برامج الزحف إلى الأقسام الأكثر أهمية في موقعكومنع أقسام أخري.
تقديم خريطة الموقع: يتم دائمًا تضمين توجيه خريطة الموقع لمساعدة برامجالزحف في العثور على خريطة الموقع الخاصة بك بسهولة.

أسئلة متعلقة بالموضوع

نعم، يمكن أن يوفر استخدام كلتا الأداتين معًا تحكمًا شاملاً في كيفية تفاعلمحركات البحث مع موقعك، مما يؤدي إلى تحسين الجوانب العامة والمحددة للزحفوالفهرسة.

ولاكن، تأكد أن يكون لديك معرفة تقنية أثناء التعامل مع هاذه الأكواد

ليس بالضرورة، استخدم العلامات الوصفية لبرامج الروبوت فقط في الصفحات التيتحتاج فيها إلى تحكم خاص.

يمكن أن يؤدي ملف robots.txt الذي تمت تهيئته بشكل خاطئ إلى منع محركات البحثمن الوصول إلى الصفحات داخل موقعك، مما يؤثر سلبًا على أرشفة موقعك في محركاتالبحث.

استخدم أدوات مثل أداة اختبار ملف robots.txt من Google للتحقق من الأخطاءوالتأكد من تكوين ملفك بشكل صحيح.