ملف robots.txt هو أداة أساسية في جعل موقع الويب أكثر قابلية للتصفح وفعالية في محركات البحث، إذا كنت ترغب في فهم كيفية استخدامه بفعالية لتحسين أداء موقعك على الويب، فإن هذا المقال هو ما تبحث عنه. يقدم لك الدليل شركة عربي سيو، المتخصصة في تحسين محركات البحث، إرشادات ونصائح شاملة تناسب كل من المبتدئين والمحترفين في عالم التسويق الرقمي.
ستتعرف في هذا المقال على كيفية إنشاء وتكوين robots.txt بشكل صحيح، وكيفية استخدامه لتوجيه روبوتات محركات البحث وتحسين تجربة المستخدم، مما يساهم في زيادة رؤية موقعك على الويب وتحسين موقعه في نتائج البحث.
ما هو ملف robots.txt؟
هو ملف نصي يتم وضعه في جذر موقع الويب، ويستخدم لتوجيه محركات البحث حول الصفحات التي يجب أن تفهمها وتفسح المجال لزيارتها، والصفحات التي يجب تجاهلها.
بمجرد أن يزور محرك البحث موقع الويب، سيبحث عن robots.txt، لمعرفة الصفحات التي يمكنه زيارتها وفهرستها في نتائج البحث، يحتوي هذا الملف على تعليمات تخبر محرك البحث بشكل واضح حول الصفحات التي يجب أن يقوم بزيارتها والصفحات التي يجب تجاهلها.
على سبيل المثال، يمكن استخدام ملف robots.txt لمنع محركات البحث من فهرسة صفحات معينة مثل الصفحات الخاصة بالإدارة أو الصفحات غير الضرورية، يمكن أيضًا استخدامه لتحديد مواقع ملفات الصور أو ملفات CSS التي يجب أن تُفهرَس.
الاستخدامات الشائعة لـ robots.txt؟
تختلف استخدامات الملف، فيما يلي سيعرفك فريق سيو عربي أفضل شركة سيو بعض الاستخدامات الشائعة للملف وهي:
1- التحكم في كيفية فهرسة محركات البحث لموقعك
-
منع فهرسة صفحات معينة: مثل صفحات تسجيل الدخول أو الصفحات غير المكتملة أو الصفحات التي تحتوي على محتوى مكرر.
-
إعطاء الأولوية لصفحات محددة: إخبار روبوتات محركات البحث عن الصفحات الأكثر أهمية على موقعك.
-
منع تحميل ملفات معينة: مثل الصور أو ملفات CSS، مما قد يساعد في تحسين سرعة تحميل موقعك.
2- تحسين تحسين محركات البحث (SEO)
-
منع فهرسة المحتوى الضار: مثل المحتوى المكرر أو المحتوى ذي الجودة المنخفضة.
-
مساعدة روبوتات محركات البحث على فهم بنية موقعك: من خلال ربط ملف robots.txt بخرائط الموقع (sitemaps).
3- حماية المحتوى الخاص
-
منع روبوتات محركات البحث من الزحف إلى صفحات تحتوي على معلومات حساسة.
-
منع سرقة المحتوى: من خلال منع روبوتات محركات البحث من نسخ محتوى موقعك.
4- تقليل الحمل على الخادم
-
منع روبوتات محركات البحث من الزحف إلى صفحات غير ضرورية.
-
تخصيص نطاق ترددي لزوار بشريين حقيقيين.
بالإضافة إلى ذلك، يمكن استخدام ملف robots.txt لـ:
-
اختبار أدوات زحف محركات البحث: مثل أداة اختبار robots.txt من Google.
-
إرسال إشارات إلى محركات البحث: مثل إخبار محرك البحث ما إذا كان موقعك متوافقًا مع الأجهزة المحمولة.
من المهم ملاحظة أن robots.txt ليس أداة لمنع ظهور صفحات الويب في نتائج البحث تمامًا. إذا كنت تريد منع صفحة من الظهور في نتائج البحث، فيمكنك استخدام علامة noindex في رأس الصفحة.
أمثلة على الاستخدامات الشائعة لملف robots.txt
-
موقع ويب للتجارة الإلكترونية: قد ترغب في منع روبوتات محركات البحث من الزحف إلى صفحات سلة التسوق أو صفحات الدفع لمنع الكشف عن معلومات حساسة للعملاء.
-
موقع ويب إخباري: قد ترغب في منع روبوتات محركات البحث من الزحف إلى صفحات المقالات القديمة أو غير ذات الصلة لمنع ظهورها في نتائج البحث.
-
موقع ويب حكومي: قد ترغب في منع روبوتات محركات البحث من الزحف إلى صفحات تحتوي على معلومات حساسة أو غير متاحة للجمهور.
ما الأخطاء الشائعة التي يجب تجنبها عند إنشاء ملف robots.txt؟
1- منع فهرسة الموقع بأكمله
من الشائع أن يقوم مالكو المواقع الجديدة بمنع فهرسة موقعهم بأكمله عن طريق إضافة Disallow: / إلى robots.txt، سيؤدي ذلك إلى منع محركات البحث من العثور على أي من صفحات موقعك، مما يعني أنه لن يتم عرض موقعك في نتائج البحث.
2- أخطاء كتابة القواعد
-
أخطاء إملائية: تأكد من تهجئة أوامر robots.txt بشكل صحيح، مثل Disallow و User-agent.
-
أخطاء نحوية: تأكد من اتباع قواعد نحوية robots.txt بشكل صحيح. على سبيل المثال، يجب أن تبدأ كل قاعدة بسطر جديد ويجب أن تفصل بين القواعد سطر فارغ.
-
أخطاء علامات التبويب والمسافات البيضاء: تأكد من استخدام علامات التبويب والمسافات البيضاء بشكل صحيح في ملف robots.txt. يمكن أن تؤدي المسافات البيضاء الإضافية إلى أخطاء في تفسير محركات البحث للقواعد.
3- عدم استخدام خرائط الموقع (sitemaps)
خرائط الموقع ضرورية لمساعدة محركات البحث على العثور على جميع صفحات موقعك، إذا لم تقم بتضمين خرائط الموقع في robots.txt، فقد لا تتمكن محركات البحث من العثور على جميع صفحات موقعك، مما قد يؤدي إلى انخفاض ترتيبك في نتائج البحث.
4- حظر ملفات Javascript و CSS
-
قد يؤدي حظر ملفات Javascript و CSS إلى منع موقعك من العمل بشكل صحيح. في معظم الحالات، من الأفضل السماح لمحركات البحث بالوصول إلى هذه الملفات.
5- استخدام ملف robots.txt قديم
-
تأكد من تحديث الملف الخاص بك بانتظام، إذا قمت بإجراء تغييرات على بنية موقعك، فستحتاج إلى تحديث robots.txt الخاص بك على التوالي.
6- عدم اختبار ملف الـ robots.txt
• من المهم اختبار ملف الـ robots.txt الخاص بك للتأكد من أنه يعمل بشكل صحيح، توفر Google أداة اختبار robots.txt التي يمكنك استخدامها لاختبار ملف robots.txt الخاص بك.
هذه المحتويات تتضمن:
-
السماح لعناكب البحث برؤية الملفات المرفوعة مثل وسائط الصور والفيديو من خلال الأمر “سماح Allow” لمجلد “uploads” تحت المجلد الرئيسي “wp-content”.
-
منع عناكب البحث من رؤية الإضافات ومجلداتها وملفاتها من خلال الأمر “منع Disallow” للمجلد “plugins” تحت المجلد الرئيسي “wp-content”.
-
منع عناكب البحث من رؤية المجلد المسؤول عن الدخول للموقع “wp-admin”، ومنع رؤية ملف “readme” وروابط الأفيليت بكل أنواعها.
كيفية إنشاء ملف robots.txt خاص بك؟
يتكون ملف الـ robots.txt من تعليمات بسيطة تخبر روبوتات محركات البحث كيفية زحف وفهرسة موقعك الإلكتروني، فيما يلي الخطوات الأساسية لإنشاء الملف:
1. إنشاء ملف نصي
-
ابدأ بإنشاء ملف نصي فارغ.
-
يمكنك استخدام أي محرر نصي، مثل Notepad أو TextEdit أو Notepad ++.
-
حفظ الملف باسم robots.txt.
2. إضافة تعليمات
-
أضف تعليمات إلى ملف robots.txt باستخدام تنسيق محدد.
-
يتكون كل سطر من تعليمات من جزئين:
- User-agent: يحدد روبوتات البحث التي تنطبق عليها التعليمات.
- Directive: يحدد ما يجب على روبوتات البحث فعله.
3. الأمثلة على التعليمات
-
الأول Disallow: يمنع روبوتات البحث من الزحف إلى مسار محدد. على سبيل المثال، Disallow: /images/ يمنع روبوتات البحث من الزحف إلى المجلد /images/.
-
الثاني Allow: يسمح لروبوتات البحث بالزحف إلى مسار محدد. على سبيل المثال، Allow: /images/product-images/ يسمح لروبوتات البحث بالزحف إلى المجلد /images/product-images/.
-
الثالث Sitemap: يحدد موقع خريطة الموقع (sitemap) الخاصة بك. على سبيل المثال، Sitemap: https://www.example.com/sitemap.xml يخبر روبوتات البحث بموقع خريطة الموقع الخاصة بك.
4- حفظ الملف
-
حفظ الملف robots.txt في جذر موقعك الإلكتروني.
-
يجب أن يكون جذر موقعك الإلكتروني هو المجلد الذي يحتوي على الصفحة الرئيسية لموقعك.
5- اختبار الملف
-
استخدم أداة اختبار robots.txt من Google لاختبار ملف الـ robots.txt الخاص بك والتأكد من أنه يعمل بشكل صحيح.
تنسيق وقواعد كتابة ملف robots.txt
معرفة قواعد تنسيق وكتابة الملف مهم جدًا لضمان فعالية عمل هذا الملف وفهمه بشكل صحيح من قبل محركات البحث. إليك القواعد الأساسية التي يجب مراعاتها:
-
كل سطر يجب أن يبدأ بكلمة رئيسية مثل “User-agent” أو “Disallow”، متبوعة بعلامة النقطتين “:” ومن ثم القيمة.
-
يمكن استخدام الفراغات أو الألسنة لفصل بين الكلمات الرئيسية والقيم، ولكن يجب الاحتفاظ بالتنسيق المتسق.
-
يمكن استخدام علامة “#” للتعليق على السطور، وستتجاهلها محركات البحث.
-
يمكن استخدام السطور الفارغة لفصل بين مجموعات مختلفة من القواعد.
-
يجب أن تكون الأحرف في ملف robots.txt حساسة للحالة، ويجب أن تتطابق مع حالة الأحرف في عناوين URL الخاصة بالموقع.
-
يجب استخدام مسارات مطلقة، وليس مسارات نسبية.
-
يمكن استخدام الرموز البرمجية الخاصة مثل النجمة (*) أو العلامة الدولارية ($) أو الشرطة العمودية (|) للدلالة على الحروف البديلة أو النهاية أو الفاصل أو الحرف الهارب.
هل يمنع ملف robots.txt الوصول إلى الصفحات المختارة نهائيًا؟
قد يظن البعض أن robots.txt يمنع الوصول إلى الصفحات المحددة بشكل نهائي على محركات البحث. ومع ذلك، قد لا يمنع ذلك بالفعل ظهور صفحاتك في نتائج البحث، السبب في ذلك يعود إلى احتمال وجود روابط تشير إلى الصفحات المحظورة في ملف robots.txt عبر مواقع أخرى.
نتيجة لذلك، قد تقوم روبوتات محركات البحث بزيارة الصفحة على الرغم من الإشارة الموجودة في الملف.
الحل لهذه المشكلة يكمن في استخدام بيانات وصفية متقدمة باستخدام Metatags ووضع علامة noindex.
يعتبر هذا الإجراء بسيطًا وفعالًا. بالاعتماد على إضافة Yoast SEO، يمكنك بسهولة تحديد ما إذا كان يجب على محركات البحث فهرسة صفحات معينة أو لا. يكفي فتح الإعدادات المتقدمة واختيار الخيار “لا” من بين الخيارات المتاحة فيما يتعلق بتتبع الروابط الموجودة على الصفحة المعينة.
كيفية التحقق من صحة وتصحيح ملف robots.txt؟
بعد إعداد وتكوين robots.txt، يجب التحقق من صحته وتصحيحه لضمان أن محركات البحث والروبوتات الأخرى يمكنها قراءته والالتزام به. العملية ليست معقدة، ولكنها تتطلب بعض الخطوات والأدوات.
1.استخدام Google Search Console
-
قم بتسجيل الدخول إلى Google Search Console باستخدام حساب Google الخاص بك.
-
اختر موقعك الإلكتروني من القائمة، أو أضفه إذا لم يكن موجودًا بالفعل.
-
انقر على القائمة الجانبية اليسرى، واختر “الزحف”، ثم “ملف robots.txt Tester”.
-
سترى الملف الخاص بك في الجزء العلوي من الشاشة، ويمكنك تحريره أو تحديثه أو اختباره.
-
إذا وجدت أي أخطاء أو تحذيرات أو اقتراحات، اتبع التعليمات لإصلاحها أو تحسينها.
-
بعد إجراء أي تغييرات، انقر على “إرسال”، لإخبار Google بأن الملف قد تم تحديثه.
إذا لم تكن تستخدم Google Search Console، يمكنك استخدام أدوات أخرى:
مثل Bing Webmaster Tools، أو Robots.txt Validator، أو Robots.txt Checker، أو Robots.txt Analyzer للتحقق من صحة وتصحيح ملف robots.txt.
هذه الأدوات تعمل بطريقة مشابهة ل Google Search Console، حيث تسمح لك بإدخال عنوان URL الخاص بالملف وتحليله وتقديم تقارير ونصائح حول أي مشاكل أو تحسينات ممكنة.
يمكنك اختيار الأداة التي تناسب احتياجاتك وتفضيلاتك، واتباع التعليمات الخاصة بها للتحقق من صحة وتصحيح ملف robots.txt الخاص بك.
تواصل معنا في شركة عربي سيو، أفضل شركة سيو تقدم لك خدمات تحسين محركات البحث والمساعدة في الانتشار وتحقيق الأرباح والأهداف التي تهدف لها، استفد من خدماتنا المختلفة والمميزة ولا تتردد في التواصل معنا.