شرح عمل ملف robots مخصص لمدونات بلوجر 2019

18

شرح عمل ملف robots مخصص

شرح عمل ملف robots مخصص ،كيفية إضافة ملف Robots.txt مخصص لمدونات بلوجر، شرح طريقة عمل ملف robots.txt مخصص لمدونات بلوجر ،إنشاء ملف robots.txt لمدونات بلوجر ،شرح كيفية إضافة ملف Robots.txt مخصص لمدونات بلوجر ،ملف robot.txt جاهز لمدونات بلوجر بدون اخطاء ،أفضل ملف روبوتس جاهز لمدونات بلوجر 2019 ،ملف robots.txt بلوجر 2019.

Robots.txt هو ملف نصي الغرض منه التحكم فى حركة روبوتات البحث والتى ترد لمدونتك من خلال محركات البحث والتى تقوم بفهرسة مواضيع مدونتك مثل جوجل أو بينج أو خلافه ، حيث يمكنك من خلال بعض الأوامر البسيطه التى تقوم بكتابتها بملف الروبوتس التحكم فى كل شىء بمدونتك بخصوص الروابط التي لا يجب تضمينها في نتائج البحث. يعني ذلك أنه يمكنك تقييد برامج روبوت محرك البحث للزحف إلى بعض الصفحات أو المواضيع بمدونتك.

والان تعالوا سويا لنفهم ملف robots.txt من البدايه وشرح أوامره وكيفية كتابته وفهم أوامره:-
اولا : ملف robots.txt الافتراضى فى مدونات بلوجر هو على الشكل التالى :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://yyyyyyyyy/sitemap.xml

ولكن ماهى تلك الأوامر ومافائدتها ؟

أولا: User-agent: Mediapartners-Google
وهذا هو البوت الخاص بجوجل ادسنس وهو قيمه ثابته فى كل المدونات أو المواقع التى تستخدم اعلانات جوجل ادسنس.
ثانيا : Disallow:
وهي تعنى السماح لروبوت جوجل ادسنس بإستكشاف الصفحات والاطلاع عليها لعرض اعلانات متوافقه مع محتوى موقعك أو مدونتك.
ثالثا : User-agent: *
وهو أمر كل روبوتات البحث جوجل ،بينج ، ……الخ طالما ينتهى بعلامة ” * ” النجمه  ، اما لو حذفت النجمه فأنت مضطر بأن تذكر كل روبوت لوحده ،مثل روبوت جوجل User-agent: googlebot أو روبوت تويتر مثلا User-agent: Twitterbot وكل روبوت حينها مضطر أن تضع تحته مجموعة الأوامر بالسماح والرفض لمحتويات موقعك للإطلاع عليه وفهرسته.
رابعا : Allow: /
وهي تعني السماح  بالفهرسة  ويتم استخدام هذا الأمر فى حالة استخدامك المنع لأجزاء من صفحات او مواضيع مدونتك ثم بعدها تعطى الأمر بالسماح بالباقى .
خامسا : Disallow: /search
وهى تعنى منع روابط البحث search
سادسا : Sitemap: https://www.—–  .com/sitemap.xml
وهي الخريطة التي تحتوي على روابط المواضيع لموقعك  حيث https://www.—–  .com/   هو رابط موقعك .
والان لنتفهم أكثر لتلك الأوامر لكى تستطيع بنقسك كتابة ملف الروبوتس الخاص بمدونتك اذا كنت تريد ارشقة مواضيع دون غيرها او منع صفحات الارشيف والبحث وكذلك صفحات الأقسام من الارشفه وذلك لتفادى المحتوى المكرر من الويب ماستر فى جوجل .
فمثلا شاهد تلك الأوامر وحاول أن تفهمها لأننى سأبسطها لك :

شرح أوامر ملف الروبوتس لمدونات بلوجر

وهذا الأمر معناه عدم أرشقة موقعى تماما من كل محركات البحث.
User-agent: *
Disallow: /
وهذا الأمر معناه السماح لكل محركات البحث بأرشفة موقعى دون أى قيود
User-agent: *
Disallow:
وهذا الأمر معناه عدم السماح لروبوت جوجل بفهرسة موقعى
User-agent: Googlebot
Disallow: /
وهذا الأمر معناه السماح لروبوت جوجل بفهرسة موقعى دون أى قيود
User-agent: Googlebot
Disallow:
وهذا الأمر معناه السماح لروبوت جوجل بفهرسة موقعى ماعدا مجلد admin أو أى رابط يبدأ بكلمة admin.
User-agent: Googlebot
Disallow: /admin
وهذا الأمر معناه السماح لروبوت جوجل بفهرسة موقعى ماعدا مجلد admin و photos أو أى رابط يبدأ بكلمة admin أو photos.
User-agent: Googlebot
Disallow: /admin
Disallow: /photos
والان لابد أن نتعرف على كتابة أوامر القيد أى المنع وأوامر السماح واضافة ملف الروبوتس المعدل او المخصص لجوجل ويب ماستر ( أدوات مشرفى المواقع ).
عند كتابة تلك الأوامر لابدان تعرف أين تضع أمر القيد أو المنع Disallow: / وأمر السماح او الاستثناء Allow: / … شاهد الصوره التاليه لتعرف أين توضع تلك الأوامر :

شرح عمل ملف robots مخصص لمدونات بلوجر 2019

 

شرح عمل ملف robots مخصص لمدونات بلوجر 2019

1- اذا اردت أن تمنع أقسام المدونه من الظهور فى نتائج البحث فعليك بكتابة الامر هكذا
Disallow: /search/label/ أو هكذا Disallow: /search
وقم بإختبار الرابط عبر جوجل ويب ماستر لموقعك كما بالصوره التاليه :

شرح عمل ملف robots مخصص لمدونات بلوجر 2019

 

2- اذا اردت ان تمنع الصفحات من الارشفه مثل سياسة الخصوصيه أو اتصل بنا …الخ ،فيتم كتابة الأمر هكذا

Disallow: /p/ وأختبر أى صفحه وطالما يعطى محظور فأنت تسير بطريقه صحيحه .
3-اذا اردت ان تمنع روابط الموضوعات والتى تنتهى هكذا .html?m=1 وهى روابط الموضوعات والتى تظهر عبر الجوال أو الموبايل فهى تعتبر محتوى مكرر لايجوز أرشفة الموضوع برابطين وهنا يجب عليك حظر الرابط عبر ملف الروبوتس ويتم عبر الأمر التالى :
Disallow: /2019/*.html?m=1
كمثال على تلك الروابط شاهد الأتى :-
https://www.seo-blogger.info/2019/03/how-to-add-anti-adblock-script-for-blogger-2019.html?m=1   
https://www.seo-blogger.info/2019/03/how-to-add-anti-adblock-script-for-blogger-2019.html
لو وضعت هذين الرابطين فى متصفحك فسيعطيك نفس النتيجه ،وبالتالى انت مطالب برابط واحد تسمح بأرشفته لكى تمنع المحتوى المكرر لديك.
ولكن هذا الأمر وحده يوقف كافة روابط المدونه التى تنتهى بــ .html ،وهنا يجب عليك السماح بكافة الروابط التى تنتهى بــ .html عبر الأمر التالى :
Allow: /2019/*.html
أى انك سمحت لكافة الروابط للموضوعات والتى تنتهى بــ .html وبالطبع كرر هذا الأمر بملف الروبوتس لكافة سنوات مدونتك كما تلاحظه فى ملف الروبوتس الخاص بمدونتى ،أى تمنع سنوات للجوال وتمنح نفس السنوات وذلك لروابط الموضوعات بمدونتك.
Disallow: /2019/*.html?m=1

3- صفحات الجوال تنتهى ايضا بــ ?m=0 وهنا يجب عليك منع الصفحه الرئيسيه لموقعك من الظهور بهذا الرابط وذلك عبر الأمر التالى

Disallow: /?m=0
والسماح للرئسيه بالظهور فى بحث الجوال عبر اضافة الأمر التالى
Allow: /?m=1
وأنا أخترت لكم ملف robots.txt والخاص بمدونتى ويمكنك الحصول عليه من خلال رابط مدونتى التالى  وتغيير مايلزم من الروابط واستبدال رابط مدونتى بمدونتك :-
https://www.seo-blogger.info/robots.txt

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/privacy-policy.html
Disallow: /p/terms-and-conditions.html
Disallow: /p/contact-us.html
Disallow: /p/about-us.html
Disallow: /search
Disallow: /2019/*.html?m=1
Disallow: /2018/*.html?m=1
Disallow: /2017/*.html?m=1
Disallow: /2019/*.html?m=0
Disallow: /2018/*.html?m=0
Disallow: /2017/*.html?m=0
Disallow: /?m=0
Disallow: /*archive.html
Disallow: /2019
Disallow: /2018
Disallow: /2017
Allow: /
Allow: /2019/*.html
Allow: /2018/*.html
Allow: /2017/*.html
Allow: /?m=1
Sitemap:https://www.seo-blogger.info/atom.xml?redirect=false&start-index=1&max-results=500

كيف يمكن تخصيص ملف robots.txt ووضعه بمدونتك من خلال لوحة تحكم بلوجر بدلا من ملف الروبوتس الافتراضى؟

يتم ذلك عبر الخطوات التاليه :
من لوحة تحكم مدونتك إضغط على إعداداتتفضيلات البحث — من خلال ملف robots.txt مخصص اضغط على خانة تعديل … شاهد الصوره التاليه

شرح عمل ملف robots مخصص لمدونات بلوجر 2019

ثم ضع ملف الروبوتس المخصص الذى وضعته لكم بالأعلى وغير مايلزم بخصوص رابط مدونتك أو مسميات الأقسام والصفحات .
اتمنى أن أكون وفقت فى الشرح وسأوالى هذا الموضوع بكل اضافه جديده اراها مكمله له .
مودتى لكم

إشترك فى نشرتنا البريدية
إشترك فى نشرتنا البريدية
إشترك معنا هنا لكى يصلك عبر بريدك الإلكترونى كل جديد نقوم بنشرة بالمدونة ... ماذا تنتظر!! إشترك الآن
تستطيع إلغاء الإشتراك فى أى وقت
تعليق
  1. arti يقول

    أخي الكريم لماذا مدونتي غير مؤهله لادسنس
    هذا رابط المدونة
    100million-arti-sendia .blogspot.com/

    1. aldewaghry يقول

      اطلعت على مدونتك وللأسف اخى الكريم لا اعلم فى اى مجال تخصصت !!
      المدونه تحتاج الى قالب جديد وتحتاج الى تخصص اى تكون فى مجال محدد .
      تحتاج ايضا الى دومين مدفوع والربط به ثم نشر مدونتك بعد ذلك والبدء فى تلقى زوار
      ثم قدم على ادسنس وان شاء الله يتم قبولك
      اهم نقطه ان تخصص مدونتك فى مجال معين
      تحياتى لك

  2. ADHAM يقول

    الله علي حضرتك تم عمل اللازم
    مبدددددددددددع
    سؤال بسيط بعد تغيير الملف هل اقوم بفهرسه الموقع من جديد على ادوات مشرفي المواقع؟ وهل الموضوع بياخد وقت لاخفاء الروابط من جوجل.
    شكرااااااااا جزيلاً لحضرتك.

    1. aldewaghry يقول

      اهلا بك اخى ا,ادهم
      اترك الامور لجوجل وهو تلقائيا سيكتشف الامر ويعدل الأرشفه الخاصه بك، ولكن اعتقد ان جوجل سيحذف ملف الروبوتس بعد فتره ويعيده للملف التلقائى وهذا عن تجربه وهذا احد عيوب بلوجر بان تحكمها الرئيسى بخصوص لوحة التحكم يتحكم فيه جوجل ويصل التحكم حتى الى حذف المدونه اذا وجد فيها مايخالف سياسته .
      لكن انت اترك الامور على طبيعتها وراجع ملف الروبوتس كل فتره هل بقى كما هو ام غيره جوجل
      تحياتى لك

      1. ADHAM يقول

        أشكرك شكراً جزيلاً على الرد والأهتمام.
        تحياتي لحضرتك.

  3. najem يقول

    كيف منع و حذف صور محددة من جوجل؟ عن طريق robots .

    1. aldewaghry يقول

      السلام عليكم ورحمة الله
      أولا تاكدت انا بعد نشرى للمقاله وتطبيق ملف الروبوتس أن جوجل هو المتحكم فى مدونة بلوجر، ولذلك آثرت وفضلت الإنتقال الى الووردبريس بإمكانياته العالية وقوته . لذلك مهما تقوم من تعديلات فى ملف الروبوتس ستجده مع أقرب تحديث لجوجل قد تم ارجاعه للملف الإفتراضى الموجود فى كل مدونة على بلوجر.فنصيحتى لك لاتعدل فى الملف لإن جوجل سيعيده مره اخرى للإفتراضى.
      اما بخصوص سؤالك ، فانت تستطيع منع امتداد صور معين من الظهور فى نتائج البحث وكذلك عدم ارشفته نهائيا عبر هذا الأمر تضيفه فى ملف الروبوتس
      Disallow: /*.gif$
      مكان النجمة * بالأمر ضع اسم الصورة يعنى مثلا لو صوره لديك هذا رابطها
      https ://2.bp.blogspot.com/-2rIEM68Qix0/WzPpT_n6riI/AAAAAAAACpc/3WvwtagQ3z02AFx54oYoOGHM73WloqXjACLcBGAs/s1600/lazy-load.png
      ضع كلمة lazy-load مكان النجمة * وضع مكان gif امتداد الصوره وهنا كان png ليكون الأمر كالتالى :
      Disallow: /lazy-load.png$
      ارجوا ان تكون وضحت لك الفكرة
      تحياتى لك

  4. najem يقول

    مثال على ذلك :
    Disallow: /lazy-load.jpg$
    https://3.bp.blogspot.com/-eRnKaRQGDAU/WjitoeAYCKI/AAAAAAAACXw/cA1atowl_K8LDrFSo5YFLLaXvQBKAGd4ACLcBGAs/s1600/maxresdefault/lazy-load.jpg

    عند الحفظ تظهر هذه الرسالة
    ‏محتوى ملف robots.txt غير مطابق لقواعد التنسيق.

  5. aldewaghry يقول

    اخى الكريم
    ملف الروبوتس لمدونتك هناك مشكله فيه فى خريطة المدونه ، عليك التأكد من اضافة تلك الخريطه فى جوجل ويب ماستر وترجع وتختبر ملف الروبوتس من هنا
    https://www.google.com/webmasters/tools/robots-testing-tool?utm_source=support.google.com/webmasters/&utm_medium=referral&utm_campaign=%206062598
    وهذا ملفك
    User-agent: Mediapartners-Google
    Disallow:
    User-agent: *
    Disallow: /lazy-load.jpg$
    Disallow: /search
    Disallow: /search?updated-min=
    Disallow: /search?updated-max=
    Sitemap: https//www.blostars.com/sitemap.xml
    ضيفه هكذا واختبره هل تظهر اخطاء لك بعد وضع الخريطه ام لا واخبرنى

  6. najem يقول

    تم الاضافة:
    User-agent: Mediapartners-Google
    Disallow:
    User-agent: *
    Disallow: /lazy-load.jpg$
    Disallow: /search
    Disallow: /search?updated-min=
    Disallow: /search?updated-max=
    Sitemap: https//www.blostars.com/sitemap.xml

    ولكن يوجد مشكلة في site map
    تظهر رسالة:
    Invalid sitemap URL detected; syntax not understood

  7. aldewaghry يقول

    هو حضرتك مفعل https لمدونتك؟

  8. najem يقول

    نعم

  9. najem يقول

    تظهر هذه الرسالة عند الاتصال بك
    عند دخول الى صفحة اتصل بنا لديك
    حدث خطأ أثناء محاولة إرسال رسالتك. يرجى المحاولة مجدداً.

    1. aldewaghry يقول

      تم الإصلاح واشكرك على التنبيه

  10. هاني الصاوي يقول

    جزاك الله خيرا على هذا الشرح.. ولكن لدى استفسار
    قمت بربط مدونتي بـ google search console وجائتني رسالة تفيد بانه تم فهرسه موضوع واحد فقط من اصل 28 موضوع. فكيف يمكنني فهرسة جميع الموضوعات لكي تظهر؟ ولكم جزيل الشكر

    1. aldewaghry يقول

      اهلا بك اخى الكريم
      عدم ارشفة الموضوع بيتم لأسباب عده منها انه ربما المحتوى ضعيف او مكرر أى منقول من موقع آخر أو به اخطاء لغويه كثيره.
      إقرأ مقالى هذا وحاول ان تطبق ماجاء به على مدونتك
      من هنا

  11. abderrahimchat يقول

    مشكووور اخي على مجهودك لكن أنا قمت بمنع فهرسة الهواتف m1 و m0 هل كود الروبوت الذي قمت بالتعديل عليه صحيح و شكرا وهل سيعمل الكود على التخلص من العناوين المكررة
    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Disallow: /*?m=0
    Disallow: /*?m=1
    Allow: /

    Sitemap: http://www.mat9on.com/feeds/posts/default?orderby=updated

    1. aldewaghry يقول

      نعم صحيح ولكن يا اخى الكريم للأسف مدونات بلوجر تخضع لجوجل وبالتالى سيقوم جوجل بإعادة ملف الروبوتس الافتراضى للمدونات بلوجر ويحذف الملف الذى تقوم بتركيبه بعد اول تحديث وتم هذا عن تجربه معى .
      لذلك انصحك بالتجربة واترك الأمر وستلاحظ بعد فترة ان جوجل قد قام بإرجاع الملف الأصلى.
      مدونات بلوجر للأسف تحت سيطرة جوجل تماما حتى المدونات التى تحتوى على محتوى فى نظر جوجل مخالف ربما يقوم او فى الغالب يقوم جوجل بحذف المدونة.
      انا انصحك بالبقاء على الملف الافتراضى واهتم بالمحتوى .
      تحياتى لك

اترك تعليق

يرجي التسجيل لترك تعليقك

شكرا للتعليق

This website uses cookies to improve your experience. We'll assume you're ok with this, but you can opt-out if you wish. Accept Read More