كيف تعمل محركات البحث لفهرسة المواقع على الانترنت

0

كيف تعمل محركات البحث ،هل تساءلت يومًا عن عدد المرات التي تستخدم انت نفسك محرك البحث Google يوميًا أو أي محرك بحث آخر للبحث في الويب؟ هل هو 10 مرات أو 20 مرة أو حتى في بعض الأحيان أكثر؟ هل تعلم أن Google وحدها تتولى أكثر من 2 تريليون عملية بحث سنويًا؟ الأرقام ضخمةأليس كذلك؟.

أصبحت محركات البحث جزءًا من حياتنا اليومية، نستخدمها كأداة تعليمية ، كأداة للتسوق ، أوللمتعة والترفيه ولكن أيضًا للعمل. ليس من قبيل المبالغة القول إننا وصلنا إلى نقطة نعتمد فيها على محركات البحث في أي شيء نفعله تقريبًا.
والسبب في ذلك هو بسيط جدا – نحن نعلم أن محركات البحث وخاصة Google لديها إجابات على جميع أسئلتنا واستفساراتنا.

ولكن السؤال هنا كيف تعمل محركات البحث بهذه السرعه فى اظهار النتائج بعد النقر على كلمة “بحث”؟ كيف تعمل محركات البحث داخليًا؟ وكيف يقررون ما يتم عرضه في نتائج البحث وبأي ترتيب؟

قإذا كنت مطورًا أو مصممًا أو مالكًا للأعمال التجارية الصغيرة أو متخصص في التسويق عبر الانترنت أو مالك موقع ويب أو تفكر في إنشاء مدونة شخصية أو موقع ويب لعملك ، فأنت بحاجة إلى فهم كيفية عمل محركات البحث.
لماذا ؟
وجود فهم واضح لكيفية عمل البحث ، يمكن أن يساعدك في إنشاء موقع ويب يمكن لمحركات البحث فهمه على عكس من ينشىء موقع ولادرايه له بخوارزميات محركات البحث وعلى اى اسس تبنى ، وهذا له عدد من المزايا الإضافية.

كيف تعمل آلية البحث فى محركات البحث وماهى مراحلها؟

الفيديو التالى المبسط يشرح الفكرة التى تبنى عليها محركات البحث اسسها فى البحث عن المعلومه وتخزينها وإظهارها وقت الطلب وهو شرح عن كيف تعمل محركات البحث.

محركات البحث هي برامج كمبيوتر معقدة  ،فقبل أن يسمحوا لك حتى بكتابة استعلام والبحث على الويب ، يتعين عليهم القيام بالكثير من الأعمال التحضيرية حتى يتم النقر على “مجموعة” من النتائج الدقيقة والجودة التي تجيب على سؤالك أو استفسارك عند النقر فوق “بحث”. ماذا يشمل “تحضير العمل”؟ مرحلتان رئيسيتان. المرحلة الأولى هي عملية اكتشاف المعلومات والمرحلة الثانية هي تنظيم المعلومات بحيث يمكن استخدامها لاحقًا لأغراض البحث. يُعرف هذا عمومًا في عالم الإنترنت باسم الزحف والفهرسة.

كيف تعمل محركات البحث
كيف تعمل آلية البحث فى محركات البحث

الزحف أو Crawling

محركات البحث تحتوى على عدد من برامج الكمبيوتر تسمى برامج زحف الويب وبالتالي كلمة الزحف هي المسؤولة عن العثور على المعلومات المتاحة للجمهور على الإنترنت.

يكفي أن تعرف أن مهمة برامج الزحف هذه (المعروفة أيضًا باسم العناكب في محركات البحث) ، هي مسح الإنترنت والبحث عن الخوادم (المعروفة أيضًا باسم خوادم الويب) التي تستضيف مواقع الويب. يقومون بإنشاء قائمة بجميع خوادم الويب للزحف إليها ، وعدد مواقع الويب التي يستضيفها كل خادم .

فهذه البرامج الخاصة بالزحف او مايسمى بروبوتات البحث يزورون كل موقع ويب وباستخدام تقنيات مختلفة ، يحاولون معرفة عدد الصفحات التي لديهم ، سواء كان ذلك محتوى نصيًا أو صورًا أو مقاطع فيديو أو أي تنسيق آخر (css أو html أو javascript أو ما إلى ذلك).

فعند زيارة موقع ويب ، إلى جانب تدوين عدد الصفحات ، فإنهم يتبعون أيضًا أي روابط (إما الإشارة إلى الصفحات داخل الموقع أو إلى مواقع الويب الخارجية) ، وبالتالي يكتشفون المزيد والمزيد من الصفحات. يفعلون ذلك بشكل مستمر ويقومون أيضًا بتتبع التغييرات التي يتم إجراؤها على أى موقع ويب حتى يعرفوا متى يتم إضافة صفحات جديدة أو حذفها ، أو عندما يتم تحديث الروابط ، وما إلى ذلك.

إذا أخذت في الاعتبار أن هناك أكثر من 130 تريليون صفحة فردية  حتى العام 2016 تم فهرستها من قبل جوجل وفي المتوسط ​​الآلاف من الصفحات الجديدة على أساس يومي ، يمكنك أن تتخيل القدرة الهائله لربوتات البحث فى فهرسة كل ماهو جديد بالثانيه والدقيقه .

لماذا تهتم بعملية الزحف؟

إن ما يهمك عند تحسين موقع الويب الخاص بك لمحركات البحث ، هو التأكد من أن محركات البحث يمكنها الوصول إليه بطريقة صحيحة وإن لم يتمكنوا من “قراءة” محتوى موقع الويب الخاص بك ، فلا تتوقع الكثير من حيث التصنيف العالي أو عدد زيارات عاليه من محركات البحث.
كما هو موضح أعلاه ، لدى الزواحف الكثير من العمل الذي يتعين عليها القيام به ، وعليك أن تحاول أن تجعل مهمتها أسهل. هناك عدد من الأشياء التي يجب عليك كصاحب موقع القيام بها للتأكد من أن برامج الزحف يمكنها اكتشاف موقع الويب الخاص بك والوصول إليه بأسرع طريقة ممكنة دون مشاكل.
1-استخدم ملف Robots.txt لتحديد الصفحات التي لا تريد الوصول اليها من قبل برامج الزحف. على سبيل المثال ، صفحات مثل صفحة ادمن الموقع أو الأرشيف أو صفحات نتائج البحث داخل الموقع …. الخ  من الصفحات الأخرى التي لا تريد أن تكون متاحة للجمهور على الإنترنت.
2-تحتوي محركات البحث الكبيرة مثل Google و Bing على أدوات يمكنك استخدامها لمنحهم مزيدًا من المعلومات حول موقع الويب الخاص بك (عدد الصفحات ، والهيكل ، إلخ) حتى لا يضطروا إلى العثور عليه بأنفسهم مثل ادوات مشرفى المواقع.

3-استخدم ملف Sitemap xml لسرد جميع الصفحات المهمة على موقع الويب الخاص بك حتى تتمكن الزواحف من معرفة الصفحات التي يجب أرشفتها أو تجاهلها من نتائج البحث.

الفهرسة او Indexing

الزحف وحده لا يكفي لبناء محرك بحث. يجب تنظيم المعلومات التي تم تحديدها بواسطة برامج الزحف وفرزها وتخزينها بحيث يمكن معالجتها بواسطة خوارزميات محرك البحث ، قبل إتاحتها للمستخدم النهائي. هذه العملية تسمى الفهرسة. لا تقوم محركات البحث بتخزين جميع المعلومات الموجودة على صفحة في فهرسها ولكنها تحتفظ بأشياء مثل: مثل متى انشئت / تحديثات الصفحه ، عنوان ووصف الصفحة ، ونوع المحتوى ، والكلمات الرئيسية المرتبطة ، والروابط  الواردة والصادرة ، والكثير من المعلومات الأخرى التي تحتاجها الخوارزميات الخاصة بهم.

ففهرس جوجل يمثل فهرس لكتاب كبير وكبير جدا وغنى بالمعلومات التى لاحصر لها .

لماذا نهتم بعملية الفهرسة؟

الأمر بسيط للغاية ، إذا لم يكن موقع الويب الخاص بك في فهرسهم ، فلن يظهر لأي عمليات بحث. هذا يعني أيضًا أنه كلما زاد عدد الصفحات الموجودة في فهارس محركات البحث ، زادت فرصتك فى أن تظهر في نتائج البحث عندما يقوم شخص ما بالبحث عن شيىء وله علاقه بموقعك.

لاحظ أنني ذكرت كلمة “تظهر في نتائج البحث” ، وهذا يعني في أي موضع وليس بالضرورة في المواضع أو الصفحات العليا.

فلكي تظهر في نتائج البحث الخمسة الأولى من SERPS (صفحات نتائج محرك البحث) ، يجب عليك تحسين موقع الويب الخاص بك لمحركات البحث باستخدام عملية تسمى Search Engine Optimization أو SEO باختصار او تهيئة موقعك لمحركات البحث.

كيفية العثور على عدد صفحات موقع الويب الخاص بك المضمنة في فهرس Google؟

هناك طريقتان للقيام بذلك. افتح Google واستخدم مشغل الموقع متبوعًا باسم نطاقك. على سبيل المثال  كموقعى site:www.seo-blogger.info سوف تكتشف عدد الصفحات ذات الصلة بالنطاق المحدد المضمنة في فهرس Google.

كيفية العثور على عدد صفحات موقع الويب

الطريقة الثانية هي إنشاء حساب مجاني على Google Search Console وإضافة موقع الويب الخاص بك. انظر بعد ذلك إلى تقرير الفهرسه لموقعك ولا سيما الصفحات الصالحة .

Google Search Console

خوارزميات تصنيف محرك البحث

والخطوة الثالثة والأخيرة في هذه العملية هي أن تقرر محركات البحث ماهى الصفحات التي سيتم عرضها في صفحات نتائج البحث وبأي ترتيب ،وذلك نتيجة ثيام شخص بالبحث عن معلومة ما فماهى الصفحات التى لها أولويه فى الظهور رقم 1 و 2 و3 … الخ حتى الرقم 10 فى الصفحة الأولى.

يتحقق ذلك من خلال استخدام خوارزميات ترتيب محرك البحث. بعبارات بسيطة ، هذه هي أجزاء من البرامج التي تحتوي على عدد من القواعد التي تحلل ما يبحث عنه المستخدم والمعلومات التي يجب إرظهترها. ويتم اتخاذ هذه القواعد والقرارات بناءً على المعلومات المتوفرة في فهرس محركات البحث من داتا حول كلمة او جملة البحث المستهدفه.

كيف تعمل خوارزميات محرك البحث؟

على مر السنين تطورت خوارزميات تصنيف محرك البحث وأصبحت معقدة بالفعل. في بداية عام 2000 كان الأمر بسيطًا تمامًا مثل مطابقة استعلام المستخدم مع عنوان الصفحة ولكن هذا لم يعد كذلك. فخوارزميات البحث التابعه الى محرك البحث Google  تأخذ في الاعتبار أكثر من 255 عمليه معقده قبل اتخاذ قرار ولا يعرف أحد على وجه اليقين ماهية هذه العمليات.

لقد تغيرت الأفكار كثيرًا والآن أصبحت برامج التعلم الآلي وبرامج الكمبيوتر مسؤولة عن اتخاذ القرارات بناءً على عدد من قواعد البيانات التي تقع خارج حدود المحتوى الموجود على صفحة الويب.

ولتسهيل الفهم ، إليك عملية مبسطة لكيفية عمل اولويات الترتيب فى نتائج البحث عبر محركات البحث:
الخطوة 1: تحليل كلمة او جملة البحث والتى كتبها الباحث عبر محرك البحث
الخطوة الأولى هي أن تفهم محركات البحث نوع المعلومات التي يبحث عنها المستخدم. للقيام بذلك ، يقومون بتحليل استعلام المستخدم (مصطلحات البحث) عن طريق تقسيمه إلى عدد من الكلمات الرئيسية ذات معنى.

الكلمة الأساسية هي كلمة لها معنى وهدف محدد. على سبيل المثال ، عندما تكتب “طريقة عمل البيتزا الايطالى” ، تعرف محركات البحث من الكلمات أنك تبحث عن إرشادات حول كيفية عمل البيتزا الايطالى وبالتالي فإن النتائج التي يتم إرجاعها سوف تحتوي على مواقع شرح كتابى او مقاطع فيديو أو وصفات طبخ . أما إذا كنت تبحث عن “شراء أو تجديد …” ، فسيعرفون من الكلمات “شراء وتجديد” أنك تتطلع إلى شراء شيء ما ، وستتضمن النتائج التي يتم إظهارها مواقع التجارة الإلكترونية والمحلات التجارية عبر الإنترنت.

ساعدهم التعلم الآلي في ربط الكلمات الرئيسية ذات الصلة معًا. على سبيل المثال ، يعرفون أن معنى هذا البحث “كيفية تغيير كلمة سر الراوتر” هو نفس معنى “كيفية استبدال كلمة سر الراوتر“.

 

تحليل كلمة او جملة البحث

كما أنها ذكية بدرجة كافية لتفسير الأخطاء الإملائية وفهم التعددية واستخراج معنى الكلمة المقصوده بدقه فى البحث من اللغة الطبيعية بشكل عام (سواء المكتوبة أو الشفهية في حالة البحث الصوتي).
الخطوة 2: العثور على صفحات مطابقة
والخطوة الثانية هي النظر في فهرسهم وتحديد الصفحات التي يمكن أن توفر أفضل إجابة لكلمة بحث أو جمله معينة. هذه مرحلة مهمة للغاية في العملية برمتها لكل من محركات البحث ومالكي الويب.

تحتاج محركات البحث إلى إظهار أفضل النتائج الممكنة بأسرع طريقة ممكنة حتى تبقي مستخدميها فى ثقه من محرك البحث وذلك فى سرعة جلب المعلومه وتوفيرها لهم بدقه فى اسرع وقت،  وكذلك يريد مالكو الويب اظهار مواقع الويب الخاصة بهمفى نتائج البحث حتى يحصلوا على زيارات كثيره من قبل محركات البحث.

فهذه هي أيضًا المرحلة التي يمكن أن تؤثر فيها تقنيات تحسين محركات البحث (SEO) الجيدة للمواقع على القرار الذي اتخذته الخوارزميات.

لإعطائك فكرة عن كيفية عمل المطابقة فى نتائج البحث وتفضيل محركات البحث لموقعك فى اظهار النتيجه قبل مواقع مشابهه فهذا يخضع لعدة نقاط هي :
العنوان ومدى ملائمتة للمحتوى – وهو ما مدى ملائمة العنوان والمحتوى للصفحة فى موقعك  مع كلمة او كلمات البحث من قبل زوار محركات البحث .
نوع المحتوى – إذا كان المستخدم يطلب صورًا ، فستحتوي النتائج التي يتم إظهارها على صور وليس نصوصًا.
جودة المحتوى – يجب أن يكون المحتوى دقيقًا ومفيدًا وغني بالمعلومات ، وغير متحيز ويغطي جانب البحث المستهدف اى يوفر معلومه متكامله حول ماتم البحث عنه.
جودة الموقع – الجودة الشاملة للموقع مهمة. لن تعرض Google صفحات من مواقع الويب التي لا تفي بمعايير الجودة الخاصة بها.
تاريخ النشر – بالنسبة إلى طلبات البحث ذات الصلة بالأخبار ، ترغب Google في عرض أحدث النتائج بحيث يتم أيضًا مراعاة تاريخ النشر.
شعبية الصفحة – لا يتعلق الأمر بعدد الزيارات التي يتمتع بها موقع الويب ، ولكن كيف ترى مواقع الويب الأخرى الصفحة المحددة اى كمرجع مهم فى معلومة ما بذات التخصص.
تعتبر الصفحة التي تحتوي على الكثير من المراجع (backlinks) ، من مواقع ويب أخرى ، أكثر شيوعًا من الصفحات الأخرى التي لا تحتوي على روابط ، وبالتالي فهي تتمتع بفرص أكبر في الحصول عليها من الخوارزميات. تُعرف هذه العملية أيضًا بـ السيو الخارجى Off-Page SEO .
لغة الصفحة – يتم تقديم صفحات للمستخدمين بلغتهم وليست اللغة الإنجليزية دائمًا الا لو كان البحث باللغة الاإنجليزية.
سرعة صفحة الويب – تتمتع المواقع التي يتم تحميلها بسرعة ( من 2 إلى 3 ثوانٍ) بميزة أكبر فى تجربة مستخدم رائعه وبالتالى يعطيها جوجل الثقه فى الظهور فى الصفحات الأولى فى نتائج البحث مقارنة بالمواقع الإلكترونية التي يتم تحميلها ببطء.
نوع الجهاز – يتم تقديم صفحات ملائمة للجوال للمستخدمين الذين يبحثون على الأجهزة المحمولة اى توافق موقعك مع الأجهزه المحموله.
الموقع – سيتم عرض المستخدمين الذين يبحثون عن نتائج في دولتهم  ومنطقتهم أولا وخصوصا فى طلبات البحث الخاصه بالتسوق لإن جوجل يتعامل مع الأجهزه حسب موقعها من خلال تفعيل خاصية الموقع الجغرافى بجهازك.
هذا مجرد غيض من فيض. كما ذكرنا من قبل ، تستخدم Google أكثر من 255 عاملاً في الخوارزميات الخاصة بهم لضمان رضا المستخدمين عن النتائج التي يحصلون عليها.

لماذا تهتم كيف تعمل خوارزميات تصنيف محرك البحث؟
من أجل الحصول على حركة زيارات مستهدفه من محركات البحث ، يجب أن يظهر موقع الويب الخاص بك في المراكز العليا في الصفحة الأولى من النتائج. ثبت إحصائيا أن غالبية المستخدمين ينقرون على واحدة من أفضل 5 نتائج (سواء من خلال أجهزةسطح المكتب أوالجوال).

انظر للإحصائيه تجد ان اغلب المستخدمين يفضلون النتائج بالصفحة الاولى والتى تحظى بأكبر عدد من الزوار وتتدرج من النتيجه الأولى حتى الخامسه بنفس الصفحه

كيف تعمل خوارزميات تصنيف محرك البحث

المصدر

الظهور في الصفحة الثانية أو الثالثة من النتائج لن يمنحك أي حركة زيارات قويه على الإطلاق.
تعد حركة الزوار مجرد واحدة من فوائد مُحسّنات محرّكات البحث ، بمجرد وصولك إلى المراكز العليا للكلمات الرئيسية التي تهم عملك ، تكون المزايا المضافة أكثر من ذلك بكثير. معرفة كيفية عمل محركات البحث يمكن أن تساعدك على ضبط موقع الويب الخاص بك وزيادة التصنيف الخاص بك وحركة المرور.
ختاما

أصبحت محركات البحث برامج كمبيوتر معقدة للغاية. قد تكون الواجهة بسيطة ولكن طريقة عملها واتخاذ القرارات بعيدة عن البساطة.

تبدأ العملية بالزحف والفهرسة. خلال هذه المرحلة ، تجمع برامج زحف محركات البحث أكبر قدر ممكن من المعلومات لجميع مواقع الويب المتاحة للجمهور على الإنترنت. يكتشفون هذه المعلومات ويعالجونها ويصنفونها ويخزنونها بتنسيق يمكن استخدامه بواسطة خوارزميات محرك البحث لإتخاذ القرار وإرجاع أفضل النتائج الممكنة إلى المستخدم.

كمية البيانات التي يتعين عليهم تحليلها هائلة ، والعملية مؤتمتة بالكامل.

يتم التدخل البشري فقط في عملية تصميم القواعد التي ستستخدمها الخوارزميات المختلفة ، ولكن حتى هذه الخطوة يتم استبدالها تدريجياً بأجهزة الكمبيوتر من خلال مساعدة الذكاء الاصطناعي.

باعتبارك مشرف موقع ، فإن وظيفتك هي تسهيل مهمة الزحف والفهرسة من خلال إنشاء مواقع ويب لها بنية بسيطة ومباشرة. بمجرد أن يتمكنوا من “قراءة” موقع الويب الخاص بك دون مشاكل ، فأنت بحاجة إلى التأكد من منحهم الإشارات الصحيحة لمساعدة خوارزميات ترتيب البحث الخاصة بهم ، واختيار موقع الويب الخاص بك عندما يقوم المستخدم بكتابة استعلام ذي صلة وهو مايعرف بــ (SEO موقعك).

يكفي الحصول على حصة صغيرة من إجمالي حركة الزوار من محرك البحث لبناء أعمال تجارية طويلة الأمد عبر الإنترنت.

اتمنى أن أكون وفقت فى طرح معلومه مفيده لك

واذا اعجبك المقال لاتنس ان تشيره على صفحتك ليستفيد منه اكبر قدر من الزوار.

تحياتى لك

اترك تعليق

يرجي التسجيل لترك تعليقك

شكرا للتعليق

This website uses cookies to improve your experience. We'll assume you're ok with this, but you can opt-out if you wish. Accept Read More