كل ماتريد معرفته حول DeepCrawl

الايجابيات

• أداة الزحف إلى مواقع الويب الأكثر دقة وشمولية التي اختبرناها.

• توصيات تحسين محركات البحث على الصفحة.

• واجهة حديثة سريعة الاستجابة.

• Google Analytics و Google Search Console التكامل.

• تتبع الروابط الخلفية.

• مقاييس AMP.

• أعطال سطح المكتب / الجوال / الجهاز اللوحي.

سلبيات

• الزحف إلى الموقع هو كل ما يفعله.

• لا توجد ميزات للبحث عن الكلمات الرئيسية أو مراقبة الموقع أو فهرسة الويب.

• يمكن أن يكون عمق البيانات التي تم الزحف عليها مربكًا إذا كنت لا تعرف ما الذي تبحث عنه.

قام DeepCrawl برفع سعره قليلاً منذ أن نظرنا إليه لأول مرة. تبدأ الأداة الآن بسعر 89 دولارًا أمريكيًا شهريًا ، ويتم إصدار الفاتورة شهريًا ؛ 81.50 دولارًا عند إصدار الفاتورة سنويًا). هذا يزيد بحوالي 10 دولارات عن التكلفة السابقة ، لذلك لا ينبغي أن تكون مشكلة بالنسبة لمعظم محركات البحث عملاء أداة (SEO). ومع ذلك ، فإن ما قد يرميك هو تركيزها في التصميم: هذه الأداة مخصصة لشيء واحد وشيء واحد فقط: الزحف من الداخل إلى الخارج ، والزحف من أعلى إلى أسفل على موقع الويب. يمكن تجميع أدوات تحسين محركات البحث بشكل عام في ثلاث فئات رئيسية. أولاً ، هناك بحث خاص بالكلمات الرئيسية ، مما يساعدك في العثور على صفحات البحث الأكثر ملاءمة لمحتواك لترتيب أعلى. بعد ذلك ، هناك مراقبة مستمرة للموقف ، وهي كيفية تتبع مواقع البحث الخاصة بك لتحديد المكان الذي تربح فيه وتفقده. أخيرًا ، هناك زحف ، حيث تقوم روبوتات الويب بتحليل إما موقع ويب واحد أو تقوم بالزحف بشكل منهجي وفهرسة الإنترنت بالكامل. لا يقوم DeepCrawl بإجراء عمليات زحف على مستوى الإنترنت ولكنه سيعطي موقع الويب الخاص بك حول "فحص كامل للجسم" شامل لكبار المسئولين الاقتصاديين.

هذا النوع من الزحف العميق إلى الموقع مفيد للشركات بعدة طرق. DeepCrawl هي أداة لكل من المستخدمين المبتدئين الذين يتطلعون إلى إبراز مشكلات الموقع أو المستخدمين المتقدمين الذين يخصصون عمليات الزحف الخاصة بهم ، ولكن دون أي قيود على الوصول إلى البيانات. يجعل الزحف أيضًا مراقبة سلامة الموقع أسهل من خلال كل من السياق التاريخي والوقت الفعلي ، مما يمنح الشركات القدرة على مقارنة عمليات الزحف على مدار العام والتنقل في الاتجاهات وأنواع التقارير المختلفة. تحتاج عمومًا إلى استخدام مجموعة من الأدوات المتعددة عبر الفئات الثلاث لتحسين محركات البحث للاستراتيجية الأكثر فاعلية ، وبرامج زحف الموقع هي كيفية تحديد نقاط القوة والضعف في موقعك على الويب وصفحاتك المقصودة.

أدوات تحسين محركات البحث (SEO) من اختيار المحررين Moz Pro (79.00 شهريًا ، يتم دفعها سنويًا في Moz ) ، SpyFu (33.00 شهريًا ، يتم دفعها سنويًا في SpyFu) ، و AWR Cloud تتمتع بعمق أكبر بكثير في مراقبة الكلمات الرئيسية والمواقع ، ولكن ليس لديها ما يقرب من الزحف وإمكانية تدقيق الموقع. لذلك ، على سبيل المثال ، إذا استخدمت إحدى أدوات اختيار المحررين أو منتجًا خاصًا بكلمة رئيسية مثل KWFinder.comلتحديد صفحة نتائج محرك البحث المستهدفة (SERP) والمكانة المثالية لترتيب المحتوى الخاص بك ، يمكنك بعد ذلك إجراء فحص DeepCrawl لبنية موقعك لإنشاء تقسيمات للصفحات وتحديد مشكلات مُحسّنات محرّكات البحث المحددة التي يحتاج موقعك إلى تحسينها وحلها صفحة للترتيب. ينطبق الأمر نفسه على معرفة سبب فقدان المحتوى الخاص بك في تصنيفات البحث كما تم تتبعه في أداة مراقبة مثل AWR Cloud (49.00 شهريًا في تصنيف الويب المتقدم) أو إجراء بعض تحليل السبب الجذري حول سبب إصابة موقعك ببحث Google عقوبة وكيف يمكنك التعافي. عاجلاً أم آجلاً ، تعود إستراتيجية تحسين محركات البحث دائمًا إلى مراجعة موقعك الخاص. هذه هي وظيفة DeepCrawl الوحيدة والوحيدة.

التسعير والخطط

كما هو مذكور ، يبدأ DeepCrawl بسعر 81.50 دولارًا شهريًا ، ويتم إصدار فاتورة سنويًا (89 دولارًا شهريًا) لخطة Starter الخاصة به ، والتي تأتي مع 100000 عنوان URL نشط ​​، وخمسة مشاريع نشطة ، بالإضافة إلى الوصول إلى واجهة برمجة التطبيقات الكاملة (API). تحتفظ معظم أدوات تحسين محركات البحث (SEO) بإمكانية الوصول إلى واجهة برمجة التطبيقات لطبقات المؤسسة ، وهي ميزة إضافية محددة لمستخدمي DeepCrawl الذين يريدون تخصيصًا أعمق بدون علامة سعر المؤسسة.

التغيير الآخر الذي حدث منذ آخر مراجعة للأداة هو أن الشركة تخلت عن خطط التسعير الأخرى. بالنسبة لأولئك الذين يرغبون في التسجيل عبر الإنترنت للحصول على الخدمة ، هناك خطة البداية وهذا كل شيء. المزيد من الميزات المتقدمة وخيارات الخدمة المتزايدة متاحة الآن في نوع خطة واحد آخر فقط: خطة الشركة. لا يوجد الكثير من التفاصيل هنا ، بصرف النظر عن التسعير "المفصل" ، والذي نفترض أنه يعني الاتصال بممثل الشركة حتى يتمكنوا من تصميم خطة الخدمة والتسعير وفقًا لاحتياجاتك.

الزحف إلى موقع الويب

تبدأ عملية الزحف إلى الموقع في DeepCrawl بإعداد سريع من أربع خطوات. في أي عملية زحف واحدة ، يمكنك تضمين ما يصل إلى خمسة مصادر وخرائط مواقع ومواقع ويب وتحليلات وروابط خلفية وقوائم عناوين URL. تكمن الفكرة في تسهيل تحديد الفجوات في بنية موقعك ، بمقاييس محددة لن تجدها في أدوات الزحف الأخرى مثل الصفحات المعزولة التي تقود حركة المرور. تم تصميم DeepCrawl لمنح المستخدمين نظرة عامة كاملة على الصحة الفنية لموقعهم على الويب ، مع بيانات وإحصاءات قابلة للتنفيذ لزيادة رؤية مُحسنات محركات البحث وتحويل حركة المرور العضوية إلى إيرادات.

تتيح لك الخطوة الثالثة إعداد معلمات الزحف نفسه. لقد تمكنت من تبديل سرعة الزحف إلى أي مكان من عنوان URL واحد إلى 50 عنوان URL في الثانية. من هناك ، ، وتعيين الحد الأقصى لعدد عناوين URL التي يجب أن يتوقف الزحف عندها. كانت النسخة التجريبية المجانية الخاصة بي مخصصة لخطة المبتدئين ، لذلك تم تحديد عناوين URL الخاصة بي عند 100،000. تتمثل الخطوة الأخيرة في تحديد ما إذا كان هذا الزحف لمرة واحدة أو زحفًا متكررًا ، والذي يمكن أن يكون كل ساعة ، أو يوميًا ، أو أسبوعيًا ، أو نصف أسبوعيًا ، أو شهريًا ، أو ربع سنوي ، مع خيار ضبط أوقات البدء والانتهاء للزحف.

هذه ميزة مهمة يجب تحديدها إذا كنت بحاجة إلى عمليات تدقيق منتظمة للموقع ولكن كن حذرًا مع حدود عنوان URL الخاص بك اعتمادًا على الخطة التي تختارها. هناك أيضًا إعدادات أكثر تقدمًا لقيود الزحف الأعمق ، وعناوين URL المستبعدة ، وإعادة كتابة عناوين URL ، وعمليات رد الاتصال بواجهة برمجة التطبيقات ، ولكن لن يحتاج مستخدم تحسين محركات البحث غير التقني بالضرورة إلى الوصول إليها. من هناك ، قمت بالنقر فوق بدء الزحف ، وتلقيت رسالة بريد إلكتروني بعد بضع دقائق عند اكتمال الزحف.

في لوحة معلومات الزحف المكتملة ، تواجه على الفور جدارًا من المعلومات. إذا كنت تعرف ما تبحث عنه ، فهناك أشرطة بحث مزدوجة في الأعلى للعثور على عنوان URL محدد أو العثور على تقرير حول منطقة معينة من بنية الموقع ؛ قد يكون هذا أي شيء من محتوى الجسم والعلامات الاجتماعية إلى عناوين URL وعمليات إعادة توجيه مواقع الويب الفاشلة. إجمالاً ، قام DeepCrawl بتشغيل 175 تقريرًا عن عناوين URL الخاصة بي - والتي تبين في الإصدار التجريبي المجاني أن الحد الأقصى لها يزيد قليلاً عن 10000 - واكتشف 30 مشكلة في الموقع وزحف إلى ستة "مستويات" أو روابط في عمق الصفحة الرئيسية.

توفر صفحة لوحة المعلومات الرئيسية قائمة تفصيلية بجميع مشكلات الموقع الحالية ، والتي يمكنك من خلالها الانتقال إلى عناوين URL المحددة حيث يبرز DeepCrawl أخطاء الصفحة مثل المحتوى المكرر أو الصفحات المعطلة أو الروابط الزائدة أو الصفحات التي تحتوي على عناوين ووصف و البيانات الوصفية التي تحتاج إلى تحسين SEO. بجانب تلك القائمة ، عثرت على تفاصيل صفحات مخطط دائري تفاعلي لأكثر المشكلات انتشارًا بين أكثر من 10000 صفحة تم الزحف إليها.

قام DeepCrawl أيضًا بتحديث واجهة المستخدم (UI) منذ مراجعتنا الأولية ، مضيفًا فتات الخبز عبر كل صفحة لتسهيل التنقل إلى أجزاء أخرى من النظام الأساسي وإضافة قسم لوحة معلومات لتقييم جميع عمليات الزحف الجارية في مكان واحد. بالنسبة إلى نطاقي ، وجدت أنه على الرغم من عدم وجود مشكلات كبيرة في 49 بالمائة من صفحاتي (معظمها صفحات "أساسية") ، فإن 30 بالمائة من صفحاتي الموجودة أسفل السطح تتعامل مع أخطاء خادم 5xx، خمسة بالمائة من الصفحات تحتوي على عناوين URL فاشلة ، و 16 بالمائة من الصفحات كانت "غير قابلة للفهرسة". وفقًا لـ DeepCrawl ، من المحتمل أن تكون أخطاء 5xx قد حدثت بسبب جوانب حظر موقع PCMag للزحف أو بسبب الزحف السريع جدًا بحيث يتعذر على الخادم التعامل معه. أوضح DeepCrawl أيضًا أن الصفحات التي تم وضع علامة عليها كأساسية ليست بالضرورة خالية من المشاكل ، ولا يزال من الممكن مراجعتها لتضمين الصفحات المفقودة ، واستبعاد الصفحات ذات القيمة المنخفضة ، والتعليق عليها بتوصيات تحسين محركات البحث على الصفحة.

تمنحك بعض أدوات الزحف الأخرى التي اختبرتها ، بما في ذلك Ahrefs (82.00 شهريًا و Majestic (49.99 شهريًا ، ، هذا النوع من الانهيار ، بما في ذلك مشكلات الموقع الأساسية بالإضافة إلى فهرسة الروابط الخلفية ، أي الروابط التشعبية الواردة من مواقع أخرى إلى موقعك. ما لا يفعله الآخرون تمامًا هو التعمق أكثر في النقطة التي يقوم بها DeepCrawl ، لا سيما مع الأعطال مثل الصفحات التي يتم تأمينها باستخدام بروتوكول HTTPS الأكثر أمانًا بدلاً من HTTP ، وهو أمر تضعه خوارزمية Google في الاعتبار عند ترتيب الصفحات.

يمنحك DeepCrawl أيضًا تجميعات الصفحات الدقيقة (والتي يمكنك العثور عليها في الإعدادات المتقدمة عند إعداد الزحف) ، مما يعني أن أخذ العينات الخاص بك يعتمد على نسبة مئوية من الصفحات بدلاً من رقم. يعد تجميع الصفحات بهذه الطريقة أمرًا مهمًا لأنه يمنحك عينات متسقة عبر عمليات الزحف. فكر في الأمر على أنه تجربة علمية: إذا كنت أحد مواقع التجارة الإلكترونية تقوم بالزحف إلى 20 بالمائة من صفحات منتجك ، في عملية الزحف التالية ، سيقوم Deepcrawl بفحص نفس نسبة 20 بالمائة للصفحات التي تمت إضافتها أو إزالتها أو فقدها أو تغييرها داخل كل تقرير. يؤدي هذا أيضًا إلى تقليل وقت الزحف والتكلفة ، حيث إنك تستهدف مجموعة فرعية معينة من الصفحات التي تهتم بها.

وبالمثل ، يمكن استخدام الاستخراج المخصص لـ DeepCrawl لتضمين أو استبعاد المعلمات التي تختارها. هذه ميزة أكثر تقدمًا تم تصميمها لمزيد من الزحف المتخصص للتركيز على مناطق تركيزك. أضافت الشركة أيضًا عمليات الاستخراج المخصصة المعدة مسبقًا للمستخدمين غير التقنيين ، حيث تتطلب كتابة عمليات الاستخراج المخصصة معرفة لغة التعبير العادي (Regex).

التقارير المتقدمة

بصرف النظر عن تكامل GSC ، فإن أبرز التحسينات التي تم إجراؤها على DeepCrawl هي في قدرات إعداد التقارير ، والتي أضافت DeepCrawl 75 تقريرًا جديدًا لها في العام الماضي. بخلاف الأساسيات - مشاركة التقارير وتصديرها ، أو إضافة مهمة لذلك التقرير - يمكنك النقر فوق الزر مشاركة للحصول على ارتباط قابل للمشاركة بهذا التقرير. يمكنك بعد ذلك إرسال التقرير بالبريد الإلكتروني إلى أي عدد من المستلمين. يمكنك أيضًا تنزيل التقرير كملف CSV أو خريطة موقع XML ، وتخصيص التقارير باستخدام علامة تجارية مخصصة.

الميزة المستندة إلى المهام مفيدة بشكل خاص. سمح لي DeepCrawl بإضافة مهمة لتقارير محددة - في هذه الحالة ، قائمة أخطاء خادم 5xx - لاتخاذ إجراء بشأن ثغرة تحسين محركات البحث. يتيح لك DeepCrawl ليس فقط جدولة وتخصيص عمليات الزحف ، ولكن باستخدام مدير المهام ، يمكنك تتبع التقدم وإدارة سير العمل والمواعيد النهائية. علامة الأداة الجيدة هي تلك التي لا تكتشف مشكلة أو فرصة فحسب ، بل تساعدك على التصرف بناءً عليها مع التوصيات المستهدفة. أعطيت خيار تعيين مهمة مفتوحة أو ثابتة ؛ تحديد أولوية منخفضة أو متوسطة أو عالية أو حرجة ؛ تحديد موعد نهائي ، وتعيين هذه المهمة لأفراد محددين في فريقي. أعطاني DeepCrawl مسارًا ملموسًا لحل مشكلات تحسين محركات البحث في موقعي. قدمت التوصيات المستهدفة من SpyFu و KWFinder.com فقط نفس القدرة على العمل على تقارير تحسين محركات البحث ،

قام DeepCrawl بتحسين شريط بحث التنقل الأيسر للعثور على تقارير باستخدام الكلمات الرئيسية أيضًا (حتى إذا لم تظهر الكلمات الرئيسية في العنوان الفعلي للتقارير) ، وتصفية التقارير حسب أي عنوان URL ذي صلة أو مقياس ارتباط. هناك أيضًا عدد من تصورات البيانات الجديدة على شاشات التقارير والفئات بما في ذلك الرسوم البيانية التفصيلية والرسوم البيانية ذات الصلة والرسوم البيانية للاتجاهات الجديدة وتحسينات UX مثل التمرير والتبديل في الرسم البياني ، بالإضافة إلى تفسيرات تفاعلية حول مقاييس معينة تظهر في رسم بياني معين. تتميز واجهة مستخدم لوحة معلومات التقارير بالمرونة أيضًا ، مما يعني أنه يمكنك سحب وإسقاط التقارير التي تريد عرضها.

يمنحك النقر فوق أي عنوان URL في أي تقرير مقاييس مفصلة لكل صفحة. يستخدم DeepCrawl في جميع تقارير URL-by-URL الخاصة به مقياسًا مخصصًا يسمى DeepRank ، والذي يقيس "الوزن الداخلي" للرابط المحسوب بشكل مشابه لخوارزمية PageRank الخاصة بـ Google . إنه مقياس سلطة عنوان URL الخاص بـ DeepCrawl ، على مقياس من 0 إلى 10 ، يعرض عناوين URL الأكثر أهمية أو تلك التي تحتاج إلى تحسين. لذلك ، بينما تم تصنيف الصفحة الرئيسية لـ PCMag والصفحات العليا جميعها في نطاق 8-10 ، تم ترك بعض الصفحات المحملة بالمشكلات ذات نظام DeepRank يقترب من الصفر.

بالإضافة إلى المزامنة مع Google Analytics ، يتضمن DeepCrawl أيضًا قسمًا من البيانات يكسر صفحات سطح المكتب والجوال ليس فقط لتصميم الويب سريع الاستجابة ، ولكن أيضًا جميع تكوينات الجوال بما في ذلك صفحات الجوال وسطح المكتب المنفصلة والصفحات الديناميكية وصفحات AMP. يمكن أيضًا العثور على هذه الأنواع من الأعطال الرئيسية للهاتف المحمول في SpyFu و SEMrush (99.95 شهريًا في SEMrush) ، ولكن ليس في عمق مقاييس DeepCrawl وليس في أي من أدوات تتبع الزاحف والروابط الخلفية الأخرى التي قمت باختبارها ، بما في ذلك LinkResearchTools (329.00 لكل) شهر ، يتم دفعه سنويًا في LinkResearchTools) .

أكبر تحديث للقدرة لـ DeepCrawl منذ مراجعتنا الأولية هو التكامل مع Google Search Console (GSC) ، وحتى تجربة مستخدم صفحة تلو صفحة متقدمة (UX) ومقاييس أداء الموقع. يتيح لك التكامل ربط رؤى أداء موقع DeepCrawl الحالية بمعلومات البحث العضوية من تقرير تحليلات البحث الخاص بـ GSC. من خلال إضافة خاصية Search Console الخاصة بك كمصدر عنوان URL في إعدادات الزحف الخاصة بك ، أصبح DeepCrawl الآن قادرًا على توفير مقاييس الظهور والنقر ونسبة النقر إلى الظهور (CTR) ومتوسط ​​الموضع لكل صفحة مفهرسة تظهر في نتائج البحث. يأتي تقرير تحليلات البحث من Google مع حد 1000 عنوان URL في واجهة GSC ، ولكن الوصول إلى التقرير من خلال DeepCrawl يجعلك تتغلب عليه.

تتكامل أدوات تحسين محركات البحث الأخرى مثل SEMrush و Majestic أيضًا مع Google Search Console ، ولكن تكامل DeepCrawl هو الوحيد من بين الأدوات التي اختبرناها لاستخدام هذا لتوفير مقاييس SERP الخاصة بالجهاز. من خلال التكامل ، أصدرت DeepCrawl 10 تقارير جديدة ، ورسمان بيانيان جديدان ، ومقارنات أعمق بين سطح المكتب / الهاتف المحمول / الجهاز اللوحي. تسحب الآن تصنيفات ومقارنات الأجهزة بيانات GSC على أساس كل بلد على حدة ، ومرات ظهور البحث وفعالية الصفحات القابلة للفهرسة وغير القابلة للفهرسة ، والزحف إلى الصفحات التي تحصل على حركة المرور من بحث الصور ، والمقاييس على صفحات Google AMP. إحدى الميزات الفريدة هنا هي مقياس لصفحات الجوال / AMP التي تتلقى زيارات سطح المكتب والعكس صحيح ، مما يعني أن DeepCrawl سيظهر إذا كانت صفحاتك مرتبة على جهاز خاطئ. هذا يعني أن DeepCrawl يزحف إلى جميع عناوين URL للجوال أو AMP المنفصلة لتسليط الضوء على الاختلافات وعدم التطابق بين محتوى سطح المكتب والجوال. تتحقق التقارير من وجود جميع الصفحات عالية القيمة على الهاتف المحمول. يوفر DeepCrawl أيضًا بيانات حول وضع العلامات الاجتماعية ، مثل الصفحات التي تحتوي على بطاقات Twitter صالحة ، بالإضافة إلى علامة تبويب تعرض ببساطة أداء الصفحة من حيث وقت التحميل أو الوقت المستغرق في "جلب" الصفحة. أخيرًا ، توفر الأداة تقارير ترحيل موقع الويب لتحليل مواقع الويب الحية والمرحلية أثناء الترحيل وإعداد تقرير على وجه التحديد على صفحات HTTP و HTTPs. هذه هي المقاييس التي ستجدها في أدوات مراقبة مواقع الويب ، ولكن من حيث مُحسّنات محرّكات البحث ، يمكن أن تكون ذات قيمة ببساطة في تحديد الصفحات التي تكون فيها تجربة المستخدم ضعيفة وضمان عمليات ترحيل سلسة للموقع.

تحت مجهر زحف الموقع

منصة DeepCrawl هو أفضل أداة زحف اختبرناها بهامش واسع. إنه يوفر أكبر عمق لمسح المجال وتقارير تحسين محركات البحث مع بيانات ومقاييس دقيقة للغاية ، والتي يمكن أن تكون ساحقة بصدق بالنسبة للمبتدئين في تحسين محركات البحث. يمكن القول إن الكثير من خرائط بنية الموقع وتحليل المجال الذي يوفره يناسب المطورين وتكنولوجيا المعلومات بشكل أفضل. لا يقوم PCMag بمراجعة الميزات التجريبية ، ولكن DeepCrawl يختبر أيضًا وضع Site Explorer التجريبي الذي يسمح لك باستكشاف بنية الموقع بشكل مرئي.

كما هو الحال مع هيمنة KWFinder.com في البحث المخصص للكلمات الرئيسية ، فإن تركيز DeepCrawl بالليزر على الزحف هو نعمة ونقمة. يمنع هذا النطاق الضيق لوظائفه DeepCrawl من كسب إيماءة اختيار المحررين إلى جانب المزيد من منصات تحسين محركات البحث (SEO) الكاملة Moz Pro و SpyFu ولكن فيما يتعلق بقدرات الزحف المستقلة لفحص موقع الويب الخاص بك أو مواقع منافسيك من أعلى إلى أسفل ، فإن DeepCrawl هو مجهر عالي القدرة لتحسين محركات البحث.