مقدمه ای برای رفع خطاهای ایندکس
موتورهای جستجو به کمک ربات های خزنده ای که دارند تمام سایت ها را بررسی می کنند که البته در بسیاری از اوقات این ربات ها به خطاهایی برخورد می کنند که به آن خطای خزش می گویند و شما باید جهت رفع خطاهای خزش وب سایت خود راهکارهایی را پیش بگیرید تا سئو وب سایت شما پایین نیاید و ربات های خزنده و موتورهای جستجو راحت تر وب سایت شما را تحلیل و بررسی کنند. در این مقاله درباره خطاهای خزش نکاتی خواهیم گفت و همچنین روش های مناسبی جهت رفع خطاهای خزش را باهم بررسی خواهیم کرد.
رفع خطاهای خزش در گوگل وبمستر تولز
گوگل وبمستر تولز یک ابزار بسیار مفید جهت کنترل و بهبود وضعیت وب سایت تان می باشد که اطلاعات بسیار مفیدی در اختیار شما قرار می دهد. یکی از امکاناتی که گوگل وبمستر تولز در اختیار شما قرار می دهد، لیستی از خطاهای خزش وب سایت تان می باشد. در واقع ربات های خزنده و موتورهای جستجو هنگام خزش در داخل وب سایت شما، اگر با خطایی واجه شوند و نتوانند به راحتی صفحات شما را پیدا کنند، این خطاها را در گوگل وبمستر تولز قرار می دهند و شما با بررسی آن ها می توانید جهت رفع خطاهای خزش وب سایت تان راهکارهای مناسبی را پیش بگیرید. در بخش بعدی روش های رفع خطاهای خزش را با هم بررسی و برای رفع هرکدام روشی ارائه خواهیم داد.
روش های رفع خطاهای خزش (Crawl error)
خطای 404:
اگر آدرس صفحه ای از وب سایت شما توسط ربات های خزنده قابل شناسایی نباشد این خطا در وب سایت شما رخ خواهد داد. جهت رفع این خطا مراحل زیر را انجام دهید:
- اطمینان حاصل کنید که صفحه شما در حالت پیش نویس نباشد منتشر شده باشد.
- نقشه وب سایت خود را دائما به روز رسانی کنید و همچنین آدرس صفحات حذف شده را پاک کنید.
- با استفاده از دستور redirect 301 نیز می توان آدرس صفحات حذف شده را به صفحه دیگری انتقال داد.
خطای soft 404:
هنگامی آدرس صفحه ای در وب سایت شما وجود نداشته باشد اما سرور به اشتباه صفحات دیگری را که دارای محتوای کمی هستند را نمایش دهد، در ابزار گوگل وبمستر خطای soft 404 رخ خواهد داد. جهت رفع این خطا موارد زیر را انجام دهید:
- آدرس صفحاتی که در وب سایت شما وجود ندارد را شناسایی و برای آن ها صفحات 404 طراحی کنید.
- با استفاده از دستور redirect 301 می توانید آدرس صفحاتی که در وب سایت شما قرار ندارند یا پاک شده اند را به صفحات دیگری از وب سایت خود منتقل کنید.
- گاهی اوقات نیز بروز این خطا به خاطر تعداد کم کلمات موجود در محتوای داخل وب سایت شما می باشد که سعی کنید از محتواهای بالای 300 کلمه استفاده کنید.
خطای Article too long:
هنگامی که محتوای شما بسیار طولانی باشد باعث بروز این خطا می شود یا این که علت آن می تواند مربوط به قالب وب سایت شما باشد که شامل محتواهایی غیر مرتبط با موضوع وب سایت شماست که توصیه می شود آن ها را حذف کنید. یا گاهی اوقات نیز ممکن است نظرات کاربران در کنار مقاله توسط گوگل ایندکس شود که برای حل آن می توانید قسمت نظرات سایت را با استفاده از AJAX در لحظه بارگذاری کنید یا این که نظرات را در iframe قرار دهید.
خطای empty article:
وقتی ربات های خزنده نتوانند محتوای وب سایت شما را پیدا کنند با این خطا مواجه می شوند که برای حل آن بهتر است چک کنید که محتواهای شما در قالب جاوا اسکریپت یا iframe نباشند.
خطای URLs blocked for smartphones:
هنگامی آدرس برخی از صفحات شما در دستگاه های تلفن همراه از طریق فایل robots.txt مسدود شده باشد باعث بروز این خطا می شود. حل این مشکل با مراجعه به فایل robots.txt می باشد و در آن چک کنید که دسترسی های لازم به ربات های خزنده داده شده باشد.
خطای Not followed:
هنگامی که گوگل نتواند برخی از URLهای شما را دنبال کند باعث بروز این خطا می شود جهت حل این مشکل می توانید یا آدرس صفحات مربوطه را redirect کنید یا این که با استفاده از ابزارهایی مانند Fetch as google در گوگل وبمستر یا استفاده کردن از مرورگر lynx برخی از فایل های جاوا اسکریپت و فلش و sessionID و … را که باعث بروز این مشکل می شوند را شناسایی کنید.
خطای Access denied:
ربات های خزنده با دنبال کردن لینک ها، از صفحه ای به سایر صفحات وب سایت شما منتقل می شوند اما اگر دسترسی به یک صفحه برای آن ها ممنوع باشد این خطا برای شما در ابزار گوگل وبمستر نشان داده می شود که موارد زیر جهت رفع این خطا موثر می باشند.
- چک کردن فایل robots.txt و مطمئن شدن از این که از ایندکس صفحات لاگین جلوگیری شده است.
- استفاده کردن از ابزار robots.txt tester و بررسی کردن هشدارها و خطاهای موجود در فایل robots.txt
- استفاده کردن از ابزار Fetch as google در ابزار گوگل وبمستر جهت بررسی این که ربات های گوگل چگونه صفحات وب سایت شما را می بینند.
خطای Faulty redirect:
تعدادی از وب سایت ها آدرس های مختلفی را برای کاربرانی که با موبایل وارد سایت آن ها می شوند در نظر می گیرند مثلا اگر آدرس سایت آن ها “www.mywebsite.com ” باشد هنگامی که کاربر با گوشی موبایل به این وب سایت مراجعه می کند به آدرس “www.m.mywebsite.com” هدایت می شود و این باعث گیج شدن ربات های خزنده و بروز این خطا می شود. جهت حل این مشکل باید حتما تنظیمات مربوط به جداسازی URLهای دسکتاپ و موبایل خود را بررسی کنید که انجام این کار معمولا با استفاده از فایل htaccess صورت می گیرد.
خطای Article fragmented و خطای No sentences found:
هنگامی که محتوای متنی شما شامل پاراگراف نباشد این خطا رخ خواهد داد. جهت مواجه نشدن با این خطا بهتر است هر پاراگراف موجود در محتوا تقریبا بین 6 تا 7 جمله و تقریبا دارای 150 کلمه باشد.
خطای Article disproportionately short و خطای Article too short:
اگر محتوای شما بسیار کوتاه باشد منجر به بروز این خطا می شود که اکثرا مربوط به صفحات دارای محتوای چند رسانه ای و صفحات خبرنامه می باشد. جهت حل این مشکل بهتر است از محتواهای طولانی در بخش های مربوطه استفاده کنید.
خطای Flash content:
نسخه های جدید گوشی های اندروید و آیفون از فلش پشتیبانی نمی کنند در نتیجه صفحاتی که دارای فایل های فلش باشند توسط ربات های خزنده جمع آوری و باعث بروز این خطا می شود. در نتیجه بهتر است از این فرمت ها در وب سایت خود استفاده نکنید تا با خطای Flash content مواجه نشوید.
خطای Data too old:
این خطا به معنی قدیمی بودن محتوای شما می باشد.
خطای Date not found:
اگر موتورهای جستجو نتوانند تاریخ دقیق انتشار محتوا را بدست بیاورند باعث بروز این خطا می شود بنابراین سعی کنید آدرس انتشار محتوا را به صورت دقیق و استاندارد وارد کنید.
خطای Uncompression failed:
اگر ربات خزنده اخبار گوگل بفهمد که شما صفحه خود را فشرده کرده اید و قادر به استفاده از آن نباشد این خطا بروز می کند.
خطای Title not allowed:
معمولا عنوانی که ربات خزنده گوگل از وب سایت شما استخراج می کند زیاد معتبر نیست در نتیجه استفاده از کلمات کلیدی، تگ <Title> و تگ های H می تواند موثر باشد.
خطای Title not found:
اگر گوگل نتواند عنوان مقاله شما را پیدا کند منجر به این خطا می شود که بهتر است عنوان مقاله خود را در تگ <Title> قرار دهید.
خطای Page too large:
این خطا به خاطر طولانی یا سنگین بودن یک صفحه وب می باشد.
خطای Extraction failed:
این خطا به علت عدم شناسایی متن، محتوا، تاریخ انتشار و … توسط موتور جستجو می باشد.
سخن پایانی
در این مقاله سعی کردیم با بیانی ساده انواع خطاهای خزش و راهکارهایی جهت رفع خطاهای خزش را با هم بررسی کنیم تا هنگام مواجه شدن با آن بتوانید آن ها را برطرف کنید. دقت کنید که همگی این خطاها در گوگل وبمستر تولز قابل مشاهده هستند که این ابزار فوق العاده گوگل، امکانات مختلفی را جهت مدیریت وب سایتتان در اختیار شما قرار می دهد که یکی از این امکانات، بررسی خطاهای خزش و رفع خطاهای خزش می باشد. در آخر نیز باید بگوییم که رعایت استانداردهای سئو باعث می شود که خیلی کمتر با خطاهای خزش مواجه شوید.
