مدیریت نقشه سایت (Sitemap) فقط به معنی اضافه کردن صفحات جدید نیست. بخش مهمی از سئوی فنی، درک ارتباط بین نقشه سایت (Sitemaps) و حذف URL است. اینکه بدانیم کدام صفحات باید از نقشه سایت حذف شوند، چرا و چگونه این کار را انجام دهیم، مستقیماً بر بودجه خزش (Crawl Budget) و سلامت فنی سایت تأثیر میگذارد. در این مطلب، به صورت تخصصی بررسی میکنیم که چه زمانی حذف یک آدرس از نقشه سایت ضروری است و این کار چطور به سئوی سایت شما کمک میکند.
برای دریافت آموزش رایگان سرچ کنسول کلیک کنید: آموزش رایگان سرچ کنسول
این جدول به شما کمک میکند تا به سرعت تصمیم بگیرید که آیا یک URL باید در نقشه سایت شما باقی بماند یا خیر.
| سناریوی صفحه | آیا باید از نقشه سایت (XML) حذف شود؟ | توضیح کوتاه (چرا؟) |
| صفحه 404 یا 410 شده | بله، ضروری است | نگه داشتن URL مرده در نقشه، بودجه خزش را هدر میدهد. |
| صفحه Noindex شده | بله، ضروری است | ارسال سیگنال متناقض (ایندکس نکن ولی در نقشه هست) به گوگل اشتباه است. |
| صفحه Canonical شده | بله، ضروری است | فقط URL نسخه اصلی (Canonical) باید در نقشه سایت باشد. |
| صفحه Redirect 301 شده | بله، ضروری است | آدرس قدیمی باید حذف و آدرس جدید (مقصد) به نقشه اضافه شود. |
| صفحات کمکیفیت (Thin Content) | توصیه میشود (پس از Noindex) | این صفحات نباید برای خزش به گوگل معرفی شوند. |
| صفحات موقتاً ناموجود | خیر (معمولاً) | اگر صفحه برمیگردد (مثل محصول)، بهتر است بماند اما از کد 503 استفاده شود. |
نقشه سایت (Sitemap) چیست و چرا ثبت آن در سرچ کنسول حیاتی است؟
نقشه سایت، فایلی است که تمام آدرسهای (URL) مهم وبسایت شما را لیست میکند. این فایل مانند یک نقشه راه برای خزندههای موتور جستجو (مثل Googlebot) عمل میکند.
ثبت این فایل در سرچ کنسول گوگل، یک اعلام رسمی به گوگل است. شما به گوگل میگویید: “اینها تمام صفحات مهم من هستند که میخواهم بررسی و ایندکس شوند.” این کار به خصوص برای موارد زیر حیاتی است:
- سایتهای بزرگ: سایتهایی که هزاران صفحه دارند و ممکن است خزندهها در پیدا کردن همه آنها دچار مشکل شوند.
- سایتهای جدید: سایتهای تازه تأسیس که هنوز بکلینکهای زیادی ندارند تا گوگل از طریق آنها صفحات داخلی را کشف کند.
- سایتهای با لینکسازی داخلی ضعیف: اگر برخی صفحات شما به خوبی از سایر بخشهای سایت لینک دریافت نکرده باشند (صفحات یتیم یا Orphan Pages)، نقشه سایت تنها راه مطمئن برای معرفی آنها به گوگل است.
عدم ثبت نقشه سایت به این معناست که گوگل باید خودش تمام صفحات را کشف کند. این فرآیند ممکن است زمانبر باشد و باعث شود برخی صفحات مهم، بهخصوص محتوای جدید، دیرتر ایندکس شوند یا اصلاً در فرآیند ایندکس قرار نگیرند.
نقشه سایت XML دقیقاً چه اطلاعاتی به گوگل میدهد؟
یک نقشه سایت XML (eXtensible Markup Language) فراتر از یک لیست ساده عمل میکند. این فایل به گوگل اطلاعات ساختاریافته و مفیدی درباره هر URL میدهد:
- لیست URLها: آدرس دقیق تمام صفحاتی که میخواهید ایندکس شوند.
- تاریخ آخرین بهروزرسانی (Last Modified): این یکی از مهمترین بخشهاست. به گوگل اطلاع میدهد که محتوای یک صفحه چه زمانی تغییر کرده است. اگر این تاریخ جدید باشد، گوگل را تشویق به خزش مجدد (Re-Crawl) آن صفحه میکند تا محتوای بهروز شده را ببیند.
- اطلاعات متا اختیاری: در گذشته فاکتورهایی مانند priority (اهمیت نسبی صفحه) و changefreq (تناوب مورد انتظار تغییرات) نیز استفاده میشد. اما امروزه گوگل تأکید کرده که این سیگنالها را نادیده میگیرد یا اهمیت بسیار کمی به آنها میدهد. تمرکز اصلی باید روی ارائه URLهای معتبر و تاریخ دقیق آخرین بهروزرسانی باشد.
تاثیر مستقیم ثبت نقشه سایت بر سرعت ایندکس و سئو
تأثیر اصلی و مستقیم ثبت نقشه سایت، سرعت بخشیدن به فرآیند کشف (Discovery) و ایندکس (Indexing) صفحات است.
وقتی شما محتوای جدیدی منتشر میکنید (مثلاً یک مقاله بلاگ یا یک محصول جدید) و نقشه سایت خود را بهروز میکنید، گوگل مستقیماً از وجود این صفحه جدید مطلع میشود. این کار بسیار سریعتر از زمانی است که گوگل بخواهد از طریق لینکهای داخلی یا خارجی، آن صفحه را کشف کند.
این فرآیند به بهینهسازی بودجه خزش (Crawl Budget) شما نیز کمک میکند. گوگل منابع نامحدودی برای بررسی سایت شما ندارد. وقتی نقشه سایت به گوگل میگوید کدام صفحات جدید هستند یا اخیراً تغییر کردهاند، گوگل بودجه خزش خود را روی آن صفحات متمرکز میکند و از هدر رفتن منابع برای خزش مجدد صفحاتی که تغییری نکردهاند، جلوگیری میکند.
نکته مهم: ثبت نقشه سایت به تنهایی باعث بهبود رتبه سئو شما نمیشود. اما یک پیشنیاز حیاتی برای دیده شدن است. اگر گوگل صفحهای را ایندکس نکند، آن صفحه اصلاً شانسی برای رتبهبندی نخواهد داشت. بنابراین، سایتمپ به طور غیرمستقیم اما اساسی، بر موفقیت سئو تأثیر میگذارد.
تفاوت نقشه سایت XML و HTML (کدام را باید ثبت کنیم؟)
این دو نوع نقشه سایت، اهداف و مخاطبان کاملاً متفاوتی دارند.
- نقشه سایت XML (مخصوص ربات): فایلی که در این مطلب بررسی کردیم. مخصوص موتورهای جستجو است و توسط رباتها خوانده میشود تا ساختار فنی سایت را درک کنند.
- نقشه سایت HTML (مخصوص کاربر): این یک صفحه واقعی روی سایت شما است (مثلاً domain.com/sitemap) که مخصوص کاربران انسانی طراحی شده است. این صفحه به کاربران کمک میکند تا به سرعت به بخشهای مختلف سایت دسترسی پیدا کنند و ساختار کلی را ببینند. این کار مستقیماً به بهبود تجربه کاربری (UX) کمک میکند.
پاسخ به این سوال که کدام را باید ثبت کنیم:
شما باید نقشه سایت XML را در گوگل سرچ کنسول ثبت کنید.
نقشه سایت HTML یک صفحه عادی مانند سایر صفحات است که گوگل آن را به طور طبیعی ایندکس میکند و هدف اصلی آن کمک به ناوبری کاربران است، نه خزندههای گوگل.
برای درک بهتر، تفاوتها در جدول زیر خلاصه شده است:
| ویژگی | نقشه سایت XML | نقشه سایت HTML |
| مخاطب اصلی | موتورهای جستجو (رباتها) | کاربران انسانی |
| هدف | کمک به ایندکس و کشف فنی صفحات | بهبود ناوبری و تجربه کاربری (UX) |
| محل ثبت | باید در گوگل سرچ کنسول ثبت شود. | در سرچ کنسول ثبت نمیشود. |
| اهمیت در سئو | حیاتی برای ایندکس (فنی) | مفید برای UX و لینکسازی داخلی |
پیشنیازها: قبل از ثبت نقشه سایت چه چیزهایی نیاز دارید؟
قبل از اینکه به داشبورد سرچ کنسول بروید و آدرس سایتمپ را وارد کنید، اطمینان از آماده بودن این موارد ضروری است. این سه مرحله، فرآیند ثبت را ساده کرده و از بروز خطاهای رایج جلوگیری میکنند.
تایید مالکیت سایت در سرچ کنسول (Verification)
سرچ کنسول گوگل ابزاری برای مدیریت سایتهایی است که شما مالک آنها هستید یا دسترسی مدیریتی به آنها دارید. قبل از هر کاری، باید مالکیت دامنه خود را به گوگل اثبات کنید.
این کار به گوگل اطمینان میدهد که شما مجاز به دسترسی به اطلاعات خزش و ارسال دستورالعملهایی مانند نقشه سایت برای آن دامنه هستید. روشهای مختلفی برای تایید مالکیت وجود دارد (مانند بارگذاری فایل HTML، استفاده از رکورد DNS یا تگ Google Analytics).
نکته کلیدی این است: بدون تایید مالکیت (Verification)، اصلاً بخشی برای ثبت نقشه سایت یا مشاهده دادههای سایت در اختیار شما قرار نمیگیرد.
چگونه URL نقشه سایت خود را پیدا کنیم؟ (راهنمای وردپرس، یواست و رنکمث)
اگر از وردپرس استفاده میکنید، افزونههای سئو این فایل را به صورت خودکار برای شما ایجاد میکنند. شما نیازی به ساختن دستی آن ندارید، فقط باید آدرس صحیح را پیدا کنید. در اغلب موارد، آدرس نقشه سایت یکی از موارد زیر است.
| سیستم / افزونه | آدرس پیشفرض نقشه سایت |
| وردپرس (نسخه 5.5 به بالا) | domain.com/wp-sitemap.xml |
| Yoast SEO | domain.com/sitemap_index.xml |
| Rank Math | domain.com/sitemap_index.xml |
| حالت عمومی (اغلب سیستمها) | domain.com/sitemap.xml |
توصیه تخصصی: بهترین راه برای اطمینان، مراجعه به تنظیمات خود افزونه سئو در داشبورد وردپرس (بخش “نقشه سایت” یا “Sitemap”) است. آدرس دقیق در آنجا ذکر شده است.
بررسی فایل robots.txt (اطمینان از عدم مسدود بودن نقشه)
فایل robots.txt به خزندههای موتور جستجو دستور میدهد که به کدام بخشهای سایت دسترسی نداشته باشند. یک اشتباه فنی رایج این است که آدرس نقشه سایت به صورت سهوی در این فایل مسدود (Disallow) شده باشد.
اگر نقشه سایت مسدود باشد، شما آن را در سرچ کنسول ثبت میکنید، اما ربات گوگل اجازه خواندن (Fetch) آن را نخواهد داشت و با خطا مواجه میشوید.
چطور بررسی کنیم:
- به آدرس domain.com/robots.txt سایت خود بروید.
- مطمئن شوید که هیچ دستوری شبیه به Disallow: /sitemap_index.xml یا Disallow: /*.xml که جلوی دسترسی به نقشه را بگیرد، وجود نداشته باشد.
در واقع، بهتر است آدرس نقشه سایت را به صورت دستی در فایل robots.txt نیز معرفی کنید (هرچند ثبت در سرچ کنسول اولویت اصلی را دارد):
Sitemap: https://domain.com/sitemap_index.xml
نقشه سایت ایندکس (Sitemap Index) چیست و چه زمانی به آن نیاز دارید؟
یک فایل نقشه سایت XML استاندارد، دارای محدودیت فنی است (مثلاً نمیتواند بیش از 50,000 URL داشته باشد). زمانی که سایت شما بسیار بزرگ میشود (مثلاً یک فروشگاه اینترنتی با دهها هزار محصول)، نمیتوانید تمام URLها را در یک فایل قرار دهید.
اینجاست که “نقشه سایت ایندکس” وارد میشود.
- نقشه سایت (Sitemap): یک فایل XML که لیستی از URLها (مثلاً فقط مقالات) را در خود دارد.
- نقشه سایت ایندکس (Sitemap Index): یک “فایل مادر” یا “فهرست” که به جای URL، لیستی از نقشههای سایت دیگر را در خود دارد.
افزونههایی مانند Yoast و Rank Math به طور خودکار از این روش استفاده میکنند. آنها برای هر نوع محتوا (پستها، صفحات، محصولات، دستهبندیها) یک نقشه سایت جدا ساخته و همه را در یک فایل sitemap_index.xml معرفی میکنند.
نکته حیاتی: وقتی از این افزونهها استفاده میکنید، شما باید آدرس همین فایل sitemap_index.xml (فایل مادر) را در سرچ کنسول ثبت کنید، نه آدرس تکتک نقشههای داخلی.
راهنمای تصویری و گام به گام ثبت نقشه سایت در سرچ کنسول جدید (GSC)
این فرآیند در سه مرحله انجام میشود. فرض بر این است که شما مالکیت سایت را تایید کردهاید و آدرس دقیق نقشه سایت خود (مثلاً sitemap_index.xml) را میدانید.
گام اول: ورود به بخش “Sitemaps” در پنل سرچ کنسول
- وارد حساب کاربری گوگل سرچ کنسول خود شوید.
- از نوار بالا سمت چپ، مطمئن شوید که Property (دامنه) صحیح را انتخاب کردهاید.
- در منوی ناوبری سمت چپ، زیر بخش Indexing (ایندکسگذاری)، گزینهی Sitemaps (نقشههای سایت) را پیدا کرده و روی آن کلیک کنید.
(در این بخش، تصویری از منوی سرچ کنسول که “Sitemaps” در آن مشخص شده، قرار میگیرد.)
گام دوم: وارد کردن URL نقشه سایت و کلیک روی “Submit“
- در صفحهای که باز میشود، در بخش بالای صفحه، کادری با عنوان “Add a new sitemap” (افزودن نقشه سایت جدید) مشاهده میکنید.
- آدرس دامنه شما (مانند https://yourdomain.com/) به صورت پیشفرض در ابتدای کادر نوشته شده است.
- شما فقط باید بخش انتهایی آدرس نقشه سایت خود را در کادر وارد کنید.
- مثال: sitemap_index.xml
- یا: wp-sitemap.xml
- پس از وارد کردن آدرس، روی دکمه Submit (ثبت) کلیک کنید.
(در این بخش، تصویری از کادر ورود آدرس نقشه سایت و دکمه Submit قرار میگیرد.)
گام سوم: بررسی وضعیت (Status) اولیه پس از ثبت
پس از کلیک روی Submit، نقشه شما به جدولی در پایین صفحه با عنوان “Submitted sitemaps” (نقشههای سایت ارسالشده) اضافه میشود. مهمترین بخش در این جدول، ستون Status (وضعیت) است.
- وضعیت “Success” (موفقیتآمیز): این بهترین حالت است. به این معنی که گوگل فایل نقشه سایت شما را با موفقیت خوانده و پردازش کرده است.
- وضعیت “Couldn’t fetch” (دریافت ناموفق): اگر بلافاصله پس از ثبت با این وضعیت مواجه شدید، نگران نباشید. این یک خطای رایج و معمولاً موقتی است. به این معنی است که گوگل هنوز برای دریافت (Fetch) فایل اقدام نکرده است. کافی است چند ساعت یا یک روز صبر کنید؛ این وضعیت معمولاً به “Success” تغییر میکند.
- وضعیت “Has errors” (دارای خطا): این وضعیت نشان میدهد که گوگل فایل را خوانده اما محتوای آن (مثلاً فرمت XML یا URLهای) دارای مشکل فنی است.
در حالت عادی، پس از گذشت مدتی کوتاه، وضعیت “Success” نمایش داده میشود و در ستون “Last read” (آخرین خواندن)، تاریخ آخرین بررسی فایل توسط گوگل ثبت خواهد شد.
تحلیل گزارش نقشه سایت: بعد از ثبت چه اتفاقی میافتد؟
پس از ثبت (Submit)، فایل شما به صف بررسی گوگل اضافه میشود. گوگل در فرصت مناسب، فایل را دریافت (Fetch) کرده و URLهای داخل آن را استخراج میکند. سپس این URLها را با لیست صفحاتی که از قبل میشناسد مقایسه کرده و برای خزش آنها برنامهریزی میکند. مهمترین بخش برای شما، درک “وضعیت” (Status) این فرآیند است.
درک وضعیتها: “Success”، “Couldn’t fetch” و “Has errors” به چه معناست؟
گزارش نقشه سایت در سرچ کنسول، یکی از این سه وضعیت اصلی را به شما نشان میدهد. درک تفاوت آنها حیاتی است:
| وضعیت | معنای دقیق (توضیح فنی) | اقدام لازم |
| Success (موفقیتآمیز) | این بهترین حالت است. گوگل توانسته فایل نقشه سایت شما را با موفقیت دریافت و پردازش کند. فایل از نظر فرمت XML معتبر بوده و URLها استخراج شدهاند. | هیچ. فقط باید منتظر بمانید تا URLها در گزارش “Pages” ظاهر شوند. |
| Couldn’t fetch (دریافت ناموفق) | گوگل اصلاً نتوانسته به فایل شما دسترسی پیدا کند. این یک خطای دسترسی است، نه خطای محتوایی. | ۱. بررسی robots.txt: مطمئن شوید فایل xml. را مسدود نکردهاید.
۲. خطای سرور: ممکن است سرور در آن لحظه در دسترس نبوده (خطای 5xx).
۳. خطای 404: آدرس را اشتباه وارد کردهاید. |
| Has errors (دارای خطا) | گوگل فایل را دریافت کرده، اما محتوای داخل آن مشکل فنی دارد. این وضعیت جدیتر از “Couldn’t fetch” است. | ۱. روی خطا کلیک کنید تا جزئیات را ببینید.
۲. دلایل رایج: فرمت XML نادرست، URLهای نامعتبر، تگهای باز و بسته نشده.
۳. فایل را در افزونه سئو (مثل رنکمث) بازسازی کنید. |
چقدر طول میکشد تا گوگل نقشه سایت را بررسی (Crawl) کند؟
پاسخ دقیقی برای این سوال وجود ندارد و به اعتبار (Authority) سایت و بودجه خزش (Crawl Budget) شما بستگی دارد.
- سایتهای جدید: اگر سایت شما کاملاً جدید است، ممکن است چند روز تا حتی یک هفته طول بکشد تا گوگل برای اولین بار به فایل نقشه سایت شما سر بزند.
- سایتهای معتبر و فعال: برای سایتهایی که سابقه خوبی دارند و مرتباً بهروز میشوند، گوگل معمولاً ظرف 24 تا 48 ساعت پس از ثبت (یا پس از هر بهروزرسانی فایل)، نقشه سایت را مجدداً بررسی میکند.
نکته مهم: ثبت نقشه سایت به این معنی نیست که گوگل همان لحظه تمام صفحات شما را خزش و ایندکس میکند. این کار فقط یک درخواست و راهنمایی برای شروع فرآیند “کشف” (Discovery) است.
بررسی گزارش “Pages“: تفاوت “Discovered” و “Indexed“
پس از اینکه وضعیت نقشه سایت “Success” شد، کار شما با گزارش اصلی “Pages” (در بخش Indexing) شروع میشود. در اینجا دو وضعیت مهم وجود دارد که اغلب با هم اشتباه گرفته میشوند:
- Discovered – currently not indexed (کشفشده – در حال حاضر ایندکس نشده):
این یعنی گوگل صفحه شما را میشناسد (احتمالاً از طریق نقشه سایت یا یک لینک داخلی)، اما هنوز تصمیم نگرفته آن را خزش کند و به ایندکس خود اضافه کند. دلایل مختلفی ممکن است وجود داشته باشد:
-
- صفحه در صف خزش قرار دارد.
- گوگل محتوای صفحه را کمارزش یا تکراری تشخیص داده است.
- سایت شما بودجه خزش کافی برای بررسی این صفحه نداشته است.
- Indexed (ایندکس شده):
این همان هدف نهایی است. گوگل صفحه را خزش کرده، محتوای آن را تحلیل کرده، آن را واجد شرایط دانسته و در پایگاه داده خود (ایندکس) ذخیره کرده است. اکنون این صفحه میتواند در نتایج جستجو نمایش داده شود.
وظیفه شما این است که URLهای مهمی که در وضعیت “Discovered” باقی ماندهاند را بررسی و مشکلات کیفی یا فنی آنها را برطرف کنید.
(تجربه ما) چرا تعداد URLهای ثبت شده با صفحات سایت شما یکی نیست؟
یکی از سوالات رایجی که مطرح میشود این است: “چرا من 500 صفحه در سایت دارم، اما نقشه سایت فقط 350 URL را ثبت کرده است؟”
این اتفاق نه تنها طبیعی است، بلکه در بیشتر موارد نشانهی خوبی است و نشان میدهد افزونه سئوی شما به درستی کار میکند. دلایل اصلی این تفاوت عبارتند از:
- صفحات Noindex: افزونههای سئو (مانند رنکمث یا یواست) به طور خودکار صفحاتی را که شما (یا خود افزونه) به عنوان noindex علامتگذاری کردهاید، از نقشه سایت حذف میکنند. این شامل موارد زیر است:
- صفحات برچسب (Tags)
- آرشیوهای تاریخ یا نویسنده
- صفحات تشکر یا سبد خرید
- صفحاتی که خودتان دستی noindex کردهاید.
- صفحات Canonical شده: اگر صفحهای به آدرس دیگری Canonical شده باشد، فقط نسخه اصلی (Canonical) باید در نقشه سایت باشد.
- محتوای تکراری یا کمارزش: نقشه سایت باید فقط شامل URLهای مهم و باکیفیت شما باشد. قرار دادن صفحات ضعیف یا تکراری در نقشه سایت، به بودجه خزش شما آسیب میزند.
بنابراین، تمرکز شما نباید روی برابر بودن این اعداد باشد. تمرکز باید روی این باشد که تمام صفحات مهم و قابل ایندکس شما در نقشه سایت وجود داشته باشند.
عیبیابی تخصصی: رایجترین خطاهای نقشه سایت و راهحل آنها
بررسی این خطاها اولویت بالایی دارد. اگر گوگل نتواند نقشه سایت شما را بخواند، از مسیر اصلی که برای کشف صفحات جدید در اختیارش گذاشتهاید، محروم میشود. در ادامه، رایجترین خطاها و راهحلهای مستقیم آنها را بررسی میکنیم.
(تجربه) خطای “Couldn’t fetch“: دلایل اصلی و راهحل سریع
این خطا یکی از رایجترین پیامها، خصوصاً در زمان ثبت اولیه نقشه سایت است. معنای این خطا این است که گوگل اصلاً نتوانسته به فایل شما دسترسی پیدا کند. این یک خطای دسترسی است، نه خطای محتوایی.
راهحل سریع (بر اساس تجربه ما):
اگر به تازگی نقشه را ثبت کردهاید، این خطا در ۹۰٪ موارد موقتی است. گوگل هنوز برای دریافت (Fetch) فایل اقدام نکرده است. کافی است چند ساعت تا یک روز صبر کنید.
اگر خطا دائمی شد، دلایل اصلی عبارتند از:
- آدرس اشتباه: آدرس نقشه سایت را در سرچ کنسول اشتباه وارد کردهاید (مثلاً sitemap.xml به جای sitemap_index.xml).
- خطای سرور: سرور شما در لحظه مراجعه گوگل، در دسترس نبوده (خطای 5xx) یا پاسخ نداده است.
- فایروال یا CDN: گاهی تنظیمات امنیتی CDN (مانند Cloudflare) یا فایروال سرور، جلوی دسترسی ربات گوگل (Googlebot) را میگیرند.
خطای “Sitemap could not be read” یا “General HTTP error“
این خطا یک مرحله جلوتر از “Couldn’t fetch” است. یعنی گوگل به آدرس شما رسیده، اما فایلی که دریافت کرده، قابل خواندن یا پردازش نبوده است.
- دلیل اصلی (فرمت): فایل XML شما خراب است. مثلاً تگها به درستی بسته نشدهاند، کاراکترهای نامعتبر در URLها وجود دارد، یا فرمت فایل به کلی اشتباه است.
- راهحل: فایل نقشه سایت را در مرورگر باز کنید. اگر به جای ساختار XML، با یک خطای نوشتاری مواجه شدید، مشکل از فرمت است. در وردپرس، کافی است افزونه سئوی خود (مانiv رنکمث) را باز کرده و نقشه سایت را یک بار غیرفعال و دوباره فعال کنید تا بازسازی شود.
- دلیل HTTP: سرور شما به جای فایل XML، یک صفحه دیگر (مثلاً صفحه 404 یا 301) را برمیگرداند.
(اعتماد) خطای “URLs blocked by robots.txt“
این یک خطای واضح است که مستقیماً به اعتماد و دستورات فنی شما مربوط میشود. این خطا یعنی شما در فایل robots.txt به گوگل دستور دادهاید که به فایل نقشه سایت شما دسترسی نداشته باشد.
- مثال دستور مسدود کننده در robots.txt:
Disallow: /*.xml
(این دستور به رباتها میگوید هیچ فایل XML را نخوانند)
- راهحل: فایل robots.txt خود را (از طریق تنظیمات افزونه سئو یا از طریق هاست) ویرایش کنید و هر دستوری که جلوی دسترسی به فایل sitemap_index.xml یا sitemap.xml را میگیرد، حذف کنید.
(اعتماد) خطای 404 یا “Sitemap contains URLs which are blocked“
این عنوان میتواند به دو خطای فنی مجزا اما مرتبط اشاره داشته باشد:
- خطای 404 خود نقشه سایت:
این یعنی آدرسی که شما در سرچ کنسول ثبت کردهاید، اصلاً وجود ندارد (Not Found). این معمولاً به دلیل اشتباه تایپی در آدرس ثبت شده است.
- خطای “Sitemap contains URLs which are blocked” (رایجتر):
این یک خطای مهم در بحث اعتماد (Trust) است. خطا به این معناست که فایل نقشه سایت شما (مثلاً sitemap.xml) با موفقیت خوانده شده، اما صفحات لیست شده در داخل آن (مثلاً domain.com/private-page/) توسط robots.txt مسدود شدهاند.
-
- راهحل: شما نباید صفحهای را که نمیخواهید گوگل ایندکس کند (و در robots.txt مسدود کردهاید) در نقشه سایت قرار دهید. این یک سیگنال متناقض است. صفحاتی که Disallow شدهاند باید از نقشه سایت حذف شوند.
هشدار “Sitemap is HTML” (چگونه خطای فرمت را رفع کنیم؟)
این یک اشتباه رایج در زمان ثبت نقشه سایت است. این هشدار به شما میگوید فایلی که ثبت کردهاید، از نوع XML (مخصوص ربات) نیست، بلکه یک صفحه HTML (مخصوص کاربر) است.
- دلیل خطا: شما به جای آدرس فایل XML (مانند sitemap_index.xml)، آدرس صفحه “نقشه سایت” یا “فهرست مطالب” (مانند domain.com/sitemap/) را که برای بازدیدکنندگان ساختهاید، در سرچ کنسول ثبت کردهاید.
- راهحل:
- به بخش “Sitemaps” در سرچ کنسول بروید.
- روی نقشه سایت HTML که ثبت کردهاید کلیک کنید و آن را “Remove” (حذف) کنید.
- آدرس صحیح فایل XML (که معمولاً از افزونه سئو دریافت میکنید) را پیدا کرده و مجدداً ثبت (Submit) کنید.
نتیجهگیری (جمعبندی)
در نهایت، به نقشه سایت (Sitemap) به عنوان یک فایل ایستا نگاه نکنید. این فایل باید بازتابی دقیق از وضعیت فعلی و صفحات باارزش سایت شما باشد.
حذف URLهای 404، صفحات noindex شده و محتوای تکراری (که کنونیکال شدهاند) از نقشه سایت، یک سیگنال فنی قوی به گوگل است. این کار نشان میدهد شما بر سلامت فنی سایت خود نظارت دارید و به بهینهسازی بودجه خزش اهمیت میدهید. مدیریت صحیح نقشه سایت، بخشی ضروری از سئوی فنی پیشرفته است.