درود بر شما. من محمد صدرا حسینی هستم، کارشناس سئو در مجموعه وزیر سئو.
برای دریافت آموزش رایگان سرچ کنسول کلیک کنید: آموزش رایگان سرچ کنسول
یکی از چالشهای اساسی در سئوی تکنیکال، اطمینان از «ایندکس» شدن صحیح محتوا است. تا زمانی که صفحهای در فهرست گوگل نباشد، تمام تلاشها برای کسب رتبه بینتیجه خواهد بود. گزارش Indexing (که پیشتر با نام Coverage شناخته میشد) در سرچ کنسول، دقیقترین ابزار تشخیصی شما برای نظارت بر سلامت فنی سایت است.
درک عمیق وضعیتهای Error, Valid و Excluded، اولین گام برای عیبیابی و رفع موانعی است که جلوی دیده شدن شما را گرفتهاند. این راهنمای جامع و اقداممحور، به شما کمک میکند تا این گزارش را به صورت تخصصی تحلیل و مشکلات را به صورت گام به گام رفع کنید.
جدول کاربردی: چکلیست اولویتبندی تحلیل گزارش
این جدول به شما کمک میکند تا پس از مشاهده گزارش، بدانید کدام بخش نیازمند اقدام فوری و کدام بخش نیازمند تحلیل کیفی است.
| دستهبندی اصلی | وضعیت | سطح اولویت | اقدام کلیدی (Action) |
| ایندکس نشده (Not Indexed) | Error (خطاها) | ۱ (بحرانی – اقدام فوری) | رفع فوری تضادهای فنی (5xx, 404 Submitted, Noindex Submitted) که مانع ایندکس صفحات مهم شما شدهاند. |
| ایندکس نشده (Not Indexed) | Excluded (مستثنی شده) | ۲ (بالا – تحلیلی) | تحلیل کیفی (مخصوصاً برای “Crawled – not indexed” جهت بررسی کیفیت محتوا و تأیید صحت (برای Canonical, Noindex, Redirects). |
| ایندکس شده (Indexed) | Valid (معتبر) | ۳ (متوسط – نظارت) | ممیزی (Audit) برای اطمینان از حضور تمام صفحات مهم و بررسی وضعیت «Indexed, not submitted» جهت شناسایی صفحات کمارزش ایندکس شده. |
گزارش Page Indexing (Coverage) چیست و چرا مهمترین ابزار شما در سرچ کنسول است؟
اهمیت این گزارش در شفافیت آن نهفته است. گزارش Page Indexing مستقیماً به شما میگوید که رباتهای گوگل (Crawlers) با محتوای شما چگونه تعامل کردهاند. این گزارش به شما کمک میکند تا مشکلات فنی را پیش از آنکه به بحران سئو تبدیل شوند، شناسایی و رفع کنید.
اهمیت این گزارش در چند محور کلیدی خلاصه میشود:
- عیبیابی سریع (Diagnostics): بلافاصله متوجه میشوید که چرا یک صفحه مهم (مانند یک محصول جدید یا مقالهای کلیدی) در نتایج جستجو ظاهر نمیشود.
- مدیریت بودجه خزش (Crawl Budget): به شما کمک میکند صفحاتی که نباید ایندکس شوند (مانند صفحات فیلتر، تگهای کمارزش یا نتایج جستجوی داخلی) را شناسایی کنید. این کار تضمین میکند که گوگل انرژی و منابع خود را صرف صفحات بیاهمیت نمیکند و بر روی محتوای اصلی شما متمرکز میماند.
- شناسایی مشکلات محتوایی: درک اینکه کدام صفحات به عنوان کپی (Duplicate) یا کمارزش (Thin Content) شناسایی شدهاند.
- نظارت بر سلامت سرور: مشاهده سریع خطاهای سرور (5xx) یا خطاهای دسترسی (4xx) که مانع دسترسی گوگل به صفحات شما میشوند.
درک وضعیتها: نقشه راه سلامت ایندکس سایت شما
گزارش جدید Page Indexing، وضعیتها را برای سادگی به دو گروه اصلی تقسیم میکند. تمام صفحات شناسایی شده توسط گوگل در یکی از این دو دسته قرار میگیرند:
۱. صفحات ایندکس شده (Pages Indexed)
- معنا: اینها صفحات موفق شما هستند. گوگل آنها را پیدا کرده، خزیده (Crawl) و به فهرست (Index) خود اضافه کرده است. این صفحات واجد شرایط نمایش در نتایج جستجو هستند.
- اقدام عملی: معمولاً نیازی به اقدام فوری نیست، اما باید این لیست را بررسی کنید تا مطمئن شوید تمام صفحات مهم و کلیدی کسبوکار شما در این بخش حضور دارند.
۲. صفحات ایندکس نشده (Pages Not Indexed)
- معنا: این بخش، مرکز توجه و اقدام شماست. اینها صفحاتی هستند که گوگل آنها را شناسایی کرده، اما تصمیم گرفته (یا نتوانسته) آنها را ایندکس کند.
- اقدام عملی: درک «دلیل» ایندکس نشدن بسیار حیاتی است. این گزارش دلایل را به وضوح دستهبندی میکند. دلایل رایج عبارتند از:
- Excluded by ‘noindex’ tag: شما آگاهانه با استفاده از تگ “noindex” به گوگل گفتهاید این صفحه را ایندکس نکند. (این یک اقدام فنی صحیح برای صفحات غیرضروری است، نه یک خطا).
- Page with redirect: صفحه به آدرس دیگری منتقل (Redirect) شده است. (این وضعیت طبیعی است).
- Not found (404): صفحه مورد نظر یافت نشده است. (اگر صفحه مهمی بوده، باید آن را به یک صفحه مرتبط ریدایرکت ۳۰۱ کنید).
- Crawled – currently not indexed: گوگل صفحه را دیده و بررسی کرده، اما (فعلاً) آن را به اندازه کافی ارزشمند یا منحصربهفرد برای ایندکس ندانسته است. (این اغلب به مشکلات کیفیت محتوا، کمبود E-E-A-T یا محتوای تکراری داخلی اشاره دارد).
- Discovered – currently not indexed: گوگل از وجود صفحه مطلع است (مثلاً از طریق لینکسازی)، اما هنوز برای خزش آن اقدام نکرده است. (اغلب به دلیل کمبود بودجه خزش یا اولویت پایین صفحه رخ میدهد).
- Duplicate without user-selected canonical: گوگل این صفحه را کپی صفحهی دیگری تشخیص داده و نسخه اصلی (Canonical) را ایندکس کرده است.
تفاوت گزارش “Coverage” قدیمی و گزارش “Page Indexing” جدید
گوگل در راستای سادهسازی و تمرکز بر اقدام عملی، گزارش Coverage را به Page Indexing بهروزرسانی کرد. تفاوت اصلی در نحوه دستهبندی و شفافیت است.
گزارش Coverage (قدیمی)
این گزارش صفحات را به چهار دسته گیجکننده تقسیم میکرد:
- Error (خطا): صفحاتی که به دلیل خطای فنی (مانند 404 یا 5xx) ایندکس نشدهاند.
- Valid with warnings (معتبر با هشدار): صفحاتی که ایندکس شدهاند اما مشکلی دارند (مانند “Indexed, though blocked by robots.txt” که مفهومی متناقض بود).
- Valid (معتبر): صفحات ایندکس شدهی بدون مشکل.
- Excluded (مستثنی شده): صفحاتی که آگاهانه یا به دلیل تصمیم گوگل (مانند noindex، کپی بودن، یا Crawled-not-indexed) ایندکس نشدهاند.
گزارش Page Indexing (جدید)
این گزارش بسیار منطقیتر و اقداممحورتر است و فقط دو دسته اصلی دارد:
- Indexed (ایندکس شده): (شامل تمام صفحات “Valid” و “Valid with warnings” در گزارش قدیمی).
- Not Indexed (ایندکس نشده): (شامل تمام صفحات “Error” و “Excluded” در گزارش قدیمی).
مزیت کلیدی گزارش جدید: در گزارش جدید، تمرکز از روی “وضعیت” به روی “دلیل” منتقل شده است. شما به جای ۴ دسته گیجکننده، به سادگی میبینید کدام صفحات در ایندکس هستند و کدام نیستند. سپس برای آنهایی که در ایندکس نیستند، لیست شفافی از دلایل (Reasons) دریافت میکنید. این ساختار جدید، عیبیابی را بسیار سریعتر و دقیقتر میکند.
از نظارت تا اقدام
گزارش Page Indexing، صرفاً یک آمار نیست؛ بلکه نقشه راه اجرایی شما برای سئوی تکنیکال است. درک تفاوت بین صفحات “Indexed” و “Not Indexed” و تحلیل دقیق “دلایل” عدم ایندکس، اولین و مهمترین گام برای اطمینان از دیده شدن محتوای شما توسط گوگل است. تا زمانی که صفحهای در بخش “Indexed” قرار نگیرد، تمام تلاشهای شما برای تولید محتوای ارزشمند (Helpful Content) و لینکسازی، بینتیجه خواهد ماند.
وضعیت Error (خطا): مشکلات بحرانی که نیاز به اقدام فوری دارند
این دسته از خطاها نشاندهنده تضادهای فنی یا مشکلات دسترسی هستند که گوگل را در درک یا دسترسی به محتوایی که شما صراحتاً (اغلب از طریق نقشه سایت یا لینکهای داخلی قوی) برای ایندکس ارسال کردهاید، ناکام میگذارند. نادیده گرفتن این خطاها به معنای هدر رفتن مستقیم بودجه خزش (Crawl Budget) و از دست دادن پتانسیل رتبهبندی آن صفحات است.
خطای سرور (Server error 5xx): چرا گوگل نمیتواند به سایت شما دسترسی پیدا کند؟
- تحلیل خطا: خطای 5xx (مانند 500، 503 یا 502) یک مشکل سمت سرور (Server-Side) است. این خطا به گوگل میگوید که صفحه مورد نظر وجود دارد، اما سرور شما در لحظه درخواست، به دلیلی (مانند بار اضافی، خطای پیکربندی، مشکل در دیتابیس یا قطعی موقت هاستینگ) قادر به ارائه آن نبوده است.
- چرا بحرانی است؟ تکرار این خطا به گوگل سیگنال میدهد که وبسایت شما غیرقابل اعتماد (Unreliable) است. این امر منجر به کاهش نرخ خزش (Crawl Rate) و در نهایت، حذف موقت یا دائم صفحه از ایندکس میشود، حتی اگر محتوای شما عالی باشد.
- اقدام عملی (Actionable Steps):
- بررسی پایداری هاست: فوراً با ارائهدهنده خدمات میزبانی خود تماس بگیرید و وضعیت سرور را جویا شوید.
- بررسی لاگهای سرور (Server Logs): این خطاها معمولاً در لاگهای خطای سرور شما ثبت میشوند. بررسی آنها میتواند مشخص کند که آیا مشکل از یک افزونه (Plugin) معیوب، یک اسکریپت PHP سنگین یا مشکل در اتصال به پایگاه داده است.
- استفاده از Validate Fix: پس از اطمینان از پایداری سرور، از گزینه “Validate Fix” در سرچ کنسول استفاده کنید تا گوگل را ترغیب به بررسی مجدد این URLها نمایید.
خطای 404 (Not Found): تحلیل “Submitted URL not found” و تفاوت آن با 404 در بخش Excluded
- تحلیل خطا: خطای “Submitted URL not found” به این معناست که شما آدرسی را از طریق نقشه سایت (Sitemap.xml) یا یک لینک داخلی بسیار قوی به گوگل معرفی کردهاید، اما آن آدرس اکنون با خطای 404 (یافت نشد) مواجه میشود.
- تفاوت کلیدی با 404 در Excluded:
- Error (Submitted URL not found): این یک تضاد سیگنالی است. شما به گوگل میگویید “این صفحه مهم است و باید ایندکس شود” (از طریق نقشه سایت)، اما سرور میگوید “این صفحه وجود ندارد”. این خطا اولویت بالایی دارد.
- Excluded (Not found 404): این یک خطای 404 «کشف شده» (Discovered) است. گوگل این لینک را به صورت تصادفی (مثلاً از یک لینک شکسته قدیمی در سایت شما یا سایتی دیگر) پیدا کرده، متوجه شده که 404 است و به درستی تصمیم گرفته آن را ایندکس نکند. این یک فرآیند عادی است و معمولاً بحرانی نیست.
- اقدام عملی (برای خطای “Submitted”):
- اگر صفحه عمداً حذف شده: URL مورد نظر را از نقشه سایت خود حذف کنید و آن را به نزدیکترین صفحه مرتبط، ریدایرکت ۳۰۱ (Permanent Redirect) کنید.
- اگر اشتباه تایپی بوده: لینک موجود در نقشه سایت یا لینک داخلی را اصلاح کنید.
- اگر صفحه باید وجود داشته باشد: مشکل فنی صفحه را رفع کنید تا با کد وضعیت 200 (OK) بارگذاری شود.
خطای “Submitted URL marked ‘noindex’”: تضاد در ارسال نقشه سایت و تگ noindex
- تحلیل خطا: این یکی از واضحترین تضادهای دستوری است. شما URL را در نقشه سایت قرار دادهاید (دستورالعمل: “ایندکس کن”)، اما همزمان در HTML همان صفحه، از تگ متای ربات noindex استفاده کردهاید (دستورالعمل: “ایندکس نکن”).
- چرا بحرانی است؟ گوگل نمیداند کدام دستور را باید اجرا کند. این کار بودجه خزش را برای صفحهای که قصد ایندکس آن را ندارید هدر میدهد و باعث سردرگمی رباتهای جستجو میشود.
- اقدام عملی:
- تصمیمگیری: آیا این صفحه باید ایندکس شود یا خیر؟
- اگر باید ایندکس شود: تگ meta name=”robots” content=”noindex” را از بخش <head> صفحه حذف کنید.
- اگر نباید ایندکس شود: URL مورد نظر را از فایل نقشه سایت (Sitemap.xml) خود حذف کنید.
خطای “Submitted URL blocked by robots.txt”: چگونه به ربات گوگل اجازه دسترسی بدهیم؟
- تحلیل خطا: تضاد دستوری دیگر. شما URL را در نقشه سایت ارسال کردهاید، اما فایل txt شما (که در ریشه سایت قرار دارد) به ربات گوگل اجازه خزش (Crawl) آن URL را نمیدهد (از طریق دستور Disallow).
- چرا بحرانی است؟ گوگل حتی نمیتواند صفحه را ببیند تا محتوای آن یا وجود تگ noindex احتمالی را بررسی کند. شما ربات را به مهمانی دعوت کردهاید (Sitemap) اما در را به روی او بستهاید (robots.txt).
- اقدام عملی:
- تصمیمگیری: آیا گوگل باید این صفحه را بخزد؟ (توجه: خزش لزوماً به معنای ایندکس نیست).
- اگر باید ایندکس شود: به فایل txt خود بروید و دستور Disallow مربوط به آن URL یا پوشه را حذف کنید یا آن را مجاز (Allow) کنید.
- اگر نباید ایندکس شود: URL را از نقشه سایت حذف کنید. (راه حل اصولی برای عدم ایندکس، استفاده از تگ noindex است، که برای این کار باید اجازه خزش در txt داده شود تا گوگل تگ را ببیند).
خطای “Submitted URL seems to be a Soft 404”: شناسایی و رفع خطاهای ۴۰۴ نرم
- تحلیل خطا: خطای ۴۰۴ نرم (Soft 404) یک وضعیت فریبنده است. سرور شما کد وضعیت 200 OK (یعنی “صفحه با موفقیت بارگذاری شد”) را برمیگرداند، اما محتوای واقعی صفحه خالی است یا پیامی مانند “محصولی یافت نشد”، “جستجو نتیجهای نداشت” یا “صفحه در دست ساخت است” نمایش میدهد.
- چرا بحرانی است؟ گوگل این صفحات را به عنوان محتوای کمکیفیت یا پوچ (Thin Content) شناسایی میکند. ایندکس شدن تعداد زیادی از این صفحات به اعتبار (Authority) کلی سایت شما آسیب میزند و بودجه خزش را روی صفحات بیارزش هدر میدهد.
- اقدام عملی:
- اگر صفحه واقعاً محتوا ندارد: سرور خود را پیکربندی کنید تا به جای 200 OK، کد وضعیت 404 Not Found واقعی را برگرداند.
- اگر صفحه باید وجود داشته باشد (مانند یک دسته محصول موقتاً خالی): محتوای مفیدی به آن اضافه کنید (مثلاً توضیح دسته، لینک به دستههای مرتبط یا محصولات جایگزین).
خطای ریدایرکت (Redirect Error): بررسی و رفع زنجیرههای ریدایرکت معیوب
- تحلیل خطا: گوگل هنگام تلاش برای دنبال کردن یک ریدایرکت (معمولاً 301 یا 302) با مشکل مواجه شده است.
- دلایل رایج و اقدام عملی:
- زنجیره ریدایرکت طولانی (Redirect Chain): صفحه A به B، B به C، C به D و… ریدایرکت میشود. گوگل معمولاً پس از ۳ تا ۵ پرش، دنبال کردن را متوقف میکند.
- راهحل: زنجیره را کوتاه کنید. همه ریدایرکتهای میانی را حذف کرده و صفحه A را مستقیماً به مقصد نهایی (مثلاً D) ریدایرکت ۳۰۱ کنید.
- حلقه ریدایرکت (Redirect Loop): صفحه A به B و صفحه B دوباره به A ریدایرکت میشود. این یک حلقه بینهایت است که سرور و ربات گوگل را قفل میکند.
- راهحل: منطق ریدایرکت را در فایل .htaccess یا افزونه مدیریت ریدایرکت خود پیدا و اصلاح کنید.
- ریدایرکت به URL نامعتبر: صفحه A به صفحه B ریدایرکت میشود، اما صفحه B خود یک خطای 404 است.
- راهحل: ریدایرکت صفحه A را بهروزرسانی کنید تا به یک صفحه مقصد معتبر (که با کد 200 OK باز میشود) اشاره کند.
- زنجیره ریدایرکت طولانی (Redirect Chain): صفحه A به B، B به C، C به D و… ریدایرکت میشود. گوگل معمولاً پس از ۳ تا ۵ پرش، دنبال کردن را متوقف میکند.
وضعیت Valid with warning (معتبر با هشدار): صفحاتی که ایندکس شدهاند اما یک مشکل وجود دارد
این وضعیت به این معناست که صفحه شما با موفقیت در فهرست گوگل قرار گرفته است، اما عاملی وجود دارد که مانع از نمایش ایدهآل آن میشود یا یک تضاد فنی در دستورالعملهای شما وجود دارد. گوگل صفحه را ایندکس کرده، اما به شما هشدار میدهد که “من این کار را انجام دادم، اما یک مشکل وجود دارد.”
تحلیل هشدار “Indexed, though blocked by robots.txt”: تضاد عجیب و راه حل آن
این هشدار یکی از گیجکنندهترین موارد برای بسیاری از مدیران سایتها است. سؤال این است: “چگونه ممکن است گوگل صفحهای را ایندکس کند که من دسترسی به آن را در robots.txt مسدود کردهام؟”
۱. درک تضاد: تفاوت «خزش» (Crawl) و «ایندکس» (Index)
برای حل این معما، باید تفاوت این دو مفهوم کلیدی را بدانیم:
- txt: این فایل به رباتهای جستجو میگوید که کدام صفحات را نباید بخزند (Crawl). این فایل مانع از خواندن محتوای صفحه میشود.
- Indexing: این فرآیندِ قرار دادن یک URL در پایگاه داده گوگل است.
علت وقوع هشدار: گوگل این صفحه را ایندکس کرده است، زیرا سیگنالهای قوی مبنی بر اهمیت آن خارج از خود صفحه پیدا کرده است (مانند بکلینکهای بسیار قوی از سایتهای دیگر یا لینکهای داخلی متعدد).
از آنجایی که robots.txt مانع از خزش صفحه شده، گوگل هرگز نتوانسته محتوای صفحه، تگ عنوان (Title) یا متادیسکریپشن (Meta Description) شما را بخواند.
در نتیجه، گوگل این URL را بر اساس لینکهای دریافتی، به صورت «کور» (Blindly) ایندکس کرده است. اگر این صفحه در نتایج جستجو ظاهر شود، معمولاً توضیحات (Snippet) آن به شکل زیر خواهد بود:
“A description for this result is not available because of this site’s robots.txt.” (توضیحی برای این نتیجه در دسترس نیست زیرا robots.txt این سایت مانع آن شده است.)
این وضعیت هم برای تجربه کاربری (UX) و هم برای سئوی شما نامطلوب است، زیرا کنترل نمایش صفحه در نتایج جستجو را از شما سلب میکند.
۲. اقدام عملی: راهحل بر اساس هدف شما
شما باید تصمیم بگیرید که هدف اصلی شما برای این URL چیست. دو سناریو وجود دارد:
سناریوی اول: شما میخواهید این صفحه ایندکس شود و در نتایج جستجو نمایش داده شود.
این سناریوی رایجتری است. شما به اشتباه دسترسی به یک صفحه مهم را مسدود کردهاید.
- اقدام: به فایل txt خود (که در ریشه سایت قرار دارد) مراجعه کنید.
- راهحل: دستور Disallow که مانع دسترسی به آن URL یا پوشه شده است را حذف کنید.
- نتیجه: با این کار به گوگل اجازه میدهید صفحه را به درستی بخزد، محتوا، عنوان و توضیحات آن را بخواند و یک اسنیپت (Snippet) مناسب و کامل در نتایج جستجو نمایش دهد.
سناریوی دوم: شما نمیخواهید این صفحه هرگز در نتایج جستجو باشد.
در این حالت، شما از ابزار اشتباهی (robots.txt) برای هدفی اشتباه (جلوگیری از ایندکس) استفاده کردهاید. Robots.txt جلوی ایندکس شدن را (در صورت وجود لینکهای قوی) نمیگیرد.
- ابزار صحیح: ابزار صحیح برای جلوگیری از ایندکس، استفاده از تگ متای ربات (Meta Robots Tag) است.
- اقدام (مرحله به مرحله):
- گام اول: ابتدا باید دستور Disallow مربوط به این URL را از فایل txt حذف کنید. (این اقدام موقتی و ضروری است تا گوگل بتواند دستورالعمل گام بعدی را بخواند).
- گام دوم: به بخش <head> در HTML صفحه مورد نظر بروید و این تگ را اضافه کنید: <meta name=”robots” content=”noindex”>
- گام سوم: صبر کنید تا گوگل مجدداً صفحه را بخزد. این بار، تگ noindex را میبیند و صفحه را به طور کامل از ایندکس خود حذف میکند.
- گام چهارم (اختیاری): پس از اطمینان از حذف شدن صفحه از ایندکس (از طریق ابزار URL Inspection)، میتوانید مجدداً آن را در txt مسدود (Disallow) کنید تا در آینده بودجه خزش برای آن هدر نرود.
تفاوت “Submitted and indexed” (ارسال شده و ایندکس شده) چیست؟
این وضعیت، ایدهآلترین حالت در سئوی تکنیکال است.
- تحلیل: این سیگنال به این معناست که شما صفحهای را به صورت آگاهانه از طریق نقشه سایت (Sitemap.xml) به گوگل معرفی کردهاید (Submitted)، و گوگل نیز پس از خزش و ارزیابی، آن را واجد شرایط دانسته و در فهرست خود قرار داده است (Indexed).
- اهمیت: این وضعیت نشاندهنده هماهنگی کامل بین استراتژی محتوایی شما و درک گوگل از سایت شماست. این یعنی گوگل نقشه سایت شما را به عنوان یک منبع معتبر برای شناسایی URLهای اصلی پذیرفته است.
- اقدام عملی: در این بخش معمولاً اقدام فوری لازم نیست. این لیست باید شامل مهمترین صفحات شما (صفحات اصلی، دستهبندیها، محصولات کلیدی و مقالات استراتژیک) باشد.
معنی “Indexed, not submitted in sitemap” (ایندکس شده، اما در نقشه سایت نیست)
این وضعیت یک هشدار مدیریتی است، نه یک خطا.
- تحلیل: این وضعیت به معنای آن است که گوگل یک URL را ایندکس کرده، اما آن URL در هیچیک از فایلهای نقشه سایتی که شما در سرچ کنسول ثبت کردهاید، وجود نداشته است.
- چگونه کشف شده؟ گوگل این صفحات را معمولاً از طریق لینکهای داخلی (Internal Links) در سایت شما یا بکلینکها (Backlinks) از سایتهای دیگر کشف کرده است.
- اقدام عملی (بسیار مهم): این بخش نیازمند یک ممیزی (Audit) دقیق است. شما باید این لیست را بررسی کنید و درباره هر URL تصمیم بگیرید:
- آیا این صفحه باید ایندکس شود؟
- اگر بله: (مثلاً یک مقاله مهم وبلاگ است که فراموش کردهاید). این یک موفقیت مدیریت نشده است. شما باید فوراً آن را به نقشه سایت (Sitemap.xml) خود اضافه کنید تا آن را به عنوان یک URL اصلی و مورد تأیید (Canonical) به گوگل معرفی نمایید.
- آیا این صفحه نباید ایندکس شود؟
- اگر نه: (مثلاً یک صفحه فیلتر محصولات، یک تگ کمارزش، یا یک نتیجه جستجوی داخلی است). این یک «نشت ایندکس» (Index Bloat) است. ایندکس شدن این صفحاتِ کمارزش میتواند به اعتبار کلی سایت شما آسیب بزند و بودجه خزش را هدر دهد.
- راهحل: باید با افزودن تگ متای ربات (noindex) به بخش <head> آن صفحه، به گوگل دستور دهید که آن را از ایندکس خارج کند.
- آیا این صفحه باید ایندکس شود؟
چگونه صفحات معتبر را برای حفظ رتبه مانیتور کنیم؟
ایندکس شدن به معنای «پایان کار» نیست؛ بلکه «آغاز رقابت» است. وضعیت “Valid” تضمینی برای کسب رتبه بالا یا حفظ آن نیست. صفحهای که امروز «Valid» است، ممکن است فردا رتبه خود را به دلیل مشکلات فنی، محتوایی یا رقابتی از دست بدهد.
برای مانیتورینگ مؤثر این صفحات، باید از ابزارهای دیگر سرچ کنسول به صورت ترکیبی استفاده کنید:
- اتصال به گزارش Performance (عملکرد):
- مهمترین گام، بررسی این URLها در گزارش Performance است. آیا این صفحات «Valid» اصلاً ورودی (Impressions) و کلیک (Clicks) دریافت میکنند؟
- کدام صفحات در حال از دست دادن رتبه (Position) یا نرخ کلیک (CTR) هستند؟ این صفحات کاندیداهای اصلی برای بهروزرسانی محتوا (Content Refresh) هستند.
- نظارت بر تجربه صفحه (Page Experience):
- آیا این صفحات «Valid» در گزارش Core Web Vitals (CWV) وضعیت «Good» (خوب) دارند؟ یک صفحه «Valid» با LCP یا INP ضعیف (وضعیت “Poor”)، پتانسیل رتبهبندی خود را به شدت از دست میدهد.
- همچنین وضعیت Mobile Usability (قابلیت استفاده در موبایل) را بررسی کنید.
- بررسی نتایج غنی (Rich Results) با ابزار Inspection:
- برای صفحات «Valid» که دارای دادههای ساختاریافته (Structured Data) هستند (مانند اسکیماهای Product, FAQ, یا Article)، به صورت دورهای از ابزار URL Inspection استفاده کنید.
- بررسی کنید که آیا اسکیماهای شما هنوز معتبر هستند و آیا گوگل آنها را به عنوان نتایج غنی (Rich Results) شناسایی میکند یا خیر.
- بازبینی دورهای محتوا (Content Audit):
- آیا محتوای این صفحات «Valid» هنوز «مفید» (Helpful)، دقیق و بهروز است؟ رقبا ممکن است محتوای جامعتری تولید کرده باشند. ایندکس بودن به تنهایی برای پیروزی در رقابت کافی نیست.
وضعیت Excluded (مستثنی شده): صفحاتی که ایندکس نشدهاند (و اغلب نباید بشوند)
این بخش، گزارش گوگل از تمام URLهایی است که آنها را شناسایی کرده (Discovered) اما تصمیم گرفته است که آنها را در فهرست (Index) خود قرار ندهد. برخلاف بخش «Error»، این صفحات لزوماً نشاندهنده یک مشکل فنی بحرانی نیستند.
چرا “Excluded” لزوماً یک “خطا” یا اتفاق بد نیست؟
این مهمترین نکته در تحلیل این گزارش است. در بسیاری از موارد، قرار گرفتن یک صفحه در بخش «Excluded» نشان میدهد که استراتژی سئوی تکنیکال شما به درستی در حال اجراست و گوگل به دستورات شما (مانند noindex، canonical یا ریدایرکتها) احترام میگذارد.
- مدیریت موفق: این بخش به شما نشان میدهد که در حال مدیریت صحیح صفحات کماهمیت، تکراری یا فنی هستید و از ایندکس شدن آنها جلوگیری میکنید.
- خطای پنهان: مشکل زمانی آغاز میشود که یک صفحه مهم و کلیدی (مانnd یک مقاله اصلی یا صفحه محصول) را در این لیست پیدا کنید. اینجاست که «Excluded» از یک “گزارش مدیریتی” به یک “مشکل نیازمند اقدام” تبدیل میشود.
“Alternate page with proper canonical tag”: درک عمیق تگ کنونیکال
- تحلیل وضعیت: این رایجترین و معمولاً «سالمترین» دلیل برای Excluded بودن است. این وضعیت زمانی رخ میدهد که شما دو یا چند نسخه از یک صفحه دارید (مثلاً صفحات فیلتر محصولات، نسخههای چاپی، یا پارامترهای URL مانند ?utm_source=…) و با استفاده از تگ rel=”canonical” به گوگل اعلام کردهاید که کدام نسخه، نسخه اصلی و مرجع است.
- چرا Excluded است؟ گوگل به دستور شما احترام گذاشته است. این صفحه «Alternate» (جایگزین) را بررسی کرده، تگ کنونیکال را دیده و آن را به نفع صفحه اصلی که شما مشخص کردهاید، از ایندکس «مستثنی» کرده است.
- اقدام عملی:
- بررسی و تأیید: این لیست را بررسی کنید تا مطمئن شوید صفحاتی که گوگل به عنوان «Alternate» شناسایی کرده، واقعاً صفحات فرعی هستند و صفحه اصلی (User-selected canonical) به درستی تنظیم شده است.
- این یک موفقیت است: اگر استراتژی کنونیکال شما درست باشد، این گزارش نشاندهنده موفقیت شما در جلوگیری از محتوای تکراری (Duplicate Content) است و نیازی به اقدام ندارد.
“Page with redirect”: چرا ریدایرکتهای سالم در این بخش قرار میگیرند؟
- تحلیل وضعیت: این گزارش شامل URLهایی است که به آدرس دیگری ریدایرکت (معمولاً 301 یا 302) شدهاند.
- چرا Excluded است؟ این فرآیند کاملاً طبیعی است. گوگل URL قدیمی (A) را پیدا میکند، دستور ریدایرکت را مشاهده میکند و به URL جدید (B) منتقل میشود. سپس گوگل URL جدید (B) را ایندکس کرده و URL قدیمی (A) را از ایندکس «مستثنی» میکند تا از نمایش آدرسهای قدیمی یا شکسته در نتایج جستجو جلوگیری کند.
- اقدام عملی:
- این هم یک موفقیت است: این گزارش نشان میدهد که ریدایرکتهای شما به درستی کار میکنند.
- ممیزی: تنها زمانی نیاز به اقدام دارید که یک صفحه مهم که نباید ریدایرکت شود را در این لیست ببینید. در این صورت باید منبع ریدایرکت (در فایل .htaccess یا افزونهها) را پیدا و آن را حذف کنید.
“Crawled – currently not indexed”: دلیل اصلی و راههای بررسی (مشکل کیفیت محتوا؟)
این وضعیت، هشداردهندهترین و مهمترین دلیل در بخش Excluded است.
- تحلیل وضعیت: گوگل صفحه شما را خزش (Crawl) کرده، محتوای آن را کامل خوانده، اما در نهایت تصمیم گرفته است که این صفحه (در حال حاضر) ارزش کافی برای قرار گرفتن در ایندکس را ندارد.
- چرا؟ این یک خطای فنی نیست؛ این یک مشکل کیفی است. گوگل تشخیص داده که محتوای شما به اندازه کافی «مفید» (Helpful) نیست.
- اقدام عملی (بررسی کیفیت بر اساس معیارهای محتوای مفید): اینجا دقیقاً جایی است که باید به راهنمای «محتوای مفید» (مانند فایل PDF ارائهشده) رجوع کنید. از خود بپرسید آیا این صفحه:
- ارزش افزوده واقعی دارد؟ آیا صرفاً خلاصهسازی یا بازنویسی منابع دیگر است یا تحلیل عمیق و اطلاعات جالبی فراتر از موارد بدیهی ارائه میدهد؟
- نشاندهنده تخصص (E-E-A-T) است؟ آیا محتوا به وضوح نشاندهنده دانش و تجربه مستقیم است (مثلاً تجربه استفاده واقعی از یک محصول)؟ یا توسط کسی نوشته شده که تخصص واقعی در آن حوزه ندارد؟
- برای کاربر نوشته شده یا موتور جستجو؟ آیا محتوا در درجه اول برای جذب بازدید از موتور جستجو ایجاد شده است؟
- کامل و جامع است؟ آیا توضیحی مفصل و کامل از موضوع ارائه میدهد یا کاربر پس از خواندن آن، احساس میکند برای اطلاعات بهتر نیاز به جستجوی مجدد دارد؟
- کیفیت تولید بالایی دارد؟ آیا محتوا خوب تولید شده یا سهلانگارانه و عجولانه به نظر میرسد؟
راهحل: راهحل این مشکل، فنی نیست. شما باید محتوای صفحه را به طور اساسی بازبینی و غنیسازی کنید، تخصص خود را به آن بیافزایید و لینکهای داخلی قویتری از صفحات معتبر سایت به آن بدهید.
“Discovered – currently not indexed”: معنای صف انتظار کراول گوگل
- تحلیل وضعیت: گوگل از وجود این URL مطلع است (معمولاً از طریق نقشه سایت یا یک لینک)، اما هنوز آن را خزش (Crawl) نکرده است.
- چرا؟ این URL در صف انتظار گوگل قرار دارد. این وضعیت اغلب به بودجه خزش (Crawl Budget) مربوط میشود. گوگل تشخیص داده که سرور شما ممکن است تحت فشار باشد (Overload) یا اینکه صفحات مهمتری در سایت شما (یا در سایتهای دیگر) برای خزش در اولویت هستند.
- اقدام عملی:
- بهبود لینکسازی داخلی: مهمترین اقدام، ارسال سیگنال اهمیت به گوگل است. از صفحات معتبر و پربازدید سایت خود به این URL لینک داخلی بدهید.
- بررسی سلامت سایت: مطمئن شوید سایت شما خطاهای 5xx (سرور) یا تعداد زیادی 404 ندارد که بودجه خزش را هدر میدهند.
- صبر: گاهی اوقات، به خصوص برای سایتهای جدید یا بزرگ، این فرآیند زمانبر است.
“Blocked by robots.txt”: تفاوت این حالت با خطای ‘Blocked’ در بخش Error
- تحلیل وضعیت: گوگل این URL را (احتمالاً از طریق یک لینک خارجی یا داخلی) کشف کرده، اما فایل txt شما صراحتاً (با دستور Disallow) به آن اجازه خزش نداده است.
- تفاوت کلیدی با بخش Error:
- Error (Submitted URL blocked…): یک تضاد بود. شما URL را در نقشه سایت (Sitemap) فرستاده بودید (یعنی: “ایندکس کن”) اما همزمان آن را در txt مسدود کرده بودید (یعنی: “خزش نکن”).
- Excluded (Blocked by…): این یک تضاد نیست. این URL در نقشه سایت شما وجود ندارد. گوگل آن را تصادفی پیدا کرده و به دستور Disallow شما احترام گذاشته و آن را خزش نکرده است.
- اقدام عملی: این وضعیت معمولاً نشاندهنده مدیریت صحیح است (مثلاً مسدود کردن پنل ادمین یا نتایج جستجوی داخلی). تنها در صورتی که یک صفحه مهم در این لیست بود، باید دستور Disallow را از txt خود حذف کنید.
“Not found (404)”: چرا این 404ها در بخش ‘Error’ نیستند؟
- تحلیل وضعیت: گوگل لینکی به این صفحه پیدا کرده (معمولاً یک لینک شکسته داخلی یا یک لینک قدیمی از سایت دیگر)، اما صفحه وجود ندارد (404).
- تفاوت کلیدی با بخش Error:
- Error (Submitted URL not found…): یک تضاد بود. شما URL را در نقشه سایت فرستاده بودید (یعنی: “این صفحه مهم است”) اما صفحه 404 بود.
- Excluded (Not found 404): این یک تضاد نیست. این URL در نقشه سایت شما وجود ندارد. گوگل یک لینک شکسته پیدا کرده، تأیید کرده که 404 است و به درستی تصمیم گرفته آن را ایندکس نکند.
- اقدام عملی: این موارد اولویت پایینی دارند، اما برای بهداشت سایت (Site Hygiene) بهتر است با استفاده از ابزار URL Inspection ببینید «Linking from» (کدام صفحات به این 404 لینک دادهاند) و لینکهای شکسته داخلی را اصلاح کنید.
استراتژی عملی: چگونه گزارش Coverage را تحلیل و مشکلات را رفع کنیم؟ (راهنمای گام به گام)
تحلیل این گزارش نباید واکنشی و تصادفی باشد. شما به یک فرآیند سیستماتیک نیاز دارید که بر «بازده» (ROI) اقدامات شما تمرکز کند.
اولویتبندی رفع خطاها: کدام را اول درست کنیم؟ (تجربه ما)
زمان شما محدود است. تمرکز خود را بر مشکلاتی بگذارید که بیشترین آسیب را میزنند. بر اساس تجربه، این اولویتبندی بهترین نتایج را به همراه دارد:
اولویت ۱ (بحرانی – اقدام فوری): تمام موارد در بخش “Error”
- چرا؟ اینها شکستهای فنی فعال برای URLهایی هستند که شما صراحتاً (از طریق نقشه سایت یا لینکهای قوی) به گوگل اعلام کردهاید که مهم هستند.
- چه مواردی؟
- Server error (5xx): این مورد پایداری کل سایت شما را زیر سؤال میبرد. باید فوراً بررسی شود.
- Submitted URL… (404, noindex, blocked): اینها تضادهای دستوری مستقیم هستند که بودجه خزش را هدر داده و گوگل را سردرگم میکنند.
- Redirect Error: زنجیرهها یا حلقههای ریدایرکت، ربات گوگل را متوقف میکنند.
اولویت ۲ (بالا – نیازمند تحلیل کیفی): موارد مهم در “Excluded”
- چرا؟ اینها صفحاتی هستند که ممکن است به دلیل مشکلات کیفی یا فنی پنهان، از ایندکس باز مانده باشند.
- چه مواردی؟
- Crawled – currently not indexed: این مهمترین هشدار کیفی است. URLهای مهم (مقالات اصلی، صفحات محصول) خود را در این لیست پیدا کنید و فوراً برای بازبینی محتوا و تقویت E-E-A-T اقدام نمایید.
- Discovered – currently not indexed: اگر صفحات کلیدی شما در این صف انتظار گیر کردهاند، نشاندهنده ضعف در لینکسازی داخلی یا پایین بودن اعتبار کلی سایت است.
اولویت ۳ (متوسط – ممیزی و بهداشت سایت): موارد “Valid” و “Excluded” نیازمند بررسی
- چرا؟ اینها خطا نیستند، اما فرصتهای بهینهسازی یا نشانههای مدیریت ضعیف هستند.
- چه موARDI؟
- Indexed, not submitted in sitemap: این لیست را ممیزی کنید. URLهای مهم را به نقشه سایت اضافه کنید و URLهای بیاهمیت را noindex کنید.
- Alternate page with proper canonical tag: به صورت تصادفی چند مورد را چک کنید تا مطمئن شوید تگ کنونیکال به درستی به نسخه اصلی اشاره میکند.
- Page with redirect: بررسی کنید که ریدایرکتها به مقصد درستی انجام میشوند.
اولویت ۴ (پایین – صرفاً جهت اطلاع): موارد طبیعی “Excluded”
- چرا؟ اینها نشان میدهند که سیستم شما به درستی کار میکند.
- چه موارDI؟
- Excluded by ‘noindex’ tag (برای صفحاتی که عمداً نمیخواهید ایندکس شوند).
- Not found (404) (برای صفحاتی که در نقشه سایت نیستند و به درستی 404 برمیگردانند).
راهنمای کامل استفاده از دکمه “Validate Fix” برای تأیید رفع مشکلات
دکمه “Validate Fix” (اعتبارسنجی رفع مشکل) ابزار قدرتمندی است، اما اغلب به اشتباه استفاده میشود. این دکمه یک “چوب جادویی” برای رفع مشکل نیست؛ بلکه زنگی است که به گوگل میگویید: “من ادعا میکنم که مشکل اساسی را حل کردهام، لطفاً بررسی مجدد را در اولویت قرار بده.”
راهنمای گام به گام استفاده صحیح:
- گام اول: ابتدا مشکل را در سایت خود حل کنید.
- این دکمه را قبل از رفع مشکل فشار ندهید.
- مثال: اگر خطای 5xx دارید، ابتدا باید مشکل سرور را حل کنید. اگر خطای Submitted URL marked ‘noindex’ دارید، باید ابتدا تگ noindex را حذف کنید یا URL را از نقشه سایت بردارید.
- نکته کلیدی: مشکل ریشهای را حل کنید. اگر ۱۰۰۰ صفحه خطای سرور دارند، نیازی به رفع تکتک آنها نیست؛ مشکل اصلی سرور را حل کنید.
- گام دوم: فرآیند اعتبارسنجی را آغاز کنید.
- به گزارش خطای خاص (مثلاً “Server error 5xx”) بروید.
- روی دکمه “Validate Fix” کلیک کنید.
- گام سوم: صبور باشید (فرآیند اعتبارسنجی).
- گوگل بلافاصله تمام صفحات شما را بررسی نمیکند.
- اعتبارسنجی آغاز میشود و ممکن است از چند روز تا چند هفته طول بکشد.
- گوگل ابتدا چند URL نمونه را برای بررسی مجدد در اولویت قرار میدهد. اگر این نمونهها با موفقیت بررسی شوند، فرآیند را به سایر URLهای آن خطا گسترش میدهد.
- گام چهارم: نتایج را پایش کنید.
- شما در سرچ کنسول وضعیت اعتبارسنجی را خواهید دید (Passing, Failed, N/A).
- Passed (موفق): عالی است. URLها از بخش خطا خارج شده و (در صورت امکان) به بخش “Valid” منتقل میشوند.
- Failed (ناموفق): یعنی مشکل از دید گوگل هنوز پابرجاست. باید به گام اول بازگردید و عیبیابی عمیقتری انجام دهید.
اشتباهات رایج در خواندن گزارش Coverage که مبتدیان مرتکب میشوند
- وحشتزدگی از تعداد بالای صفحات “Excluded” (مستثنی شده):
- اشتباه: تصور میکنند هر صفحهای در “Excluded” یک خطاست.
- واقعیت: یک سایت سالم و بزرگ باید تعداد زیادی صفحه Excluded داشته باشد. این نشان میدهد که تگهای noindex، ریدایرکتها و کنونیکالهای شما به درستی کار میکنند و گوگل در حال مدیریت محتوای تکراری است.
- نادیده گرفتن “Crawled – currently not indexed”:
- اشتباه: تصور میکنند این یک مشکل موقتی از سمت گوگل است و خودبهخود حل میشود.
- واقعیت: این معمولاً یک مشکل جدی کیفیت محتوا است. این سیگنال گوگل است که میگوید: “صفحه شما را دیدم، اما آنقدر مفید یا منحصربهفرد نبود که آن را ایندکس کنم.” این مستقیماً به فقدان سیگنالهای E-E-A-T (تجربه، تخصص، اعتبار، اعتماد) و عدم ارائه ارزش افزوده واقعی اشاره دارد.
- تلاش برای رفع (ریدایرکت کردن) تمام 404های “Excluded”:
- اشتباه: صرف ساعتها زمان برای پیدا کردن و ریدایرکت کردن هر URL مردهای که در بخش “Excluded > Not found (404)” ظاهر میشود.
- واقعیت: اینها 404های طبیعی هستند که در نقشه سایت شما نبودهاند. گوگل آنها را از لینکهای قدیمی یا خطاهای تایپی کشف کرده است. تا زمانی که اینها لینک داخلی شکسته نباشند، نیازی به اقدام فوری ندارند. تمرکز شما باید بر 404های بخش “Error” (Submitted URL not found) باشد.
- استفاده نادرست ازtxt برای Noindex کردن:
- اشتباه: برای اینکه صفحهای از ایندکس گوگل حذف شود، آن را در txt مسدود (Disallow) میکنند.
- واقعیت: این کار فاجعهبار است. Disallow فقط جلوی خزش را میگیرد، نه ایندکس. اگر صفحه قبلاً ایندکس شده باشد (یا لینکهای قوی داشته باشد)، در ایندکس باقی میماند و خطای “Indexed, though blocked by robots.txt” را ایجاد میکند. ابزار صحیح برای حذف از ایندکس، تگ noindex است (که برای دیده شدن، نباید در txt مسدود شود).
جمعبندی (نتیجهگیری اقداممحور)
درک گزارش Page Indexing در سرچ کنسول، فراتر از یک بررسی آماری است؛ این یک ممیزی فنی حیاتی برای سلامت وبسایت شما محسوب میشود. هدف شما نباید «صفر» کردن بخش Excluded باشد، بلکه باید اطمینان حاصل کنید که هر URL دقیقاً در وضعیتی قرار دارد که باید باشد: صفحات ارزشمند و اصلی در وضعیت «Valid» و صفحات تکراری یا فنی به درستی در «Excluded» مدیریت میشوند.
استفاده از این راهنما به عنوان یک چکلیست اولویتبندی شده، به شما امکان میدهد تا به جای واکنش به خطاها، به صورت فعال سلامت ایندکس سایت خود را مدیریت کرده و بودجه خزش (Crawl Budget) را بر روی محتوایی متمرکز کنید که مستقیماً به اهداف کسبوکار شما کمک میکند.