آموزش جامع: چگونه تگ‌های Noindex و Nofollow را به صورت دستی به صفحات خاص اضافه کنیم؟

هر متخصص سئوی نتیجه‌محوری می‌داند که رتبه‌بندی در گوگل فقط درباره چه صفحاتی در سایت شماست، بلکه درباره چه صفحاتی نیست! دستورات Noindex و Nofollow دو اهرم حیاتی در سئوی فنی هستند که به ما کمک می‌کنند تا با نهایت دقت و اختیار، با موتورهای جستجو صحبت کنیم.

شاید در نگاه اول، هر دو تگ فقط برای “بستن” یک چیز باشند، اما در واقع کارکردشان کاملاً متفاوت و نتیجه‌ی اشتباه در اجرای آن‌ها می‌تواند فاجعه‌بار باشد؛ از هدر رفتن بودجه خزش (Crawl Budget) گرفته تا افت ناگهانی اعتبار صفحات مهم. ما به عنوان متخصص تولید محتوا باید بدانیم که برای رسیدن به بالاترین بازدهی سئو و مدیریت نرخ خزش و ایندکس سایت، این دستورات چگونه عمل می‌کنند و چطور می‌توانیم از آن‌ها به عنوان یک مزیت رقابتی استفاده کنیم.

ما در این مقاله، عمیقاً به تفاوت‌های فنی و استراتژیک این دو تگ می‌پردازیم و از تجربیات واقعی برای جلوگیری از اشتباهات رایج صحبت می‌کنیم.

جدول کاربردی: مقایسه سریع Noindex و Nofollow

درک تفاوت و کاربرد حیاتی Noindex و Nofollow در سئو

تگ Noindex چیست و چه صفحاتی باید ایندکس نشوند؟

تگ Noindex در واقع یک دستور مستقیم به موتورهای جستجو (مثل گوگل) است که می‌گوید: “این صفحه را به هیچ عنوان در نتایج جستجو نشان نده!”

• این تگ مانع از نمایش صفحه در نتایج جستجو (SERP) می‌شود.
• مهم‌ترین کاربرد آن برای جلوگیری از ایندکس شدن محتوای کم‌ارزش یا تکراری است که نمی‌خواهیم رتبه بگیرد.
• اگر این تگ را به درستی استفاده نکنیم، باعث هدر رفتن بودجه خزش (Crawl Budget) می‌شود؛ یعنی ربات‌های گوگل وقت ارزشمندشان را برای بررسی صفحاتی صرف می‌کنند که هیچوقت نباید در نتایج باشند.

چه صفحاتی را باید Noindex کنیم؟

• صفحات لاگین، ثبت نام و پروفایل کاربری .
• صفحات نتایج فیلتر و جستجوی داخلی که ارزش سئویی ندارند.
• صفحات تشکر (Thank You Pages) بعد از تکمیل فرم یا خرید.
• نسخه‌های تکراری یا قدیمی محتوا (مگر اینکه از Canonical استفاده شود).
• صفحات با کیفیت پایین (Low-Quality/Thin Content) که در حال بهبود یا حذف هستیم.

تگ Nofollow چیست و چگونه قدرت Link Equity (PageRank) را کنترل می‌کند؟

تگ Nofollow در واقع یک دستور مستقیم به ربات‌های گوگل است که می‌گوید: “اعتباری که از این صفحه به این لینک منتقل می‌شود را دنبال نکن!”

• این تگ در داخل تگ <a> (تگ لینک) و در قسمت rel قرار می‌گیرد (مثلاً: <a href=”…” **rel=”nofollow”**>).
• کار اصلی آن جلوگیری از انتقال قدرت لینک (Link Equity) یا همان PageRank است. در سئو به این کار کنترل جریان اعتبار هم می‌گوییم.

چه زمانی از Nofollow استفاده می‌کنیم؟

• لینک‌های پولی یا تبلیغاتی (Sponsored): طبق دستورالعمل‌های گوگل، هر لینکی که بابت آن پول پرداخت شده باشد، باید rel=”sponsored” یا حداقل rel=”nofollow” بگیرد.
• لینک‌های داخل کامنت‌ها و محتوای تولید شده توسط کاربر (UGC): برای جلوگیری از اسپم شدن سایت با لینک‌های بی کیفیت، از rel=”ugc” یا rel=”nofollow” استفاده می‌شود.
• لینک به منابع نامعتبر یا خارجی: اگر به سایتی لینک می‌دهید که به اعتبار (Authority) آن اطمینان ندارید، بهتر است از nofollow استفاده کنید تا اعتبار سایت خودتان زیر سوال نرود.
• کنترل PageRank داخلی: در گذشته، از این تگ برای هدایت (Sculpting) اعتبار به صفحات مهم‌تر داخلی هم استفاده می‌شد، اما امروزه گوگل اغلب لینک‌های داخلی nofollow شده را نادیده می‌گیرد و توصیه بر استفاده محدود از آن در لینک‌های داخلی است.

عواقب عدم استفاده صحیح: از هدر رفتن بودجه خزش (Crawl Budget) تا جریمه محتوای کم‌ارزش

نادیده گرفتن یا استفاده نادرست از این دو تگ حیاتی، می‌تواند ضربه‌های سنگینی به سئوی سایت شما بزند:

• ۱. هدر رفتن بودجه خزش (Crawl Budget Waste) با Noindex:
  • وقتی صفحات کم‌ارزش یا تکراری (مثل صفحات فیلتر متعدد) ایندکس می‌شوند، ربات‌های گوگل مدام برای بررسی و خزش آن‌ها می‌آیند.
  • این باعث می‌شود وقت ربات‌ها تلف شود و برای خزش صفحات واقعاً مهم (مثل محصولات جدید یا مقالات جدید) دیرتر بیایند، در نتیجه زمان ایندکس شدن آن‌ها طولانی‌تر می‌شود.
• ۲. جریمه محتوای تکراری/کم‌ارزش با Noindex:
  • ایندکس شدن صفحات کم‌ارزش به طور گسترده، اعتبار کلی سایت شما را در چشم گوگل پایین می‌آورد و سیگنال می‌دهد که سایت شما کیفیت تولید محتوای خوبی ندارد.
• ۳. از دست دادن اعتبار (Link Equity Loss) با Nofollow:
  • اگر لینک‌های خروجی مهم و با کیفیت را بی‌دلیل nofollow کنید، سیگنال‌های مثبت به گوگل ارسال نمی‌شود و این بر اعتبار ارجاع‌دهی سایت شما تأثیر منفی می‌گذارد.
  • همچنین لینک ندادن صحیح به منابع معتبر، باعث کاهش اعتماد (Trust) کاربر و گوگل به محتوای شما می‌شود.

راهنمای گام به گام افزودن دستی تگ Noindex (متا تگ روبات)

استفاده از تگ Noindex یک تصمیم فنی و استراتژیک است که مستقیماً روی Crawl Budget و کیفیت کلی سایت شما تأثیر می‌گذارد. در اینجا دو روش اصلی برای اعمال این دستور حیاتی آمده است:

روش اول: افزودن کد به بخش <head> در HTML (برای صفحات مستقل)

این متداول‌ترین و ساده‌ترین روش برای صفحات HTML است و معمولاً از طریق تنظیمات افزونه‌های سئو (مثل یوآست یا رنک مث) یا به صورت دستی در کد قالب CMS (سیستم مدیریت محتوا) اعمال می‌شود.

نحوه پیاده‌سازی:

1. شناسایی صفحه: صفحه‌ای که می‌خواهید از نتایج جستجو حذف شود را مشخص کنید.
2. دسترسی به کد: وارد بخش ویرایش کد (یا بخش تنظیمات سئوی پیشرفته) آن صفحه شوید.
3. قرار دادن تگ: کد زیر را دقیقاً در بین تگ‌های <head> و </head> صفحه قرار دهید:

HTML

<meta name=”robots” content=”noindex, follow”>

• توضیح کد:
  • name=”robots”: مشخص می‌کند که این دستور برای همه ربات‌های موتور جستجو (گوگل، بینگ و…) است.
  • content=”noindex”: دستور اصلی ما برای ایندکس نکردن صفحه در نتایج جستجو.
  • follow: این بخش بسیار مهم است! به ربات‌ها می‌گوید: “صفحه را ایندکس نکن، اما لینک‌های موجود در آن را دنبال کن و اعتبار آن‌ها را به صفحات مقصد منتقل کن.” اگر می‌خواهید لینک‌ها هم دنبال نشوند، باید از noindex, nofollow استفاده کنید.

روش دوم: استفاده از هدرهای پاسخ HTTP (X-Robots-Tag) برای فایل‌ها و صفحات غیر HTML

وقتی با فایل‌هایی مثل PDF، تصاویر، ویدئوها یا صفحات کاملاً داینامیک (Dynamic) سر و کار داریم که تگ <head> در HTML ندارند، نمی‌توانیم از روش اول استفاده کنیم. اینجا X-Robots-Tag به کار می‌آید.

نحوه پیاده‌سازی:

این روش نیاز به دسترسی به تنظیمات سرور (معمولاً فایل .htaccess در Apache یا تنظیمات Nginx) دارد. ما در این روش دستور Noindex را مستقیماً در Header پاسخ HTTP که سرور به مرورگر و ربات گوگل می‌دهد، قرار می‌دهیم.

1. در سرور Apache (فایل .htaccess):

Apache

<FilesMatch “\.(pdf|doc|xls)$”>

Header set X-Robots-Tag “noindex, nofollow”

</FilesMatch>

1. • این دستور به سرور می‌گوید که برای هر فایلی که پسوند pdf، doc یا xls دارد، یک هدر پاسخ حاوی دستور noindex, nofollow ارسال کند.
2. از طریق زبان برنامه‌نویسی (مثلاً PHP):

اگر یک صفحه کاملاً داینامیک را با PHP کنترل می‌کنید، می‌توانید از تابع header() استفاده کنید:

PHP

<?php

header(“X-Robots-Tag: noindex, nofollow”, true);

// بقیه محتوای صفحه

?>

نکته فنی : X-Robots-Tag قدرتمندتر و انعطاف‌پذیرتر است، چون مستقیماً از سمت سرور ارسال می‌شود و قبل از اینکه ربات حتی محتوای HTML را ببیند، دستور را دریافت می‌کند. این راهکار بهترین انتخاب برای بلاک کردن فایل‌های غیرضروری است.

مثال عملی: Noindex کردن صفحه “نتایج جستجوی داخلی” و “سبد خرید“

این‌ها دو نمونه کلاسیک از صفحاتی هستند که باید Noindex شوند، چون ارزش سئویی ندارند و تنها Crawl Budget شما را تلف می‌کنند.

جزئیات مثال صفحه جستجوی داخلی:

معمولاً صفحات نتایج جستجوی داخلی را با دستور noindex, nofollow می‌بندیم تا مطمئن شویم:

1. Noindex: این نتایج بی‌ارزش در گوگل دیده نمی‌شوند.
2. Nofollow: ربات‌ها لینک‌های درون این نتایج (که اغلب بسیار متعدد هستند) را دنبال نمی‌کنند و اعتبار بی‌جهت به صفحات کم‌اهمیت نمی‌دهند.

توجه کن: برای اعمال این دستور روی تمام صفحات جستجوی داخلی در وردپرس، لازم نیست تک تک کد بزنید! کافیست به تنظیمات افزونه سئوی خود بروید (مانند Yoast یا Rank Math) و گزینه “Noindex Search Results” را فعال کنید. این کار به صورت خودکار تگ لازم را در <head> صفحات جستجوی داخلی تزریق می‌کند.

این یک بینش عملی و نتیجه‌محور است که بهت کمک می‌کنه! با اجرای درست این موارد، داری یک قدم بزرگ برای بهینه‌سازی فنی برمی‌داری.

راهنمای گام به گام افزودن دستی تگ Nofollow (تگ Rel)

تگ rel=”nofollow” در تگ <a>: کنترل لینک‌های خروجی (External Links)

تگ Nofollow یک ویژگی (Attribute) است که در داخل تگ <a> (Anchor Tag) قرار می‌گیرد و به موتورهای جستجو می‌گوید که “این لینک را برای انتقال اعتبار دنبال نکنید.”

نحوه پیاده‌سازی:

1. شناسایی لینک: لینکی که قصد دارید اعتبار (Link Equity) منتقل نکند را مشخص کنید (معمولاً لینک‌های خارجی غیرقابل اعتماد).
2. افزودن Attribute: ویژگی rel=”nofollow” را به تگ <a> اضافه کنید:

HTML

<a href=”https://example.com/untrusted-source” rel=”nofollow”>متن لینک شده</a>

عملکرد حیاتی:

• وقتی ربات گوگل به این تگ می‌رسد، متوجه می‌شود که نباید اعتبار سئوی صفحه شما را از طریق این لینک به سایت مقصد منتقل کند.
• نکته فنی (E-E-A-T): هدف اصلی این تگ، جلوگیری از اسپم لینک‌ها و محافظت از اعتبار سایت شماست در برابر لینک دادن به منابعی که کنترل محتوای آن‌ها را ندارید.

چه زمانی باید از rel=”sponsored” و rel=”ugc” استفاده کنیم؟ (تکامل Nofollow)

در سال ۲۰۱۹، گوگل دو ویژگی جدید برای کنترل لینک‌ها معرفی کرد که جایگزین دقیق‌تری برای Nofollow در شرایط خاص هستند. این کار به گوگل کمک می‌کند تا نوع و هدف لینک‌ها را بهتر درک کند.

گوگل اعلام کرده است که اکنون هر سه ویژگی (nofollow, sponsored, ugc) را به عنوان نشانه‌های (Hints) در نظر می‌گیرد و نه دستورات مطلق. با این حال، استفاده از sponsored و ugc برای رعایت دستورالعمل‌ها و افزایش شفافیت، اکیداً توصیه می‌شود.

مثال عملی: Nofollow کردن لینک‌های کامنت‌ها و لینک‌های تبلیغاتی (Affiliate)

استفاده صحیح از این تگ‌ها در دو سناریوی بسیار رایج اهمیت پیدا می‌کند:

۱. لینک‌های کامنت‌ها (Comments Links): استفاده از rel=”ugc”

اگر از وردپرس یا هر CMS دیگری استفاده می‌کنید، مطمئن شوید که سیستم شما به طور خودکار ویژگی rel=”ugc” یا حداقل rel=”nofollow” را به لینک‌های داخل کامنت‌ها اضافه می‌کند.

• چرا؟ برای جلوگیری از سوءاستفاده اسپمرها که لینک‌های بی‌کیفیت و مخرب خود را در بخش نظرات قرار می‌دهند. اگر این کار را نکنید، سایت شما تبدیل به یک مزرعه لینک اسپم (Spam Link Farm) می‌شود که اعتبارش به شدت کاهش می‌یابد.
• مثال (داخلی CMS): اگر کاربری کامنتی با لینک بگذارد، خروجی HTML باید به این صورت باشد:

HTML

<a href=”https://example.com/spam-site” rel=”ugc”>لینک اسپم</a>

۲. لینک‌های تبلیغاتی و افیلیت (Affiliate Links): استفاده از rel=”sponsored”

هر زمان که از یک سرویس افیلیت مارکتینگ (بازاریابی پورسانتی) استفاده می‌کنید و لینک‌هایی را برای کسب درآمد در محتوای خود قرار می‌دهید، این لینک یک لینک پولی محسوب می‌شود و باید با rel=”sponsored” مشخص شود.

• چرا؟ پنهان کردن ماهیت پولی لینک، خلاف دستورالعمل‌های گوگل است و می‌تواند منجر به جریمه‌های دستی (Manual Penalties) شود.
• مثال عملی:

HTML

<a href=”https://affiliate-platform.com/product-x” rel=”sponsored”>خرید بهترین محصول با تخفیف</a>

اشتباهات رایج و نکات تخصصی در استفاده از Noindex و Nofollow

تله‌ی ترکیب کردن Noindex با Disallow در Robots.txt: چرا این کار اشتباه است؟ (تجربه)

این یکی از بزرگ‌ترین و پرتکرارترین اشتباهات فنی در سئو است و اگر مرتکبش بشی، نتیجه دقیقاً برعکس چیزی میشه که می‌خوای!

• دستور Disallow در Robots.txt: به ربات می‌گوید: “حق خزش (Crawl) در این صفحه را نداری و فایل را نخوان.”
• دستور Noindex (متا تگ روبات): به ربات می‌گوید: “این صفحه را خزش کن، تگ Noindex را ببین و آن را در نتایج جستجو ایندکس نکن.”

تله کجاست؟

اگر یک صفحه را همزمان Disallow کنید و درون آن تگ Noindex قرار دهید:

1. ربات گوگل به دلیل دستور Disallow هرگز فایل را نمی‌خواند و وارد صفحه نمی‌شود.
2. چون ربات وارد صفحه نشده، تگ Noindex را نمی‌بیند.
3. در نتیجه، گوگل ممکن است آن صفحه را بر اساس لینک‌های خارجی یا داخلی که به آن اشاره کرده‌اند، ایندکس کند، اما بدون هیچ محتوایی! این به صورت “A description for this result is not available because of this site’s robots.txt” در نتایج گوگل ظاهر می‌شود.

نتیجه (بینش عملی):

برای اینکه مطمئن شوید یک صفحه ایندکس نمی‌شود، باید اجازه دهید خزش شود تا ربات گوگل بتواند تگ Noindex را بخواند. ابتدا Noindex کن، بگذار از نتایج حذف شود، و سپس اگر قصد داشتی برای حفظ Crawl Budget آن را ببندی، می‌توانی به فکر Disallow باشی (که البته در اکثر موارد، پس از اعمال Noindex دیگر نیازی به این کار نیست).

چگونه مطمئن شویم که تگ‌ها به درستی اعمال و توسط گوگل درک شده‌اند؟ (کنسول جستجوی گوگل)

تخصص ما در سئو فقط در کدنویسی نیست؛ بلکه در تأیید نتایج آن است. بهترین ابزار برای این کار، گوگل سرچ کنسول (GSC) است.

1. بررسی وضعیت ایندکس در گزارش پوشش (Coverage Report):
   • به بخش Pages (صفحات) در سرچ کنسول بروید.
   • به دنبال ردیف “Excluded by ‘noindex’ tag” یا “Blocked by robots.txt” بگردید.
   • اگر صفحه‌ای را Noindex کرده‌اید، باید بعد از مدتی در این بخش ظاهر شود. این یعنی گوگل تگ شما را دیده و به آن عمل کرده است.
2. ابزار بازرسی URL (URL Inspection Tool):
   • این ابزار دقیق‌ترین راه برای چک کردن لحظه‌ای یک صفحه است.
   • آدرس صفحه‌ای که تگ Noindex به آن داده‌اید را در بالای سرچ کنسول وارد کنید.
   • در بخش Indexing (ایندکس شدن)، اگر وضعیت به‌صورت “No: Excluded by ‘noindex’ tag” باشد، یعنی شما کارتان را درست انجام داده‌اید.
3. تأیید Nofollow در سورس کد:
   • برای تأیید تگ Nofollow، کافی است در مرورگر روی لینک راست کلیک کرده و گزینه “View Page Source” (مشاهده سورس صفحه) را بزنید.
   • در کد جستجو کنید و مطمئن شوید که rel=”nofollow”, rel=”sponsored”, یا rel=”ugc” در تگ <a> اعمال شده باشد.

مدیریت صفحاتی مانند “تشکر از خرید” و “صفحات فیلتر شده”: رویکرد استراتژیک (تخصص)

به عنوان یک متخصص، ما باید بین نیاز کاربر (CRO) و سئو تعادل برقرار کنیم. این صفحات نمونه‌هایی هستند که نیاز به تصمیم استراتژیک دارند:

جمع‌بندی (نتیجه‌گیری)

همانطور که با هم دیدیم، Noindex و Nofollow هرچند ساده به نظر می‌رسند، اما ستون‌های اصلی سئو فنی ما برای مدیریت استراتژیک سایت هستند. در نهایت، باید به این درک رسید که:

1. Noindex یک اقدام در سطح صفحه است و هدفش کنترل ظاهر شدن در گوگل است. از آن برای صفحات تشکر، سبد خرید، نتایج فیلتر و محتوای کم‌ارزش استفاده می‌کنیم تا Crawl Budget خود را بهینه کنیم.
2. Nofollow یک اقدام در سطح لینک است و هدفش کنترل انتقال اعتبار است. از آن برای لینک‌های پولی، افیلیت و محتوای تولیدی کاربر (ugc و sponsored) استفاده می‌کنیم تا از جریمه‌های گوگل در امان بمانیم و اعتبار سایت‌مان را حفظ کنیم.

فراموش نکن که سئو یک فرآیند مداوم است. با استفاده هوشمندانه و تأیید وضعیت در سرچ کنسول (GSC) پس از اعمال تغییرات، می‌توانی مطمئن شوی که ربات‌های گوگل وقتشان را فقط صرف بهترین و پرارزش‌ترین محتوای تو می‌کنند. این یعنی یک قدم اساسی برای موفقیت در سئوی نتیجه‌محور.