فهرست مطالب
ساخت سایت مپ با این ابزار از خزیدن واقعی سایت شما انجام میشود. نشانی صفحهٔ اصلی سایت را وارد کنید، حداکثر تعداد صفحهها را بین یک تا سیصد مشخص کنید و دکمهٔ ساخت سایتمپ را بزنید. خزندهٔ ابزار از صفحهٔ اصلی شروع میکند، لینک‌های داخلی هر صفحه را دنبال میکند و در حداکثر حدود سی ثانیه، فهرستی از صفحههای قابل ایندکس سایت میسازد. نتیجه فایل sitemap.xml استانداردی است که می‌توانید کپی یا دانلود کنید. زیر فایل، جدولی هم نمایش داده میشود که همهٔ صفحههای پیداشده را با عمق هر کدام نشان میدهد؛ یعنی چند کلیک از صفحهٔ اصلی فاصله دارند. این جدول به اندازهٔ خود فایل مفید است، چون ساختار لینک‌های داخلی سایت را جلوی چشمتان می‌گذارد.
راهنمای استفاده از ساخت سایتمپ
- آدرس صفحهٔ اصلی سایت را وارد کنید (مثلا https://example.com).
- حداکثر تعداد صفحات را مشخص کنید و «ساخت سایتمپ» را بزنید.
- فایل XML را دانلود کنید، در ریشهٔ سایت قرار دهید و در سرچ کنسول ثبت کنید.
سایتمپ چیست و چه کسی به آن نیاز دارد؟
سایتمپ یا نقشهٔ سایت، فایلی با قالب XML است که فهرست نشانی صفحههای مهم سایت را برای موتورهای جست‌وجو اعلام میکند. موتور جست‌وجو صفحهها را عمدتا با دنبال کردن لینک‌ها پیدا میکند؛ از صفحه‌ای به صفحهٔ دیگر. سایتمپ راه دومی است که به خزنده می‌گوید این صفحهها وجود دارند، حتی اگر از مسیر لینک‌ها دیر به آنها برسد. قالب این فایل در پروتکلی به نام sitemaps.org تعریف شده که گوگل، بینگ و بقیهٔ موتورهای بزرگ آن را می‌شناسند.
گوگل خودش گفته است که سایتهای کوچک با لینک‌دهی داخلی خوب، که همهٔ صفحه‌هایشان از صفحهٔ اصلی قابل رسیدن است، ممکن است اصلا به سایتمپ نیاز نداشته باشند. سایتمپ برای سایتهای بزرگ، سایتهای تازه‌ای که هنوز لینک بیرونی کمی دارند، سایت‌هایی با صفحههای زیاد که لینک داخلی ضعیفی دارند و سایت‌هایی که محتوای تازه زیاد منتشر می‌کنند، ارزش بیشتری دارد. با این حال، ساختن و ثبت آن هزینه‌ای ندارد و تقریبا همهٔ کارشناسان سئو آن را برای هر سایتی توصیه می‌کنند.
آیا سایت شما خودش سایتمپ دارد؟
پیش از استفاده از این ابزار، بررسی کنید سایتتان سایتمپ خودکار دارد یا نه. وردپرس از نسخهٔ پنج و نیم به بعد به‌طور پیش‌فرض یک سایتمپ پایه میسازد و افزونه‌های سئوی رایج وردپرس هم سایتمپ کامل‌تری جایگزین آن می‌کنند. بیشتر فروشگاه‌سازها و سایت‌سازهای آماده هم سایتمپ خودکار دارند. سایتمپ خودکار با هر صفحهٔ تازه به‌روز میشود و برای این سایت‌ها بهترین گزینه است؛ فایل ساخته‌شده با ابزار را جایگزینش نکنید.
برای پیدا کردن سایتمپ موجود، نام فایل سایتمپ را به انتهای نشانی دامنه اضافه کنید و در مرورگر باز کنید. فایل robots.txt سایت را هم نگاه کنید؛ معمولا خطی با نشانی سایتمپ در آن هست. اگر هیچ‌کدام نتیجه نداد، احتمالا سایت شما سایتمپ ندارد و این ابزار به کارتان می‌آید. سایتهای ایستا که با HTML ساده ساخته شدهاند، سایتهای کدنویسی‌شدهٔ اختصاصی و صفحههای فرود کمپین‌ها رایج‌ترین موارد استفاده‌اند.
ساخت سایت مپ؛ خزنده دقیقا چه میکند؟
خزندهٔ ابزار با نامی مشخص که در گزارش‌های سرور شما دیده میشود، از صفحهٔ اصلی شروع میکند. هر صفحه را دریافت میکند، لینک‌های داخل آن را بیرون می‌کشد و صفحههایی را که هنوز ندیده، به صف اضافه میکند. چند صفحه را همزمان دریافت میکند تا کار در زمان کوتاهی تمام شود و وقتی به سقف صفحهها یا سقف زمانی برسد، متوقف میشود. فقط لینک‌هایی دنبال می‌شوند که روی همان دامنه‌ای باشند که وارد کرده‌اید؛ لینک به سایتهای دیگر و حتی به زیردامنه‌های خودتان نادیده گرفته میشود.
چند قاعده تعیین میکند کدام صفحه در فایل نهایی بیاید. فقط صفحههایی که با موفقیت باز شوند و محتوای HTML داشته باشند ثبت می‌شوند؛ صفحهٔ خطای ۴۰۴ یا خطای سرور ثبت نمی‌شود و در پیام پایانی به‌عنوان خطا شمرده میشود. لینک به فایل‌هایی مثل تصویر، پی‌دی‌اف، فایل فشرده، ویدئو، صوت و فایل‌های اداری اصلا دنبال نمی‌شود. اگر صفحه‌ای به صفحهٔ دیگری روی همان دامنه هدایت شود، نشانی نهایی ثبت میشود. بخش لنگر نشانی‌ها، یعنی بخشی که با علامت شارپ شروع میشود، حذف میشود تا یک صفحه چند بار ثبت نشود.
صفحههایی که متاتگ noindex دارند، در فایل نمیآیند؛ چون فرستادن صفحه‌ای که نمی‌خواهید ایندکس شود در سایتمپ، پیام متناقضی به گوگل میدهد. تعداد این صفحهها در پیام پایانی گزارش میشود. اگر صفحه‌ای متاتگ nofollow داشته باشد، خود صفحه ثبت میشود ولی لینک‌هایش دنبال نمی‌شوند. اگر نشانیهای سایت حروف فارسی داشته باشند، ابزار آنها را به شکل کدگذاری‌شده‌ای که پروتکل سایتمپ می‌خواهد در فایل مینویسد.
آنچه خزنده نمی‌بیند
خزندهٔ ابزار کد HTML خام صفحه را می‌خواند و جاوااسکریپت اجرا نمی‌کند. اگر منوی سایت یا لینک‌های فهرست محصولات شما فقط پس از اجرای جاوااسکریپت ساخته می‌شوند، خزنده آن لینک‌ها را نمی‌بیند و صفحههای پشت آنها در فایل نمیآیند. این خودش نشانهٔ مهمی است؛ گوگل جاوااسکریپت را اجرا میکند، اما با تأخیر و نه همیشه کامل، و لینک‌هایی که در HTML خام وجود دارند همیشه سریع‌تر و مطمئن‌تر کشف می‌شوند.
ابزار فایل robots.txt سایت را نمی‌خواند و تگ canonical صفحهها را هم در انتخاب نشانی‌ها لحاظ نمی‌کند. یعنی اگر مسیری را در robots.txt مسدود کرده‌اید، یا صفحههایی دارید که canonical آنها به صفحهٔ دیگری اشاره میکند، مثل نسخه‌های مرتب‌شده یا فیلترشدهٔ فهرست محصولات با پارامتر، ممکن است در فهرست بیایند. سایتمپ فقط باید نشانیهای اصلی و قابل ایندکس را داشته باشد؛ پیش از استفاده، جدول را مرور کنید و چنین نشانی‌هایی را از فایل حذف کنید. صفحههایی که هیچ لینک داخلی به آنها نمی‌رسد هم پیدا نمی‌شوند.
جدول عمق؛ آینهٔ لینک‌های داخلی سایت
ستون عمق در جدول نتایج نشان میدهد هر صفحه چند کلیک از صفحهٔ اصلی فاصله دارد. صفحهٔ اصلی عمق صفر دارد، صفحههایی که مستقیم از صفحهٔ اصلی لینک شدهاند عمق یک و همین‌طور تا آخر. جدول هم بر اساس همین عمق مرتب شده است. موتورهای جست‌وجو صفحههایی را که به صفحهٔ اصلی نزدیک‌ترند، معمولا مهم‌تر می‌دانند و زودتر و بیشتر می‌خزند. صفحهٔ مهمی که در عمق چهار یا پنج افتاده، یعنی کاربر و خزنده باید چهار پنج بار کلیک کنند تا به آن برسند.
اگر در جدول دیدید محصولات پرفروش یا مقاله‌های مهم شما در عمق زیاد قرار دارند، راه حل در خود سایت است، نه در سایتمپ. از صفحهٔ اصلی یا از صفحههای دسته‌بندی به آنها لینک بدهید، در منو یا پانویس جایشان دهید یا از مقاله‌های مرتبط به آنها لینک کنید. صفحه‌ای را هم که انتظار داشتید در جدول ببینید و نیست، جدی بگیرید؛ احتمالا هیچ لینک داخلی معمولی به آن نمی‌رسد و گوگل هم برای پیدا کردنش فقط به سایتمپ متکی است.
priority و lastmod؛ واقعا مهم‌اند؟
پروتکل سایتمپ برای هر نشانی سه فیلد اختیاری دارد؛ تاریخ آخرین تغییر، تناوب تغییر و اولویت. ابزار برای اولویت مقداری بر اساس عمق صفحه مینویسد؛ صفحهٔ اصلی یک، و برای هر سطح عمق، دو دهم کمتر تا حداقل سه دهم. جدول زیر این قاعده را نشان میدهد.
| عمق صفحه | priority در فایل |
|---|---|
| ۰ (صفحهٔ اصلی) | ۱٫۰ |
| ۱ | ۰٫۸ |
| ۲ | ۰٫۶ |
| ۳ | ۰٫۴ |
| ۴ و بیشتر | ۰٫۳ |
گوگل صریحا اعلام کرده که مقدار اولویت و تناوب تغییر را نادیده میگیرد. پس این عددها در گوگل اثری ندارند و برای موتورهای دیگر هم در بهترین حالت راهنمایی ضعیفی‌اند. تاریخ آخرین تغییر داستان دیگری است؛ گوگل از آن استفاده میکند، اما فقط اگر در طول زمان دقیق و قابل اعتماد باشد. چون ابزار نمی‌تواند تاریخ واقعی تغییر محتوای هر صفحه را بداند، این فیلد را نمی‌نویسد. تاریخ نادرست بدتر از نبود تاریخ است، چون اعتماد گوگل به این فیلد را در کل سایت کم میکند. اگر سیستم سایت شما تاریخ تغییر واقعی را دارد، سایتمپ خودکار همان سیستم بهتر از فایل ایستاست.
فایل را کجا بگذاریم و چطور ثبت کنیم؟
فایل دانلودشده را در ریشهٔ دامنه بارگذاری کنید، همان پوشه‌ای که صفحهٔ اصلی سایت در آن است، طوری که با نشانی دامنه و نام فایل باز شود. طبق پروتکل، هر سایتمپ فقط نشانیهای پوشهٔ خودش و زیرپوشههایش را پوشش میدهد؛ فایلی که در ریشه است همهٔ سایت را پوشش میدهد. بعد یک خط به فایل robots.txt اضافه کنید که نشانی کامل سایتمپ را اعلام میکند؛ این‌طور، همهٔ موتورهای جست‌وجو بدون ثبت دستی هم فایل را پیدا می‌کنند. برای ساختن یا ویرایش این فایل، ساخت فایل robots.txt گزینهٔ مخصوص نشانی سایتمپ دارد.
برای ثبت در گوگل، وارد سرچ کنسول شوید، در بخش سایت‌مپ‌ها نشانی فایل را وارد و ارسال کنید. سرچ کنسول پس از خواندن فایل، تعداد نشانیهای پیداشده و هر خطایی را گزارش میدهد. در ابزار وبمستر بینگ هم بخش مشابهی وجود دارد. ثبت فقط یک بار لازم است و موتورهای جست‌وجو پس از آن، فایل را دوره‌ای دوباره می‌خوانند. هر وقت صفحهٔ مهمی به سایت اضافه یا از آن حذف کردید، سایتمپ را دوباره بسازید و فایل قبلی را جایگزین کنید.
نمونه؛ خواندن نتیجهٔ خزش یک سایت کوچک
فرض کنید سایت یک دفتر معماری را خزیده‌اید و پیام پایانی می‌گوید سی‌وهشت صفحه پیدا شد، دو صفحهٔ noindex کنار گذاشته شد و سه خطا رخ داد. اول سراغ خطاها بروید؛ سه لینک داخلی در سایت به صفحههایی اشاره می‌کنند که دیگر وجود ندارند یا خطا می‌دهند. این لینک‌های شکسته هم کاربر را سرخورده می‌کنند و هم بودجهٔ خزش را هدر می‌دهند. دو صفحهٔ noindex احتمالا صفحهٔ تشکر فرم تماس و صفحهٔ ورود مدیر سایت‌اند؛ اگر صفحهٔ دیگری است که باید ایندکس شود، متاتگ آن را اصلاح کنید.
بعد جدول عمق را نگاه کنید. صفحهٔ اصلی، صفحهٔ درباره ما، صفحهٔ تماس و صفحهٔ نمونه‌کارها در عمق یک‌اند که طبیعی است. اما اگر صفحهٔ هر پروژه در عمق سه یا چهار افتاده، یعنی کاربر باید از نمونه‌کارها به دسته‌بندی و از دسته‌بندی به صفحهٔ دوم فهرست برود تا به پروژه برسد. لینک مستقیم از صفحهٔ نمونه‌کارها به همهٔ پروژه‌ها، یا لینک پروژه‌های شاخص از صفحهٔ اصلی، این عمق را کم میکند. در آخر، فهرست را برای نشانیهای تکراری با پارامتر مرور کنید؛ اگر نسخهٔ مرتب‌شده یا صفحه‌بندی‌شدهٔ همان فهرست چند بار آمده، آنها را از فایل حذف کنید.
اشتباه‌های رایج در سایتمپ
سایتمپ باید فقط نشانی‌هایی را داشته باشد که می‌خواهید در نتایج جست‌وجو ببینید؛ یعنی نسخهٔ اصلی و قابل ایندکس هر صفحه. رایج‌ترین اشتباه، آمدن نشانی‌هایی است که به جای دیگری هدایت می‌شوند، خطای ۴۰۴ می‌دهند، noindex دارند یا canonical آنها به صفحهٔ دیگری اشاره میکند. هر کدام از این‌ها پیام متناقضی به گوگل میدهد و سرچ کنسول هم برایشان هشدار نشان میدهد. ابزار سه مورد اول را خودش کنار می‌گذارد، اما مورد چهارم را باید خودتان بررسی کنید.
اشتباه دوم، مخلوط شدن نسخه‌های مختلف دامنه است؛ نشانی‌هایی با پروتکل امن و ناامن، یا با و بدون پیشوند دبلیو، در یک فایل. همهٔ نشانیهای سایتمپ باید با نسخهٔ اصلی سایت یکی باشند. اشتباه سوم، فراموش کردن سایتمپ پس از تغییر ساختار سایت است؛ مثلا پس از تغییر نشانی‌ها، سایتمپ قدیمی هنوز نشانیهای قبلی را اعلام میکند. و اشتباه چهارم، گذاشتن سایتمپ سایت آزمایشی یا نسخهٔ در حال توسعه، با دامنهٔ دیگری، روی سایت اصلی است. پیش از بارگذاری، چند نشانی تصادفی از فایل را در مرورگر باز کنید و مطمئن شوید همه درست کار می‌کنند. اگر نشانی‌ای کدگذاری‌شده و ناخواناست، رمزگشایی URL شکل فارسی آن را نشان میدهد.
محدودیت‌ها و سایتهای بزرگ
پروتکل سایتمپ برای هر فایل سقف پنجاه هزار نشانی و پنجاه مگابایت حجم بدون فشردهسازی تعیین کرده است. سایتهای بزرگتر چند فایل سایتمپ می‌سازند و یک فایل شاخص که فهرست همهٔ آنها را دارد. این ابزار برای سایتهای کوچک و متوسط طراحی شده و حداکثر سیصد صفحه را در هر بار اجرا میخزد. برای جلوگیری از فشار روی سایت‌ها، هر کاربر در هر ده دقیقه تعداد محدودی خزش میتواند انجام دهد. اگر سایت شما بیش از سیصد صفحه دارد، به احتمال زیاد سیستمی پشت آن است که سایتمپ خودکار میسازد و باید از همان استفاده کنید.
خزنده فقط به سایتهای عمومی روی اینترنت و از درگاه‌های استاندارد وب دسترسی دارد و نشانیهای شبکهٔ داخلی یا سایت‌هایی که روی رایانهٔ خودتان در حال توسعه‌اند را نمی‌خزد. اگر سایت شما پشت سرویس محافظت در برابر ربات‌هاست، ممکن است خزنده را مسدود کند و ابزار صفحهٔ کمی پیدا کند. نشانی سایت را دقیقا به همان شکلی وارد کنید که نسخهٔ اصلی است، با یا بدون پیشوند دبلیو؛ چون این دو از نظر خزنده دو میزبان جداگانه‌اند.
سایتمپ ایندکس شدن را تضمین نمی‌کند
یک سوءتفاهم رایج این است که هر صفحه‌ای که در سایتمپ باشد، حتما در گوگل ایندکس میشود. سایتمپ فقط به گوگل می‌گوید این صفحهها وجود دارند و شما آنها را مهم می‌دانید؛ تصمیم دربارهٔ خزیدن و ایندکس کردن همچنان با خود گوگل است و به کیفیت محتوا، تکراری نبودن آن و اعتبار کلی سایت بستگی دارد. در گزارش صفحههای سرچ کنسول می‌توانید ببینید از نشانیهای سایتمپ چند تا ایندکس شدهاند و دلیل ایندکس نشدن بقیه چیست. اگر بخش بزرگی از صفحهها با وضعیت خزیده‌شده اما ایندکس‌نشده مانده‌اند، مشکل از محتوای آن صفحه‌هاست، نه از سایتمپ.
ابزارهای مرتبط
پس از ساختن سایتمپ، عنوان و توضیحات صفحههای مهم را با ساخت متا تگ بررسی کنید. اگر نشانیهای سایت فارسی و طولانی‌اند، ساخت اسلاگ نشانیهای کوتاه‌تر میسازد. بقیهٔ ابزارها در صفحهٔ ابزارهای سئو هستند.
آخرین بازبینی محتوا: · تیم تحریریه ابزار جیبی