دوره آموزش بهینه سازی وب سایت(SEO)- بخش پنجم-فایل ربات و فایل sitemap.xml

از گروه نرم افزاری باتیس در خدمت شما هستیم با بخش پنجم از دوره آموزش بهینه سازی وب سایت(SEO) یا همان سئو، در این بخش قصد داریم درباره فایل های Robots.txt و SiteMap.xml و نحوه ایجاد این دو فایل صحبت کنیم.

فایل Robots.txt

اگر شما به عنوان یک مدیر یا صاحب یک وب سایت می خواهید بخشی از سایت شما توسط موتور های جست وجو بررسی و ایندکس نشوند، می توانید از فایل Robots.txt استفاده کنید.فایل ربات شامل دستور هایی است که به موتور های جست وجو می فهماند که اجازه ندارند برخی از صفحات و فایل ها را بررسی کرده و یا وارد آن شوند و آن را در نتایج جست و جو نمایش دهند.محل قرار گیری این فایل در ریشه سایت است.

robots.txt
robots.txt

اگر صفحاتی در وب سایت خود دارید که سئو ضعیف دارند و نمی خواهید توسط موتور های جست و جو بررسی شوند تا امتیاز منفی در یافت نکنید می توانید نام آن صفحات یا فایل ها را در فایل ربات وارد کنید. دلیل دیگری که می توانید از این فایل استفاده کنید بالا بردن امنیت وب سایت شماست، اکثر وب سایت صفحه لاگین ادمین خود را در دسترس عموم قرار نمی دهند و آن را در یک صفحه جدا قرار داده و نام آن صفحه لاگین را در فایل ربات قرار می دهند تا با جست و جو در موتور های جست و جو هم نتوان صفحه لاگین را پیدا کرد از این امنیت وب سایت را تا حدودی می توان بالا برد.
برای ایجاد یک فایل ربات کافی است که فایل با پسوند txt ایجاد کرده و نام آن را robots قرار دهید و این فایل را در ریشه وب سایت قرار دهید.
حال می خواهیم چند دستور را که باید در فایل ربات قرار دهیم بررسی می کنیم:

دستور UserAgent

این دستور نام ربات جست و جوگر را مشخص می کندکه می تواند شامل گوگل، یاهو، بینگ،… باشد در واقع شما با این دستور مشخص می کنید که چه موتور های جست وجویی می توانند وب سایت شما را بررسی کنند.
به عنوان مثال اگر می خواهید فقط موتور گوگل وب سایت شما را بررسی کند دستور زیر را وارد کنید:

Useragent:googlebot

حال اگر می خواهید تمام موتور های جست وجو اجازه بررسی سایت شما را داشته باشند از دستور * استفاده کنید:

Useragent:*

دستور Disallow

این دستور به موتور های جست و جو اجازه نمی دهد که تمام فایل ها و صفحات را بررسی کنند، اگر می خواهید فایل یا صفحه ای را از چشم موتور های جست و جو دور نگه دارید نام آن صفحه یا فایل را در جلوی این دستور بنویسید:


Useragent:*
Disallow:/Content/
Disallow:/Files/images/mypic.jpg
Disallow:/Pages/example.html

اگر قصد دارید تمام فایل ها و صفحات و کل وب سایت شما بررسی نشود از دستور / استفاده کنید:


Useragent:*
Disallow:/

دستور Allow

این دستور مخالف دستور Disallow  بوده و به موتور های جست وجو میفهماند که اجازه بررسی چه فایل هایی را خواهند داشت.


Useragent:*
Disallow:/Content/
Allow:/Content/Pictures

این ۳ خط دستور نشان می دهد که تمام موتور های جست و جو اجازه بررسی سایت ما را دارند و نمی توانند پوشه content  را بررسی کنند اما می توانند زیر پوشه pictures  را بررسی کنند.

 

فایل Sitemap.xml

فایل sitemap  یا همان نقشه سایت فایلی با پسوند xml است که شامل فهرستی از تمام صفحاتی که در وب سایت شما وجود دارد در واقع ساختار کلی وب سایت شما در این فایل گنجانده شده است.

Site map  به موتور های جست وجو کمک می کند که ساختار سایت شما را بشناسد و بتواند بهتر در آن جست وجو و آن را بهتر بررسی کند.اگر وب سایت شما ساختار مشخصی ندارد حتما به شما توصیه می کنیم که این فایل را در وب سایت خود قرار دهید چرا که اگر موتور های جست و جو هنگام بررسی صفحات موجود در وب سایت شما دچار سردرگمی شوند و نتوانند ساختار سایت شما را درک کنند شاید دیگر به سایت شما مراجعه نکنند و این برای سئو شما مناسب نیست.

sitemap.xml
sitemap.xml

در جلسات قبل در مورد این که چگونه موتور های جست و جو متوجه می شوند شما وب سایت خود را بروز  و محتوای جدید در آن قرار می دهید صحبت شد که یک روش بررسی تعدا لینک های موجود در وب سایت و روش دوم بررسی فایل sitemap است.موتور های جست وجو با بررسی فهرست صفحات موجود متوجه می شوند که آیا صفحه جدیدی به سایت افزوده شده است یا خیر.

نویسنده مطلب: سالار اشرفی

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

+ 10 = 12