تمام کار هایی که در سایت انجام می شود در نهایت توسط ایندکس گوگل بررسی می شود و اگر جزئیات مورد قبول ربات گوگل بود وارد جستجوی اینترنت می شود. بنابراین تلاش طراحان وب و صاحبان سایت برای بالابردن بازدید صفحات وب است؛ اما برای اینکه بخواهید گوگل را از تولید محتوا جدید آگاه کنید لازم است تا اقداماتی را برای سرعت بخشیدن به این امر انجام دهید. فایل robots.txt یکی از روش های آگاه سازی گوگل است.
فایل robots.txt در واقع فایل نقشه سایت است. ربات گوگل به روش خریدن برای ایندکس شدن محتوا جستجو می کند و درصورتی که متن ارزش نشان دادن داشته باشد در نتایج جستجو نشان داده می شود. این فایل در واقع یک فایل متنی است که ربات ها گوگل را برای بررسی سایت راهنمایی می کند.
فایل robots.txt چیست؟
فایل robots.txt در واقع یکی از موارد بهینه سازی ایندکس صفحه های وب است؛ در واقع این فایل متنی به ربات هایی که به روش خریدن به جستجوی سایت می پردازند مسیر لازم را نشان می دهد؛ بنابراین نحوه استفاده از این فایل برای جستجوی ربات های گوگل بسیار مهم است. برای اینکه این فایل به درستی ایجاد شود نیازمند زمان کافی برای تنظیمات آن برای سایت است.
باید توجه داشت که اولین چیزی که موتور های جستجو آن را مشاهده می کنند همین فایل یعنی فایل robots.txt است. قرار گیری این فایل در هاست شما اجباری است. در صورتی که فایل ربات دات تی ایکس تی را اعمال نکنید گوگل به صورت خودکار تمام محتوا شما را بررسی می کند در نتیجه ایندکس صفحات زمان بیشتری می برد و در نهایت ممکن است اصلا مورد تائید گوگل قرار نگیرد.
از ایندکس شدن چه مواردی جلوگیری شود؟
یکی از قابلیت های مهم فایل robots.txt این مورد است که میتوان انتخاب کرد کدام قسمت سایت توسط گوگل بررسی شود و کدام قسمت سایت توسط ربات گوگل بررسی نشود؛ زیرا بررسی برخی صفحات ارزشی برای ایندکس شدن یا ایندکس شدن مجدد ندارد؛ مانند،
- محتواها تکراری در صفحات
- هر چیزی که باعث ایجاد محتوا اضافی و تکراری شود؛ مانند تگ ها و برچسب‌ها
- فیلترها مختلف، قیمت، سایز، رنگ و…
- تمامی صفحات مرتبط با ادمین و پنل کاربری
- پروفایل کاربران و مخاطبان سایت
- صفحات چت و پیام
- برخی از فایل هایی که نیازی به دیده شدن ندارند مانند فایل قالب ها
مدیریت لینک ها در فایل robots.txt
یکی از مزایای استفاده از فایل robots.txt مدیریت لینک هایی است که باعث بهبود عمکلکرد سئو سایت و در نتیجه قرار گیری سایت در قسمت سرچ می شود، است. URL Cloacing یا در واقع مسئله مخفی سازی لینک های مختلف و مورد نظر در سئو مطرح است. URL در واقع یکی از تکنیک های سئو شدن مطالب و بسایت است که لینک های مورد استفاده را از دید همگان به خصوص موتور های جستجو و کاربران دور نگه میدارد. با کمک فایل robots.txt این موضوع قابل مدیریت است.
توجه داشته باشید که استفاده از این تکنیک توسط افراد مبتدی انجام نشود و حتماً توسط افراد حرفه‌ای و یا باتجربه انجام شود؛ زیرا یکی از تکنیک های سئو کلاه سیاه همین موضوع مخفی سازی لینک است؛ بنابراین اگر به درستی این موضوع را اعمال نکنید از نظر گوگل شما قانون را نقض کرده اید و متهم خواهید بود و در نتیجه گوگل برای شما جریمه در نظر می‌گیرد.
ویژگی های ساخت robots.txt
مواردی برای ایجاد یک فایل robots.txt وجود دارد که درصورتی‌که رعایت نشود همان طور که گفته شد دچار نقض قوانین گوگل می شوید، این موارد به این صورت است:
- قرار گیری فایل txt در قسمت بالا یعنی top-level directory
- تایپ صحیح robots.txt و عدم ایجاد تغییر؛ یعنی نوشتن حروف بزرگ یا قاطی
- عدم توجه به فایل txt بدلیل وجود ربات ها مخرب
- اضافه کردن فایل txt به انتهای دامنه
دستورات مهم فایل txt چیست؟
User-agnet: مهم ترین قسمت برای آگاه سازی ربات های جستجو این قسمت است؛ اگر نمی خواهید یک قسمتی از سایت به هیچ عنوان بررسی نشود می توانید از moindex و یا قرار دادن رمز عبور استفاده کنید.
Disallow: برعکس قسمت قبل، در این قسمت شما تعیین می کنید که ربات جستجو ارزیابی انجام ندهد. در واقع عملیات محدود کردن ربات گوگل برای دسترسی به مسیر های مهم را انجام می دهد.
Allow: این قسمت از فایل txt ربات را قادر می سازد که بررسی را انجام دهد. با انتخاب این مورد شما تنها به یم ربات خاص اجازه می دهید تا ایندکس سایت را انجام دهد.
Sitemap: همانطور که از نام این مورد پیداست یعنی نقشه سایت، برای نشان دادن آدرس سایت برای ارزیابی ربات های جستجو استفاده می شود.
روش استفاده از سئو در فایل txt
- هیچ یک از قسمت های سایت را که برای کرال شدن آماده کرده اید مسدود نکنید.
- اگر لینکی مسدود شود فایل txt به‌درستی اعمال نمی شود در واقع اصلاً دنبال نمی شود و در نهایت ایندکس انجام نمی شود.
- برای اینکه قسمتی از فایل توسط ربات جستجو بررسی نشود بهتر است از رمز عبور استفاده شود؛ زیرا استفاده از گزینه Disallow مانع قوی ای نیست.
- موتور های جستجو برای قسمت های مختلف یعنی، متن، تصویر و… وجود دارند. ربات های جستجو قوانین ثابتی دارند که نیازی به دخالت شما ندارند؛ اما اگر بتوانید در آنها تغییر ایجاد کنید به سئو سایت کمک می کنید.
سخن پایانی
فایل robots.txt در واقع یک فایل مهمی برای کمک به ایندکس شدن مطالب وب سایت است که اگر به درستی اعمال شود باعث جلب توجه موتور های جستجو برای بررسی صفحه سایت شما می شود و اگر به درستی انجام نشود باعث نقض قوانین ربات جستجوی گوگل می شود.
در واقع این فایل مسیر راهنمایی برای ربات های جستجو ترسیم می کند تا بخش خاصی از سایت را مورد بررسی قرار دهند و درصورتی که بخش مشخصی تعیین نشود ربات جستجو تمام محتوا سایت را بررسی می کند و در نهایت این موضوع ممکن است از ایندکس شدن سایت جلوگیری کند.
