Robots.txt چیست و چه کاربردی دارد؟
فایل Robots.txt مجموعه ای از دستورالعمل ها برای باتها (bots) است. این فایل در فایل های منبع (Root) اغلب وب سایت ها قرار دارد. فایل های Robots.txt به طور عمده برای مدیریت کنش های بات های خوب چون خزنده های وب استفاده می شوند، چرا که بات های بد احتمالا از این قوانین تبعیت می […]