Что такое robots.txt

Как правило, в работе вебмастера и SEO-специалиста есть необходимость знать о том, что такое robots.txt, уметь с ним работать и уметь пользоваться им. Специалист по оптимизации и продвижению…