Yahoo недавно объявил о том, что они поддерживают четыре новых вида тегов в файле robots.txt: NOINDEX, NOARCHIVE, NOSNIPPET и NOFOLLOW. Преимущества очевидны: если вы храните в дирректории, например, PDF, Word и другие файлы, с помощью этих тэгов вы можете закрыть, или же частично закрыть, их содержание от индексации.
Это было сделано, как полагают, в противовес Google, который добавил эти тэги ещё в июле. К примеру тэг Noindex полностью закроет от поисковика индексацию сайта (аналог Noindex: / в Google).
Недостатком этих изменений заключается в том, что вы должны постоянно проверять файл robots.txt. (more…)
