Евгений Вам спасибо! Надеюсь, что в скором будущем вы к нам прилетите снова на очередной мастер-класс :smile3:

:)

Э! Вы завязывайте свои москальские дела! Одновремённо! Только одновремённо!!!

А может начнем с регионов? :smile12:

А может начнем с регионов? :smile12:

 

Вот речь здравого человека! :-)

Просмотр страниц сайта, запрещенных к индексации поисковыми машинами.

 

Вообще, как позже посоветовал уважаемый Vinni (а я потом сделал на основании его слов эту правку), самое простое, что можно сделать, дабы увидеть файл с запрещенными к индексации страницами - ввести URL вида http://имя_исследуемого_сайта/robots.txt

 

 

Для тех, кто не ищет легких путей и хочет, чтобы за него работал неизвестный скрипт - текст ниже. :)

 

 

http://pics.livejournal.com/yushchuk/pic/0000ek7h.jpg

 

Как и обещал участникам семинара, проведенного вчера и позавчера для специалистов конкурентной разведки, на главной странице своего <noindex>сайта "Конкурентная разведка"</noindex> разместил ссылку на сайт Сергея Матвеенко, где можно взять

 

<noindex>Кнопку на панель ссылок браузера для просмотра текста файла robots.txt</noindex>

 

Тем, кто ранее не сталкивался с файлом robots.txt, хочу сказать, что это размещаемый на сайте текстовый файл, в котором перечислены страницы сайта, запрещенные владельцем для индексации поисковыми машинами. В ряде случаев такие страницы представляют интерес для специалистов конкурентной разведки. Перейдя по ссылке, вы попадете на сайт Сергея Матвеенко, где сможете взять кнопку, автоматизирующую просмотр файла robots.txt.

 

Надо иметь в виду, что не на всех сайтах такой файл в принципе есть. Но при посещении сайта паук поисковой машины первым делом должен проверять наличие этого файла и, если он есть, не посещать перечисленные в нем страницы. Это так называемый этический ограничитель для поисковой машины, т.к. с технической точки зрения никаких препятствий для индексации страницы нет.

Люди могут посещать такие запрещенные к индексации страницы без ограничений, поскольку доступ к ним не закрыт. Иногда некоторые из подобных страниц бывают действительно информативными.,

<noindex><a href="http://yushchuk.livejournal.com/100183.html" target="_blank">http://yushchuk.livejournal.com/100183.html</noindex></a>

 

***************************

UPDATED 19.02.2010 (в связи со значительным разрастанием ветки)

 

Непосредственно отзывы по курсам Ющука Евгения Леонидовича удобно можно увидеть, кроме первой страницы ветки, также <noindex>ЗДЕСЬ</noindex>, <noindex>ЗДЕСЬ</noindex>, <noindex>ЗДЕСЬ </noindex>(отзыв бывшего сотрудника силовых структур) и <noindex>ЗДЕСЬ </noindex>(развернутый отзыв руководителя крупной компании)

Изменено 3 марта, 201016 г пользователем CI-KP

Э! Вы завязывайте свои москальские дела! Одновремённо! Только одновремённо!!!

Вот именно.:)