Мастер-класс Евгения Ющука и It2b. Отзывы по курсам Ющука Евгения Леонидовича

[CI-KP]

Народ был не только из Москвы, а и из Самары, Питера , Киева. Так что полным ходом идет процесс объединения города и деревни единения столицы и регионов (точнее, столиц и регионов) :)

[Vinni]

Просмотр страниц сайта, запрещенных к индексации поисковыми машинами.

 

http://pics.livejournal.com/yushchuk/pic/0000ek7h.jpg

 

Как и обещал участникам семинара, проведенного вчера и позавчера для специалистов конкурентной разведки, на главной странице своего сайта "Конкурентная разведка" разместил ссылку на сайт Сергея Матвеенко, где можно взять

 

Кнопку на панель ссылок браузера для просмотра текста файла robots.txt

 

Тем, кто ранее не сталкивался с файлом robots.txt, хочу сказать, что это размещаемый на сайте текстовый файл, в котором перечислены страницы сайта, запрещенные владельцем для индексации поисковыми машинами. В ряде случаев такие страницы представляют интерес для специалистов конкурентной разведки. Перейдя по ссылке, вы попадете на сайт Сергея Матвеенко, где сможете взять кнопку, автоматизирующую просмотр файла robots.txt.

 

Надо иметь в виду, что не на всех сайтах такой файл в принципе есть. Но при посещении сайта паук поисковой машины первым делом должен проверять наличие этого файла и, если он есть, не посещать перечисленные в нем страницы. Это так называемый этический ограничитель для поисковой машины, т.к. с технической точки зрения никаких препятствий для индексации страницы нет.

Люди могут посещать такие запрещенные к индексации страницы без ограничений, поскольку доступ к ним не закрыт. Иногда некоторые из подобных страниц бывают действительно информативными.,

http://yushchuk.livejournal.com/100183.html

 

А не слишком ли это сложно? :smile10:

Ведь что на самом деле делает эта кнопка - смотрим исходный текст страницы

<a href="java script:%7Blocation.href='http://serge.matveenko.ru/robotstxt/?url='+escape(location.href);%7D;">Посмотреть robots.txt</a>

То есть вместо того, чтобы просто ввести URL вида http://имя_исследуемого_сайта/robots.txt мы запускаем неизвестный скрипт на сервере С. Матвеенко :smile13: и передаем ему параметром URL этого сайта. А он возвращает вверху страницы собственно robots.txt (без какой-либо красивой интерпретации) и потом всякий свой текст..

 

Мне как-то уже ближе самому ввести http://имя_исследуемого_сайта/robots.txt :smile14:

[kvisnilainen]

Мне как-то уже ближе самому ввести http://имя_исследуемого_сайта/robots.txt :smile14:

Как все просто оказывается... Спасибо, взял на вооружение

[kvisnilainen]

Евгений, спасибо за семинар! Прочитал все Ваши книжки, но, не смотря на это , узнал массу нового для себя, и, самое главное, работу с отфильтровыванием информационного мусора. Раньше смотрел на сниппеты и не понимал: какого фига мне это Яндекс принес и как от этого избавиться... Теперь понял

З.Ы. Спасибо всем, кто этот семинар организовывал! И вопрос главному организатору: Игорь, а Вы сможете свой семинар провести по анализу неструктурированой информации в подобном режиме? Приеду обязательно!

[CI-KP]

А не слишком ли это сложно? :smile10:

Ведь что на самом деле делает эта кнопка - смотрим исходный текст страницы

 

То есть вместо того, чтобы просто ввести URL вида http://имя_исследуемого_сайта/robots.txt мы запускаем неизвестный скрипт на сервере С. Матвеенко :smile13: и передаем ему параметром URL этого сайта. А он возвращает вверху страницы собственно robots.txt (без какой-либо красивой интерпретации) и потом всякий свой текст..

 

Мне как-то уже ближе самому ввести http://имя_исследуемого_сайта/robots.txt :smile14:

Да. Пожалуй, я перемудрил.

Я внесу изменения в предыдущий пост тоже.

Спасибо!

 

 

***************************

UPDATED 19.02.2010 (в связи со значительным разрастанием ветки)

 

Непосредственно отзывы по курсам Ющука Евгения Леонидовича удобно можно увидеть, кроме первой страницы ветки, также <noindex>ЗДЕСЬ</noindex>, <noindex>ЗДЕСЬ</noindex>, <noindex>ЗДЕСЬ </noindex>(отзыв бывшего сотрудника силовых структур) и <noindex>ЗДЕСЬ </noindex>(развернутый отзыв руководителя крупной компании)