Ребята, зафлудили тему.. :sad:

 

И ни одного ответа на мой кейс. Напоминаюсь:

 

Дано:

Сайт mmm.by , на котором есть закрытый для индексации поисковиками раздел mmm.by/maker/price2xls , что подтверждено файлом robots.txt

Вопрос:

Как просмотреть то, что там находится законными способами? (а я уверен в том, что в данном разделе около 80 документов).

 

Я, пас. Т.к. в технических аспектах интернет жизни не силен.

_ttps://encrypted.google.com/search?q=site:mmm.by/maker/price2xls&hl=ru&lr=&as_qdr=all&prmd=ivns&filter=0

 

:) один ответ есть. Только для полноты желательно сделать этот запрос в нескольких поисковиках, т.к. у разных поисковиков разная степень индексирования этого сайта.

 

Нужны еще способы.

:) один ответ есть. Только для полноты желательно сделать этот запрос в нескольких поисковиках, т.к. у разных поисковиков разная степень индексирования этого сайта.

 

Нужны еще способы.

 

Все очень просто. Не нужно ни каких поисковиков.

Пишется программка (скрипт), которая в цикле перебирает страницы XXX

www.mmm.by/maker/price2xls/XXX

И все дела.

P.s.

можно, конечно, и в ручную подставлять. :smile:

Изменено 4 января, 201115 г пользователем Сергей

Все очень просто. Не нужно ни каких поисковиков.

Пишется программка (скрипт), которая в цикле перебирает страницы XXX

www.mmm.by/maker/price2xls/XXX

И все дела.

P.s.

можно, конечно, и в ручную подставлять. :smile:

 

А если страницы не последовательно пронумерованы, а названы каждая отдельно, например "траляляперваястраница" или в хаотичном порядке цифр "1544884387"?

А если страницы не последовательно пронумерованы, а названы каждая отдельно, например "траляляперваястраница" или в хаотичном порядке цифр "1544884387"?

 

Так Сергей все правильно написал. Судя по результатам поисковиков файлы в закрытом разделе названы как трех-четырехзначное число. Откуда там произвольные имена?

 

Тем же SiteSputnik Invisible можно и без скрипта обойтись ;-)