noy1 Опубликовано 21 декабря, 2010 Поделиться Опубликовано 21 декабря, 2010 Ребята, зафлудили тему.. :sad: И ни одного ответа на мой кейс. Напоминаюсь: Дано:Сайт mmm.by , на котором есть закрытый для индексации поисковиками раздел mmm.by/maker/price2xls , что подтверждено файлом robots.txt Вопрос:Как просмотреть то, что там находится законными способами? (а я уверен в том, что в данном разделе около 80 документов). Я, пас. Т.к. в технических аспектах интернет жизни не силен. Ссылка на комментарий Поделиться на другие сайты More sharing options...
keswa Опубликовано 21 декабря, 2010 Поделиться Опубликовано 21 декабря, 2010 _ttps://encrypted.google.com/search?q=site:mmm.by/maker/price2xls&hl=ru&lr=&as_qdr=all&prmd=ivns&filter=0 :) один ответ есть. Только для полноты желательно сделать этот запрос в нескольких поисковиках, т.к. у разных поисковиков разная степень индексирования этого сайта. Нужны еще способы. Ссылка на комментарий Поделиться на другие сайты More sharing options...
Сергей Опубликовано 4 января, 2011 Поделиться Опубликовано 4 января, 2011 :) один ответ есть. Только для полноты желательно сделать этот запрос в нескольких поисковиках, т.к. у разных поисковиков разная степень индексирования этого сайта. Нужны еще способы. Все очень просто. Не нужно ни каких поисковиков.Пишется программка (скрипт), которая в цикле перебирает страницы XXX www.mmm.by/maker/price2xls/XXXИ все дела.P.s.можно, конечно, и в ручную подставлять. :smile: Ссылка на комментарий Поделиться на другие сайты More sharing options...
keswa Опубликовано 4 января, 2011 Поделиться Опубликовано 4 января, 2011 Все очень просто. Не нужно ни каких поисковиков.Пишется программка (скрипт), которая в цикле перебирает страницы XXX www.mmm.by/maker/price2xls/XXXИ все дела.P.s.можно, конечно, и в ручную подставлять. :smile: А если страницы не последовательно пронумерованы, а названы каждая отдельно, например "траляляперваястраница" или в хаотичном порядке цифр "1544884387"? Ссылка на комментарий Поделиться на другие сайты More sharing options...
Vinni Опубликовано 4 января, 2011 Поделиться Опубликовано 4 января, 2011 А если страницы не последовательно пронумерованы, а названы каждая отдельно, например "траляляперваястраница" или в хаотичном порядке цифр "1544884387"? Так Сергей все правильно написал. Судя по результатам поисковиков файлы в закрытом разделе названы как трех-четырехзначное число. Откуда там произвольные имена? Тем же SiteSputnik Invisible можно и без скрипта обойтись ;-) Ссылка на комментарий Поделиться на другие сайты More sharing options...
Рекомендуемые сообщения
Заархивировано
Эта тема находится в архиве и закрыта для дальнейших ответов.