Перейти к содержимому


Занимательный Практикум


  • Страниц
  • 23
  • 24
  • 25
  • 26
  • 27
  • Авторизуйтесь для ответа в теме
Сообщений в теме: 271

#241 noy1

noy1

    Втёршийся в доверие

  • Members
  • 491 сообщений

Отправлено 21 Декабрь 2010 - 11:29

Просмотр сообщенияkeswa (21 Декабрь 2010 - 10:35) писал:

Ребята, зафлудили тему.. :sad:

И ни одного ответа на мой кейс. Напоминаюсь:

Дано:
Сайт mmm.by , на котором есть закрытый для индексации поисковиками  раздел mmm.by/maker/price2xls , что подтверждено файлом robots.txt
Вопрос:
Как просмотреть то, что там находится законными способами? (а я уверен в  том, что в данном разделе около 80 документов).

Я, пас. Т.к. в технических аспектах интернет жизни не силен.

#242 keswa

keswa

    Втёршийся в доверие

  • Members
  • 101 сообщений

Отправлено 21 Декабрь 2010 - 11:42

Просмотр сообщенияAkula (21 Декабрь 2010 - 11:11) писал:

_ttps://encrypted.google.com/search?q=site:mmm.by/maker/price2xls&hl=ru&lr=&as_qdr=all&prmd=ivns&filter=0

:) один ответ есть. Только для полноты желательно сделать этот запрос в нескольких поисковиках, т.к. у разных поисковиков разная степень индексирования этого сайта.

Нужны еще способы.

#243 Сергей

Сергей

    Доверенное лицо

  • Users
  • 711 сообщений

Отправлено 04 Январь 2011 - 15:03

Просмотр сообщенияkeswa (21 Декабрь 2010 - 11:42) писал:

:) один ответ есть. Только для полноты желательно сделать этот запрос в нескольких поисковиках, т.к. у разных поисковиков разная степень индексирования этого сайта.

Нужны еще способы.

Все очень просто. Не нужно ни каких поисковиков.
Пишется программка (скрипт), которая в цикле перебирает страницы XXX
www.mmm.by/maker/price2xls/XXX
И все дела.
P.s.
можно, конечно, и в ручную подставлять.  :smile:

Сообщение отредактировал Сергей: 04 Январь 2011 - 15:05


#244 keswa

keswa

    Втёршийся в доверие

  • Members
  • 101 сообщений

Отправлено 04 Январь 2011 - 15:46

Просмотр сообщенияСергей (04 Январь 2011 - 15:03) писал:

Все очень просто. Не нужно ни каких поисковиков.
Пишется программка (скрипт), которая в цикле перебирает страницы XXX
www.mmm.by/maker/price2xls/XXX
И все дела.
P.s.
можно, конечно, и в ручную подставлять.  :smile:

А если страницы не последовательно пронумерованы, а названы каждая отдельно, например "траляляперваястраница" или в хаотичном порядке цифр "1544884387"?

#245 Vinni

Vinni

    Сижу спокойно, примус починяю...

  • Users
  • 1 442 сообщений

Отправлено 04 Январь 2011 - 17:05

Просмотр сообщенияkeswa (04 Январь 2011 - 15:46) писал:

А если страницы не последовательно пронумерованы, а названы каждая отдельно, например "траляляперваястраница" или в хаотичном порядке цифр "1544884387"?

Так Сергей все правильно написал. Судя по результатам поисковиков файлы в закрытом разделе названы как трех-четырехзначное число. Откуда там произвольные имена?

Тем же SiteSputnik Invisible можно и без скрипта обойтись ;-)

#246 Сергей

Сергей

    Доверенное лицо

  • Users
  • 711 сообщений

Отправлено 05 Январь 2011 - 12:53

Просмотр сообщенияkeswa (04 Январь 2011 - 15:46) писал:

А если страницы не последовательно пронумерованы, а названы каждая отдельно, например "траляляперваястраница" или в хаотичном порядке цифр "1544884387"?

Нумерация там числовая. Это раз. А там, где нет информации анализируем код html ("No VIP"). На это и настраиваем скрипт.
.... тьфу... забыл сказать: это Два!.  :biggrin:

Сообщение отредактировал Сергей: 05 Январь 2011 - 12:55


#247 Сергей

Сергей

    Доверенное лицо

  • Users
  • 711 сообщений

Отправлено 05 Январь 2011 - 12:54

Просмотр сообщенияVinni (04 Январь 2011 - 17:05) писал:



Тем же SiteSputnik Invisible можно и без скрипта обойтись ;-)

Ну, зачем же так сложно то. Скриптом проще. ))

#248 keswa

keswa

    Втёршийся в доверие

  • Members
  • 101 сообщений

Отправлено 05 Январь 2011 - 13:28

Просмотр сообщенияСергей (05 Январь 2011 - 12:54) писал:

Ну, зачем же так сложно то. Скриптом проще. ))

Сергей, все это очень интересно, однако для непродвинутых юзеров, можно все на пальцах? :blush:

Попорядку..
1. Как проанализировать и какой html код?
2. Где взять (написать/скачать/купить/стырить) скрипт?

Благодарю..

#249 Сергей

Сергей

    Доверенное лицо

  • Users
  • 711 сообщений

Отправлено 06 Январь 2011 - 08:34

Просмотр сообщенияkeswa (05 Январь 2011 - 13:28) писал:

Сергей, все это очень интересно, однако для непродвинутых юзеров, можно все на пальцах? :blush:

Попорядку..
1. Как проанализировать и какой html код?
2. Где взять (написать/скачать/купить/стырить) скрипт?

Благодарю..

Хм... на пальцах сложно.
1. Анализируем html получаемый при нулевом считывании. При неудачном считывании он содержит или "Can't find maker" или "NO VIP"
2. Где взять? Тут штука такая. Сложный путь - изучать Web программирование. Простейший - существует множество т.н. настраиваемых Спайдеров т.е. прог для скачивания Интернет ресурсов. Есть проще, есть сложнее. Если посложнее, то тут уже упоминались Аваланч и СайтСпутник
У нас есть свои прог. наработки в этой области. Но к конкурентам вышеперечисленных себя не относим т.к. наши интересы пересекаются, но не очень.  Мы, в основном, в сфере просто мониторинга свежайших новостей с получением различных красивых отчетов. Но то, как и что крутится внутри Интернет, для меня тайн нет.
Интересующая Вас последовательность такая (чтобы сократить вам время и деньги на написать/скачать/купить/стырить) :)
Доступная последовательность для считывания такая:
25.28.32.41.49.50.53.59.76.138.166.193.334.343.426.459.515.530.544.566.567.617.635.911.1181.1421.2181.2201
p.s.
кстати, выше приводили поиск через гугл, так вот, в гугле том есть ошибки. Не все, что укажет поисковик реально доступно. Это элементарно проверить путем сравнения последовательностей.

#250 keswa

keswa

    Втёршийся в доверие

  • Members
  • 101 сообщений

Отправлено 06 Январь 2011 - 09:56

Благодарю за развернутый ответ.

т.е. для начала узнаем: на самом ли деле он недоступен?
А затем формируем последовательность..

Последовательность из тех чисел, что вы дали -- работает.. т.е. это все путь к документам. А как мне получать эту последовательность (напр. для любого другого сайта)?
Какую прогу посоветуете?Если отвлечься от конкретного сайта..

Сообщение отредактировал keswa: 06 Январь 2011 - 09:56



  • Страниц
  • 23
  • 24
  • 25
  • 26
  • 27


Игры на androidSEO форум