Опубликовано 19 сентября, 200817 г На 100% это не обойдешь, но значительно продвинуться глубже можно. В СайтСпутнике есть пакет запросов. Его можно использовать в этом случае следующим образом. --------------------------------------------------------------------------------------- Медведь || Yandex=100 Медведь ~~ (список ключевых слов встретившихся выше)|| Yandex=100 Медведь уточнение1 || Yandex=100 Медведь уточнение2 ~~ уточнение1|| Yandex=100 ... Медведь уточнениеN ~~ уточнение1 ~~уточнениеN-1 || Yandex=100 ... --------------------------------------------------------------------------------------- Смысл в том, что SiteSputnik соберет ссылки по всем запросам из пакета и выбросит дубли. Следовательно, Вы соберете много больше, чем 1000 ссылок по "медведь" в Яндексе. Можно поимпровезировать самому и улучшить этот пакет. Вторая часть ответа мне понятна, если учитывать, что метапоиск идет по нескольким поисковикам, то результат может быть гораздо больше 1000 (это я писал выше). Из-за этого эффекта я и пропустил ограничение в 3Б. По уточнениям не совсем понятно (по первой части т.к." Медведь +") Ключевые слова на "Медведь" кто определяет? Если человек, то тогда механизм понятен. Вообще-то, у меня стоял переход по страницам очень простой. Например по гуглу следующая страница +10 в url. Пока не придет отрицательный результат. Если сразу к "медведю" задать список ключей то вариации запроса автоматом расширят диапазон ссылок. Но выход ли это !? :smile4:
Опубликовано 19 сентября, 200817 г .. Алексей, я в личку ответил на ваше письмо. Посмотрите. :smile21:
Опубликовано 19 сентября, 200817 г Вторая часть ответа мне понятна, если учитывать, что метапоиск идет по нескольким поисковикам, то результат может быть гораздо больше 1000 (это я писал выше). Из-за этого эффекта я и пропустил ограничение в 3Б. По уточнениям не совсем понятно (по первой части т.к." Медведь +") Ключевые слова на "Медведь" кто определяет? Если человек, то тогда механизм понятен. Вообще-то, у меня стоял переход по страницам очень простой. Например по гуглу следующая страница +10 в url. Пока не придет отрицательный результат. Если сразу к "медведю" задать список ключей то вариации запроса автоматом расширят диапазон ссылок. Но выход ли это !? :smile4: Частичный выход, как я отметил сразу. Абсолютно все ссылки вытащить практически нереально. Интересно в свою очередь узнать, на каких задачах Вам требуется собирать нак много ссылок?
Опубликовано 19 сентября, 200817 г Частичный выход, как я отметил сразу. Абсолютно все ссылки вытащить практически нереально. Интересно в свою очередь узнать, на каких задачах Вам требуется собирать нак много ссылок? В общем-то задача сбора ссылок ради самих ссылок никогда и не стояла. Возможно, это одна из причин, почему я не зацикливался на исследовании ограничений стандартных поисковиков. А общие задачи - это общие задачи для КР. Разве что, понимая внутреннюю работу поисковика несколько шире, чем те кто работает с внешней стороны поисковика. Ну, Вы то меня поймете. :smile20:
Опубликовано 4 ноября, 200817 г При помощи SiteSputnik сделал сравнительный анализ работы пяти поисковиков: Яндекса, Google, Yahoo, MSN и Рамблера. Если коротко, то его результат таков: работая на одном поисковике, мы находим в среднем только 25-30 процентов ссылок от того количества ссылок (без повторов), которое приносит работа на пяти поисковиках по эквивалентному запросу. Подробнее здесь - h ttp://sitesputnik.livejournal.com/ (http://sitesputnik.livejournal.com/) или здесь - h ttp://ab.vlink.ru/FFF/FileForFilesRus.htm (http://ab.vlink.ru/FFF/FileForFilesRus.htm). Проводить сравнительный анализ работы поисковиков лучше на версии 4.2.6. Изменено 4 ноября, 200817 г пользователем Alexei Mylnikov
Для публикации сообщений создайте учётную запись или авторизуйтесь