Опубликовано 18 сентября, 200817 г И еще я слышал, что, вроде бы Спутник позволяет избежать ситуации в Яндексе "докажите, что вы не робот, а то с вашего адреса много странных запросов идет". Это действительно так? Да, в версии SiteSputnik 4.2.3 появилася такая возможность. Для этого следует воспользоваться в настройках параметром "Обеспечение глубины поиска (от 0 до 100 страниц поисковика)". В результате эксперимента для Яндекса, Гугля и Яху (далее сокращенно "3Б" - три богатыря) удалось для одного искомого объекта собрать до 10000 ссылок, обойдя ситуацию "Докажите, что вы не робот". На большем количестве ссылок - не экспериментировал. Так как 3Б останавливаются при выполнении запроса на 1000 ссылке (100 страниц по 10 ссылок или другие комбинации), то для сбора 10000 ссылок пришлось применять пакет из десяти запросов, прописанных на выполнение на конкретном поисковике. Обнаружил неизвестные мне две интересные особенности Рамблера. 1. Рамблер не имеет антиробота. 2. Он не останавливается на 1000 ссылке,как это делают 3Б. Иногда это может пригодиться. Я прописал Рамблеру углубиться на 500 страниц на запросах "город", "медведь", "спутник". Во всех трех случаях он собрал примерно 4000 ссылок (это 267 страниц по 15 ссылок), то есть в 4 раза больше, чем 3Б. Далее 4000 ссылки Рамблер не пошел, хотя линейку с предложением перейти на 268 страницу отображал. Все эти ссылки он собрал без каких-либо ухищрений с моей стороны в СайтСпутнике или на языке запросов. В аналогичной ситуации 3Б спрашивали "Докажите, что вы не робот" примерно на 300-1200 ссылке в режиме непрерывного использования поисковика и собирали не более 1000 ссылок по запросу.
Опубликовано 19 сентября, 200817 г Да, в версии SiteSputnik 4.2.3 появилася такая возможность. Для этого следует воспользоваться в настройках параметром "Обеспечение глубины поиска (от 0 до 100 страниц поисковика)". В результате эксперимента для Яндекса, Гугля и Яху (далее сокращенно "3Б" - три богатыря) удалось для одного искомого объекта собрать до 10000 ссылок, обойдя ситуацию "Докажите, что вы не робот". На большем количестве ссылок - не экспериментировал. Так как 3Б останавливаются при выполнении запроса на 1000 ссылке (100 страниц по 10 ссылок или другие комбинации), то для сбора 10000 ссылок пришлось применять пакет из десяти запросов, прописанных на выполнение на конкретном поисковике. Хм. Интересное сообщение. Не сталкивался с таким ограничением в 3Б (или не обратил внимание). У меня, вроде как, все ссылки тянет, без ограничений. Пойти, что ли поставить эксперимент.
Опубликовано 19 сентября, 200817 г Хм. Интересное сообщение. Не сталкивался с таким ограничением в 3Б (или не обратил внимание). У меня, вроде как, все ссылки тянет, без ограничений. Пойти, что ли поставить эксперимент. Как проверите со своей стороны, то сообщите, пожалуйста.
Опубликовано 19 сентября, 200817 г Как проверите со своей стороны, то сообщите, пожалуйста. Ладно. Сообщу. Только я забыл предупредить, что у меня свой метапоисковик. Просто, я как то не контролировал, что происходит при таком глубоком поиске (не было подобного запроса, превышающего 1000 ссылок) Для чистоты эксперимента было бы не плохо попробовать на одном и том же запросе. Не могли бы Вы написать на каком запросе тестировали ?
Опубликовано 19 сентября, 200817 г Просто, я как то не контролировал, что происходит при таком глубоком поиске (не было подобного запроса, превышающего 1000 ссылок) Для чистоты эксперимента было бы не плохо попробовать на одном и том же запросе. Не могли бы Вы написать на каком запросе тестировали ? На любом абсолютно. Возьмите, например, запрос "1", или три упомянутых выше запроса: "город", "медведь", "спутник". Чистота эксперимента будет как раз, если Вы возьмете проивольный запрос. Затем заходите в Яндекс, открываете 1-ю страницу поиска, по ней вниз, вызываете самую "большую" страницу, и так далее. Упретесь в 100 страницу- и все.
Для публикации сообщений создайте учётную запись или авторизуйтесь