Опубликовано 6 ноября, 200817 г При помощи SiteSputnik сделал сравнительный анализ работы пяти поисковиков: Яндекса, Google, Yahoo, MSN и Рамблера. Если коротко, то его результат таков: работая на одном поисковике, мы находим в среднем только 25-30 процентов ссылок от того количества ссылок (без повторов), которое приносит работа на пяти поисковиках по эквивалентному запросу. Подробнее здесь - h ttp://sitesputnik.livejournal.com/ (http://sitesputnik.livejournal.com/) или здесь - h ttp://ab.vlink.ru/FFF/FileForFilesRus.htm (http://ab.vlink.ru/FFF/FileForFilesRus.htm). Проводить сравнительный анализ работы поисковиков лучше на версии 4.2.6. Похожее тестирование проводил несколько лет назад. На предмет уникальности ссылок. Но практика показала, что ваша фраза "Вычисление количества ссылок с уникальным контентом" достаточно актуальна. И вы правильно заметили, что эта фаза наиболее трудемка. Но, при наличии числа уникальных ссылок больше некоторой критической массы (у каждого свой критерий), она необходима. Вопрос в следующем, Вы используете свой механизм определения тождественности контента или сторонний. Можно ли ознакомиться с теорией применяемого вами алгоритма. Интересно т.к. сам над этим мучаюсь давно. :smile17:
Опубликовано 6 ноября, 200817 г На сайте демо версия. Разница между версиями здесь - http://ab.vlink.ru/buy_FFF.htm (http://ab.vlink.ru/buy_FFF.htm). Спасибо, понятно
Опубликовано 6 ноября, 200817 г Похожее тестирование проводил несколько лет назад. На предмет уникальности ссылок. Но практика показала, что ваша фраза "Вычисление количества ссылок с уникальным контентом" достаточно актуальна. И вы правильно заметили, что эта фаза наиболее трудемка. Но, при наличии числа уникальных ссылок больше некоторой критической массы (у каждого свой критерий), она необходима. Вопрос в следующем, Вы используете свой механизм определения тождественности контента или сторонний. Можно ли ознакомиться с теорией применяемого вами алгоритма. Интересно т.к. сам над этим мучаюсь давно. :smile17: Механизм свой. ============== 1. Список уникальных ссылок вычислен. 2. Процедура скачивания всех ссылок из списка есть. 3. Процедура сравнения контента ссылок тоже есть - в мониторинге страниц. Чтобы вычислить ссылки с уникальным контентом, осталось сделать следующее. 4. Заменить выделение отличающихся фрагментов страниц в процедуре из пунка 3 на подсчет количества символов в отличающихся фрагментах и соотнести его с размером страницы. 5. Построить простую процедуру обхода списка страниц с вызовом процедуры из пункта 4.
Опубликовано 7 ноября, 200817 г 4. Заменить выделение отличающихся фрагментов страниц в процедуре из пунка 3 на подсчет количества символов в отличающихся фрагментах и соотнести его с размером страницы. Алексей, на четыре раза прочитал этот пункт, но не понял сути. Как по количеству символов :smile13: определить тождественность текстов (или степень их тождественности). Я применяю битовую маску для этих целей, вычисляемую по некой своей формуле. Но не все мне нравится. :smile17:
Опубликовано 7 ноября, 200817 г Алексей, на четыре раза прочитал этот пункт, но не понял сути. Как по количеству символов :smile13: определить тождественность текстов (или степень их тождественности). Я применяю битовую маску для этих целей, вычисляемую по некой своей формуле. Но не все мне нравится. :smile17: Не просто по количеству символов, а по количеству символов в отличающихся фрагментах.
Для публикации сообщений создайте учётную запись или авторизуйтесь