Опубликовано 7 ноября, 200817 г Не просто по количеству символов, а по количеству символов в отличающихся фрагментах. Хм, хм... Понятия совпадения фрагментов - достаточно относительное. Плагиаторы часто несколько видоизменяют тексты+вносят свои орфографические ошибки (или исправляют их в оригинале) т.е. вносят некие отличия. Разбивать текст на кусочки каждый раз по данному принципу очень накладно. Представьте, что каждый новый текст нужно таким образом сравнить с уже имеющимся архивом (на степень совпадения), ну допустим, в 100.000.000 текстов. Это уже 200.000.000 разборок текстов для сравнения, чтобы определиться с одним единственным текстом. Не оптимально.
Опубликовано 7 ноября, 200817 г Понятия совпадения фрагментов - достаточно относительное. Плагиаторы часто несколько видоизменяют тексты+вносят свои орфографические ошибки (или исправляют их в оригинале) т.е. вносят некие отличия. Разбивать текст на кусочки каждый раз по данному принципу очень накладно. Представьте, что каждый новый текст нужно таким образом сравнить с уже имеющимся архивом (на степень совпадения), ну допустим, в 100.000.000 текстов. Это уже 200.000.000 разборок текстов для сравнения, чтобы определиться с одним единственным текстом. Не оптимально. Да, правильно, если я в одном месте напишу МОРКОВКА (на русском), а в другом MOPKOBKA (на английском регистре), то это два разных фрагмента, или, если будут сделаны специально орфографические ошибки, то, чтобы отловить такие ситуации, требуется создать дополнительное матобеспечение, но, если будут переставлены фразы, обзацы или фрагменты в тексте, то такой "плагиат" отловится и степень тождественности текстов не изменится. Вообщем, речь об изощренных вариантах не идет.
Опубликовано 7 ноября, 200817 г Да, правильно, если я в одном месте напишу МОРКОВКА (на русском), а в другом MOPKOBKA (на английском регистре), то это два разных фрагмента, или, если будут сделаны специально орфографические ошибки, то, чтобы отловить такие ситуации, требуется создать дополнительное матобеспечение, но, если будут переставлены фразы, обзацы или фрагменты в тексте, то такой "плагиат" отловится и степень тождественности текстов не изменится. Вообщем, речь об изощренных вариантах не идет. т.е. фрагмент, в Вашей интерпретации - это слово? Вы вылавливаете число совпадений слов в текстах, вне зависимости от их расположения? А сравнение фраз, абзацов и т.д. - это уже описанный мной затратный и не рациональный алгоритм. По сути - решение "в лоб". Он сработает на небольших выборках. Но если нужно пролопатить архив на "плагиат" - это будет очень-очень долго. Я над этим уже долго бьюсь. Лингвистическая семантика, так широко рекламируемая для этих целей - это частный случай. Не решение проблемы. Семантический анализ - это конечно круто, но с точки зрения математического анализа целесообразности, в данном случае - выстрел по воробьям. Изменено 7 ноября, 200817 г пользователем Сергей
Опубликовано 7 ноября, 200817 г т.е. фрагмент, в Вашей интерпретации - это слово? Вы вылавливаете число совпадений слов в текстах, вне зависимости от их расположения? А сравнение фраз, абзацов и т.д. - это уже описанный мной затратный и не рациональный алгоритм. По сути - решение "в лоб". Он сработает на небольших выборках. Но если нужно пролопатить архив на "плагиат" - это будет очень-очень долго. Я над этим уже долго бьюсь. Лингвистическая семантика, так широко рекламируемая для этих целей - это частный случай. Не решение проблемы. Семантический анализ - это конечно круто, но с точки зрения математического анализа целесообразности, в данном случае - выстрел по воробьям. Нет, фрагмент это не слово, а любой кусок непрерывного текста. Нет, не вылавливаю слова в зависимости от их расположения. Да, на больших архивах работа будет замедляться, если делать "в лоб". Нет, не "плагиат", не "семантические сети", не "лингвистическая семантика", - "с этою плазмой дойдешь до маразма, но это довольно почетно". Здесь (http://sitesputnik.livejournal.com/) изначально речь коснулась возможности оценки количества страниц с уникальным контентом при поиске на нескольких поисковиках. Для решения этой задачи (без специальной борьбы с умышленными синтаксическими ошибками типа вместо "абзац" - "обзац" или заменой русских букв на их английский вариант - это пусть делают специальные организации) можно сделать так как я написал выше. Кстати, у меня родилась мысль как на базе SiteSputnik решить проблему отслеживания и выделения новой информации на группе ресурсов. Подумаю до понедельника и, возможно, приступлю к мониторингу на тему сбора только новой информации относительно предыдущего сбора на заданную тему на группе ресурсов. Дубли информации на разных ресурах будут тоже удаляться. Сохранение в базе данных истории работы по теме будет предусмотрю. Такой функционал у меня периодически запрашивают менеджеры разной специализации, например, работающие с недвижимостью, для того, чтобы с утра не просматривать кучу досок и не выявлять при помощи глаз новые предложения, и не отсеивать вручную повторяющиеся на разных досках объявления. Здесь мгновенного ответа не получишь, но от рунины освободишь и производительность труда увеличишь. Семантические сети и прочее не потребуются. Вообщем, подумаю на эту тему до понедельника. Изменено 7 ноября, 200817 г пользователем Alexei Mylnikov
Опубликовано 10 ноября, 200817 г Для решения этой задачи (без специальной борьбы с умышленными синтаксическими ошибками типа вместо "абзац" - "обзац" или заменой русских букв на их английский вариант - это пусть делают специальные организации) можно сделать так как я написал выше. "можно сделать так как я написал выше." вот как раз то, что было выше мне и не совсем понятно, т.е. не совсем ясен принцип идентификации фрагментов. Кстати, у меня родилась мысль как на базе SiteSputnik решить проблему отслеживания и выделения новой информации на группе ресурсов. Подумаю до понедельника и, возможно, приступлю к мониторингу на тему сбора только новой информации относительно предыдущего сбора на заданную тему на группе ресурсов. Дубли информации на разных ресурах будут тоже удаляться. Сохранение в базе данных истории работы по теме будет предусмотрю. Такой функционал у меня периодически запрашивают менеджеры разной специализации, например, работающие с недвижимостью, для того, чтобы с утра не просматривать кучу досок и не выявлять при помощи глаз новые предложения, и не отсеивать вручную повторяющиеся на разных досках объявления. Здесь мгновенного ответа не получишь, но от рунины освободишь и производительность труда увеличишь. Семантические сети и прочее не потребуются. Вообщем, подумаю на эту тему до понедельника. Я эту проблему решил изначально сразу. Мне не важна была сравнительная статистика, мне изначально было важно два момента: а) динамика в целом б) уникальность (вот тут мозги и пришлось сломать, особенно учитывая многоязычность)
Для публикации сообщений создайте учётную запись или авторизуйтесь