Обработка текстовой информации - ?

[Медбрат]

to Yury

 

Прикрутили к нашей БД утилиту полнотекстового поиска. Находим с помощью неё по ключевым словам то, что нас интересует. Далее анализируем глазами.

Объёмы пока что позволяют.

 

Какую-либо профессиональную систему пока не готов руководству предлагать.

 

Не подскажете, а насколько адекватно работет удаление дублирующих друг друга фрагментов текста в Cros?

 

[Yury]

to Yury

 

Прикрутили к нашей БД утилиту полнотекстового поиска. Находим с помощью неё по ключевым словам то, что нас интересует. Далее анализируем глазами.

Объёмы пока что позволяют.

 

Какую-либо профессиональную систему пока не готов руководству предлагать.

 

Не подскажете, а насколько адекватно работет удаление дублирующих друг друга фрагментов текста в Cros?

33390[/snapback]

Выявляет только полное совпадение всего текста! :-(

Профессиональную систему не обязательно покупать полностью, можно взять в аренду, в принципе диллеры буржуйского софта идут на такое. Подберите систему и договоритесь о ключе, скажем на 1 год. Сумма будет вполне нормально вписываться в среднестанистический бюджет службы КР (БР)...

[Медбрат]

А более продвинутый анализ текста для выявления дубликатов, хотя бы на уровне отличия фрагментов на несколько словосочетаний или предложений какая-нибудь софтина делает?

 

На практике такое отличие часто встречается, когда одна и та же новость печатается в разных источниках.

 

[mamoed]

А более продвинутый анализ текста для выявления дубликатов, хотя бы на уровне отличия фрагментов на несколько словосочетаний или предложений какая-нибудь софтина делает?

 

На практике такое отличие часто встречается, когда одна и та же новость печатается в разных источниках.

33448[/snapback]

 

 

Много таких программ. В основном, они предназначены для программистов - сравнивают куски кода. Элементарно можно использовать и для сравнения обычного текста.

Точные названия не скажу, но на популярных файловых архивах таких программ масса, постоянно перед глазами мелькают.

[sten]

Много таких программ. В основном, они предназначены для программистов - сравнивают куски кода. Элементарно можно использовать и для сравнения обычного текста.

Точные названия не скажу, но на популярных файловых архивах таких программ масса, постоянно перед глазами мелькают.

33453[/snapback]

Уже как-то неловко.

Поиск похожих, смысловое сравнение выборок - КРИТ.

http://www.smartware.ru/semnet.html