А чем собственно закончилась громкая эпопея тестирования Аваланч???

То ли счастливчики втихаря пользуются беттой или интерес к продукту усох (слабо верится) :smile22:

Кто приобрел полнофункциональную версию, отзовитесь, поделитесь мнением.

 

При тестировании программы Аваланч V.3.0. обнаружены следующие проблемы и затруднения при работе с ней:.

 

1.Обрезание строк URL при вводе "стартовой страницы (URL)"(максимально возможная длина строки URL составляет 60 символов включая "http://").

2.Обязательное знание,хоть и посредственное,языка HTML и булевской алгебра.

3.Появление множества внутренних ошибок,которые приводили к сбою работы программы или ее закрытию.

4.Не интуитивность интерфейса программы при отсутствии полного и грамотного руководства по использованию программы.

5.Частый сбой сбора информации о провайдере,независимо от страны и домена размещения.

6.Невозможность контроля работы программы во время сбора информации (отсутствие LOG-информации,возможности проверки соответствия строк тонкой настройки со строками страниц [собранных HTML].

7.Обрезание строк при "тонкой настройке".После достижения некоего лимита символов в "шаблоне обработки новостей"все последующие символы превышающие лимит - отсекаются.

8.Отсутствие ярких примеров использования большинства шаблонов.

9.Некорретный отбор "старых-новых"новостей.

10.Невозможность настройки ресурса,являющегося многостраничным.

11.Отсутствие возможности удаления полученных данных и накопленных в рубриках данных без удаления самих папок рубрик или данных.

12.Проблемы с закрытием программы(менеджера или поискового робота).

13.Невозможность настройки работы программы через прокси-сервер,требующий аутентификации.

14.Возникающие сбои при нажатии кнопки "начать сканирование интернета".Восстановить работоспособность возможно лишь после перезагрузки приложения.

15.Возможность распечатки лишь HTML-версии,при отсутствии возможности для текстовой.

 

 

 

При тестировании программы Аваланч V.3.0. обнаружены следующие проблемы и затруднения при работе с ней:.

 

1.Обрезание строк URL при вводе "стартовой страницы (URL)"(максимально возможная длина строки URL составляет 60 символов включая "http://").

2.Обязательное знание,хоть и посредственное,языка HTML и булевской алгебра.

3.Появление множества внутренних ошибок,которые приводили к сбою работы программы или ее закрытию.

4.Не интуитивность интерфейса программы при отсутствии полного и грамотного руководства по использованию программы.

5.Частый сбой сбора информации о провайдере,независимо от страны и домена размещения.

6.Невозможность контроля работы программы во время сбора информации (отсутствие LOG-информации,возможности проверки соответствия строк тонкой настройки со строками страниц [собранных HTML].

7.Обрезание строк при "тонкой настройке".После достижения некоего лимита символов в "шаблоне обработки новостей"все последующие символы превышающие лимит - отсекаются.

8.Отсутствие ярких примеров использования большинства шаблонов.

9.Некорретный отбор "старых-новых"новостей.

10.Невозможность настройки ресурса,являющегося многостраничным.

11.Отсутствие возможности удаления полученных данных и накопленных в рубриках данных без удаления самих папок рубрик или данных.

12.Проблемы с закрытием программы(менеджера или поискового робота).

13.Невозможность настройки работы программы через прокси-сервер,требующий аутентификации.

14.Возникающие сбои при нажатии кнопки "начать сканирование интернета".Восстановить работоспособность возможно лишь после перезагрузки приложения.

15.Возможность распечатки лишь HTML-версии,при отсутствии возможности для текстовой.

 

Уважаемый Скиф,

спасибо за подробную характеристику исследований продукта в полевых условиях. Судя по замечаниям, даже для бета-версии замечания существенны. С булевой алгеброй и структурой HTML можно смириться, пока нет единого шаблона для веба. Но вот с проблемой "невозможности настройки ресурса, являющегося многостраничным" и аутентификацией через прокси справляется даже старый-добрый TeleportPro.

 

Традиционно продукты аналогичные Аваланчу используются в качестве утилиты-агрегатора при более масштабной системе мониторинга. Надеюсь, что разработчики Аваланча все же доведут его до уровня самостоятельного продукта.

 

Надеюсь, что разработчики Аваланча все же доведут его до уровня самостоятельного продукта.

Да,но только перед шефом неудобно получилось(хорошо что еще на собственные бонусы приобрел).

Да,но только перед шефом неудобно получилось(хорошо что еще на собственные бонусы приобрел).

А версию 1.0 не пробовали? По отзыва она лучше.

 

В принципе можно попытаться реализовать похожую функциональность с помощью группы средств. Например, CI-KP успешно использовал для поиска Яндекс Десктоп, так как результаты работы сборщика хранятся в текстовом виде. Для автоматизации сбора есть ряд утилит зеркалирования сайта (тот же упомянутый Телепорт или банально wget :smile1:, который может как через прокси с аутентфикацией работать, так и забирать требующие аутентификации части сайта ), но лучше взять скрипт на Perl похожей функциональности (там есть хорошие и мощные библиотеки для загрузки веб-страниц - или тот же wget можно вызывать из него ) и доработать его, чтоб он забирал только то, что надо, выделял информационные блоки (с помощью наборов регулярных выражений) и хранил контрольные суммы страниц где-то и сранивал их . Визуальный анализ найденных различий - AVC.

 

Что думаете? :smile3:

 

Прочитал и понял, что получилось несистемно - пробую еще раз. :smile7:

Можно написать скрипт (лучше группу скриптов на Perl или другом языке - например, Питоне :smile5: ) , который с помощью бибилиотек или внешних утилит (curl, wget и т.д.) делает следующее для каждого заданного ресурса:

1. Сбор веб-страниц по группе заданных для этого ресурса поисковых запросов или начиная с группы указанных для этого ресурса URL на указанную глубину (с возможностью группы исключений из сбора по типу файла или маске URL - можно и скрипт для обработки страниц конкретного сайта делать, если так удобнее).

2. Расчет для каждой собранной страницы контрольной суммы, сохранение ее в специальномй файле(dbm?) и выявление новых страниц. Обработка только новых страниц (нет в списке уже обработанных страниц) или тех, у которых изменилась контрольная сумма.

3. Выделение из страницы информационных блоков (ищутся на странице с помощью регулярных выражений, задаваемых для каждого сайта с помощью конфигурационного файла ) и сохранение как оригинальной веб-страницы, так информационных блоков (как в HTML, так и в текстовом виде).

4. Создание отчета о сканировании в виде html-страницы со ссылками на найденные информационные блоки и веб-страницы и ссылкой на информацию о домене с помощью веб-интерфейса к WHOIS (можно сохранять в виде отдельного файла)

5. Протоколирование всех действий на предыдущих этапах и сохранение журнала (можно давать ссылку на него в отчете о сканировании)

 

Регулярный запуск сборщика может быть организован с помощью планировщика (например, nncron).

Для проверки работоспособности заданных рег. выражений имеется тестовый режим (работа с заданным группой файлов) .

Определение тематики информационных блоков - с помощью Яндекс Десктоп. Так как он имеет веб-интерфейс и возвращает результаты в виде веб-страницы, то можно с помощью того же планировщика генерировать отчеты о нахождении новой информации по тематикам (поиск в папках, соотв. результатам последних сканирований) и отправлять уведомление по почте и т.д.

 

 

 

 

Изменено 26 апреля, 200818 г пользователем Vinni

Я, кстати, Андрея Масаловича попросил появиться здесь и дать пояснения по поднятым проблемам. Он сейчас в отъезде. Обещал, когда вернется, выйти на форум и ответить на поставленные вопросы.

Изменено 26 апреля, 200818 г пользователем CI-KP