Вроде, длину имен поправили :smile3:

 

 

[

quote name=kvisnilainen' date='4.5.2008, 21:12' post='52813]

2 Ne Ya

 

Юзал Аваланч, сейчас активно юзаю Вочер. Для моих целей (создание маркетинговых информационных систем) больше всего подходит Аваланч, сохраняющий все изменения в базу данных. Проблема только в одном: у меня не получается загонять в него длинные адреса (например, создается длинный запрос в Яндексе, адрес копируется в Аваланч) Вроде бы только 50 символов влазит... И еще смущает отсутствие обновления документации на второй Аваланч на сайте Тора- центра..

 

а топ-то не про мифический Вотчер, и не про семинары...

Троллинг в действии?

Коллега, Вы, насколько я понимаю, мой виртуальный знакомый с Состава. Если Вас тема мониторинга информации интересует, можем с Вами пообщаться в привате или в аське по поводу различных программ, связанных с мониторингом информации. Если же Вы просто сотрясаете воздух, жаль, но общение не получится.

это несложно, :smile3:

 

если слушателей будет не более шести,

а продолжительность - не более трех часов,

так это можем сделать бесплатно и довольно оперативно -

у меня как раз есть пустующий мини-офис на китай-городе

 

Надо только определиться с датой, чтоб смогли собраться те, кто и правда заинтересован.

 

А вот если народу будет больше, тогда надо чего-то организовывать с помещением.

 

Не знаю, будут ли отказавшиеся, но я точно не в их числе. Где и как можно посмотреть и послушать это?

 

Не, ну все же чуть шире. :smile3:

 

Давайте я все-таки поясню (освоил я это лет этак десять назад, а в 1998 году придумал первого робота, который умел ходить в невидимый веб (куда может не вести НИ ОДНОЙ ССЫЛКИ). Собственно в боевом Аваланче этот модуль почти в том виде и фунциклирует.

 

Итак, прием номер 1 (кстати, с реальным прототипом).

 

Когда-нибудь давно, скажем году в 2003 некая уважаемая ИТ-фирма освоила создание защищенных ИТ-инфраструктур для государевых служб,

и поместила пресс-релиз "мы такие вот крутые", а в подтверждение - отчет об одном месяце испытаний у одного заказчика, и отчет тот гласил

"Все у нас месяц классно отработало и замечаний нет". Казалось бы, давняя история, и никакого криминала, и никаких утечек и уязвимостей.

 

Наступил 2004 год, исчезли из интернета и тот релиз, и тот отчет, и фирма стала ну совсем крутой и делает сейчас инфраструктуры для критических приложений.

 

Но: мне тогда этот релиз попадался на глаза. И там стояла ссылка с релиза на отчет, и я ее запомнил, и была она вот такого вида:

 

ftp://ftp.чего-то_длинный_какой-то_адрес_...т_за_январь.дос

 

Ну и на фига, скажите, попу гармонь, если рядом филармонь? Зачем нам какие-то ссылки, URL и т.п.?

 

Если вам (ну вдруг) понадобится отчет этой фирмы, скажем, за май 2008 -(а это довольно круто, там описывается рутина очень негладкого внедрения системы в очень серьезную контору с детальным перечнем неустраненных критических уязвимостей их инфраструктуры), так я вас три раза расстрою:

 

1. Я еще в 2004 году знал, где БУДЕТ лежать их отчет за май 2008 (хотя ни урлов, ни отчета, ни даже федеральной службы их сегодняшнего заказчика еще не было в природе). Вы, наверное, тоже догадались:

 

Адрес будет выглядеть так: ftp://ftp.чего-то_длинный_какой-то_адрес_...тчет_за_май.дос

 

2. Он именно там действительно-таки и лежит, в прямой доступности, только с пометкой на морде - "строго конфиденциально"

 

3. И что мне помешает гонять туда боевого робота, например, раз в месяц, чтобы он приносил свежие отчеты?

 

Только для робота придется использовать движок боевого Аваланча, поскольку я не знаю других инструментов, которые бы умели анализировать структуру адресного пространства, и по регламенту генерировать адреса для обхода с учетом найденных закономерностей.

 

Таких приемов у меня в арсенале сейчас крепко за сотню, и на тех порталах, которые сейчас приходится пробовать на зубок,хотя бы один из них да срабатывает :smile11:

 

 

 

Угу. Можно и так, только далеко не на всех веб-сайтах... :smile14:

По классификации OWASP это уязвимости

"A4 - Insecure Direct Object Reference" A direct object reference occurs when a developer exposes a reference to an internal implementation object, such as a file, directory, database record, or key, as a URL or form parameter. Attackers can manipulate those references to access other objects without authorization.

и

A10 - Failure to Restrict URL Access Frequently, an application only protects sensitive functionality by preventing the display of links or URLs to unauthorized users. Attackers can use this weakness to access and perform unauthorized operations by accessing those URLs directly.

 

А на счет скрипта то как? :smile7:

Сделано. Я немного тестировал ее. Сейчас напишу подробно.

 

Кстати, я был неправ насчет того, что одна закладка =одна страница. В WSW есть возможность в "Дополнительно/Отслеживание ссылок"

автоматического добавления закладок, найденных по ссылкам с корневой страницы.

Можно задать глубину обхода, строки (регулярные выражения), наличие которых в URL блокирует их загрузку или наоборот разрешает ее.

Плюс можно выкусывать динамический идентификатор сессии из URL, чтобы не плодить новые закладки.

Правда, тогда технология работы становится немного интересной - надо делать специальный файл закладок только с корневыми страницами и использовать его как шаблон -открывать для работы пустой файл закладок, импортировать туда базовые закладки и каждый день(?) или обход страниц использовать новый файл (чтобы старые ссылки не мешались) .

С помощью языка скриптов все это просто.

 

The Follow-Links feature lets you monitor a whole site instead of single pages. For the Follow-Links feature you have to enter a start page which is also called Master-Bookmark. All links in the checked pages are inserted as new bookmarks automatically. The Follow-Links configuration must only be made in the Master-Bookmark, all automatically inserted bookmarks will use the configuration from the Master-Bookmark.

 

It's recommended to put each Master-Bookmark into a separate folder!

 

 

 

Link depth

The link depth defines the depth that WebSite-Watcher should follow. A link depth of 1 means that WebSite-Watcher will follow only links from the current page. With a link depth of 2 WebSite-Watcher will also follow links from linked pages, etc...

 

 

Copy all bookmark properties when inserting new bookmarks

By default (without that option) only the most important bookmark properties are copied to new, inserted bookmarks. If this option is enabled, nearly all bookmark properties from the source bookmark are used in the new, inserted bookmarks.

 

 

Don't follow links which contain one of the following strings

With this setting, new bookmarks will NOT be inserted if the link address contains one of the entered strings. Enter one string per line, all strings are case insensitive. The entered strings are "sub-strings", Wildcards or Regular Expressions are not supported.

 

Examples are:

.zip

.exe

.pdf

/adv/

 

 

Only follow links which contain one of the following strings

With this setting, new bookmarks will only be inserted if the link address contains one of the entered strings. Enter one string per line, all strings are case insensitive. The entered strings are "sub-strings", Wildcards or Regular Expressions are not supported.

 

Examples are:

techinfo

forum_data

 

 

Advanced / Ignore parts from an URL when checking if an URL already exists

If an URL contains a changing Session-ID it will be inserted each time you check the site. To prevent that behavior, you can define regular expressions to exclude parts of an URL when WebSite-Watcher checks if a bookmark already exists. Enter one regular expression per line.

 

Examples are:

?.* - filters everything after the question mark

&s=.*?& - filters the parameter &s= until the next ampersand, for example &s=hasdqwe79a8sd798&

&sid=[a-z|1-9]* - filters a session id with characters a-z and digits