Уфф... на диске "Оружие успеха" около 50 книжек и 500 статей, и я его постоянно обновляю. Поэтому полного актуального списка нет.

 

Но: из 500 статей около сотни - мои,

они частично собраны здесь - http://iam.ru/world/

а частично здесь - http://tora-centre.ru/technol.htm

 

Общую структуру диска можно посмотреть здесь - http://www.tora-centre.ru/demo/cd-ou.gif

содержимое папки "конкурентная разведка" можно посмотреть здесь - http://www.tora-centre.ru/demo/cd-ci.gif

 

А вот типичный отклик на качество диска "Оружие успеха" от парня с форума аналитиков (я с ним периодически переругиваюсь, поэтому обвинить его в ангажированности затруднительно :smile3: ):

 

"...Метасток в тора-центре у Масаловича всего 400 баксов, сам брал, плюс дают диск с литературой. Диск стоит на мой взгляд минимум половину. Очень неплохой..."

 

Да - материал стоящий. Сейчас перечитываю. Особенно проникся "не четкой", "мягкой" логикой.

2 Ne Ya

Установил свежий релиз, опять появился глюк с сообщением "Слишком сложный запрос" при рубрикации. Причем система спотыкается на простейшем запросе "Реле".

Изменено 2 сентября, 200817 г пользователем kvisnilainen

Приятно общаться со специалистом :smile3:

 

Но в случае с Аваланчем необходимо чуть подкорректировать в двух местах:

 

1. Выделение новостного блока на странице в Аваланче (в отличие от других аналогичных разработок) выполняется параллельно пятью разными алгоритмами:

- с помощью языка тонкой настройки

- сравнительным анализом и "наложением" деревьев разбора страниц данного сайта (так выявляется базовая структура шаблонов страниц)

- отработкой копии страницы "Версия для печати" (кстати, этот способ выглядит самым интеллектуальным - так чистенько все приносит :-)) )

- поиском аналогичной новости в сопутствующем RSS-потоке

- гениальным авторским алгоритмом, который пока чего-то не фунциклирует

 

Проблема сейчас в коде менеджера, который дирижирует всей этой оравой и активирует тот алгоритм, который с его точки зрения сейчас срабатывает лучше других - поэтому когда ошибается менеджер, это выглядит так, как будто блок тонкой настройки вообще отключился.

Опыт показывает, что только первый метод позволяет "взять" любой источник наверняка. Метод 2 и 3 (особенно 3) хороши, но опять же не всегда это возможно.

Заслуживает внимания метод №5. :smile20:

(но для осознания его нужен хотя-бы намек на его суть) :smile4:

 

2. Робот Аваланча трудно классифицировать в ряду "подобных спидеров", поскольку он ИНОЙ.

 

В основе боевых версий Аваланча лежит семейство довольно экзотических "проникающих роботов", один из которых ходит по линкам, как все приличные роботы, а вот другие лупят по бездорожью в невидимом Интернете двадцатью ДРУГИМИ способами (не используя аппарат гиперссылок).

Например, если обычному роботу попадается ссылка www.tri-bobra.ru/report-may-2005.doc , то НИ ОДИН из полутора тысяч известных мне роботов не станет проверять там же наличие файла www.tri-bobra.ru/report-august-2008.doc , а Аваланч - станет. Причем, довольно часто этот файл существует, там и лежит, ни одной ссылки на него не ведет, поисковики его не видят, а содержимое у него гораздо более интересное, чем у исходного файла 2005 года :smile3:

 

Поэтому проблема Авалачна не в том, что он чего-то не умеет наравне с "подобными роботами", а в том, что нам никак не удается элегантно кастрировать боевую версию до персональной и при этом не оттяпать ничего лишнего :smile3:

Отсюда же и чудовищная задержка с документированием персонального релиза.

В общем-то речь шла о "открытом" Интернет т.е. обычный мониторинг официальных новостей (например, для релиза текущих новостей).

Опять же из личного опыта, при работе с "закрытым" сегментом не изучается весь спектор. "Ломается" (обычно) конкретный источник на выявление неявных ссылок. Универсальность тут, к сожалению не всегда помогает. Такой код нужно индивидуально анализировать на возможные закономерности.

Вообще-то, нужно достачно осторожно подходить к "закрытому" сегменту. Могут быть разные нюансы. Например, включение в официальный релиз новости, которой нет на официальном источнике в доступе. Особенно, когда идет массированный поток информации вероятность включения такой новости высока. Возникнут вопросы. :smile3:

Изменено 8 сентября, 200817 г пользователем Сергей

В общем-то речь шла о "открытом" Интернет т.е. обычный мониторинг официальных новостей (например, для релиза текущих новостей).

Опять же из личного опыта, при работе с "закрытым" сегментом не изучается весь спектор. "Ломается" (обычно) конкретный источник на выявление неявных ссылок. Универсальность тут, к сожалению не всегда помогает. Такой код нужно индивидуально анализировать на возможные закономерности.

 

А вот Cuil решил упростить себе жизнь в "невидимом" интернете - только ничего хорошего из этого не вышло :smile1:

 

_ttp://www.securitylab.ru/news/358774.php

 

В распоряжении издания TechCrunch появились данные о том, что бот Twiceler, обходящий сайты "по заданию" Cuil, работает некорректно, в результате чего многие ресурсы "падают".

 

"Я не знаю, каким образом это происходит, однако когда Cuil пытается проиндексировать сайт, тот ложится под напором трафика, - сообщил TechCrunch анонимный источник. - Мы находимся в индексе Cuil двадцать четыре часа, и я был вынужден сократить пропуск трафика до двух пакетов в секунду, иначе сайтом невозможно пользоваться".

 

Дискуссии по поводу индексации сайтов ботом Cuil развернулись на форумах Admin Zone. Многие админы находят метод работы Twiceler некорректным.Они заявляют, что Twiceler действует как дилетант: поисковый бот беспорядочно бомбардирует сайт запросами, пытаясь проиндексировать страницы, на которые невозможно попасть по ссылкам, путем генерации псевдослучайных URL - действуя случайным образом (и увеличивая базу).

 

В Cuil заявляют, что бот - экспериментальный, постоянно модернизирующийся, и отмечают, что он не игнорирует файл robots.txt и не лезет на сайты, которые отказываются от индексации. Кроме того, часть инцидентов может быть не связана с Cuil, подчеркивают в компании.

 

А вот Cuil решил упростить себе жизнь в "невидимом" интернете - только ничего хорошего из этого не вышло :smile1:

Twiceler интересная штука для определенных целей.

Но его "тупость" именно в попытки решать проблему универсальностью подхода. Обычно не стоит проблема выявить весь "закрытый" интернет. Несколько ресурсов за раз, не более. А тут рулит именно индивидуальная аналитика. На ее основе настраивается спец. спайдер для этих целей, осуществляющий дополнительный перебор. Но стоит заметить, что не стоит возлагать особых надежд на особую ценность этого сегмента Интернет.