ignat_lyamin Опубликовано 2 августа, 2010 Поделиться Опубликовано 2 августа, 2010 Хочу поделиться опытом по получению информации о структуре бизнеса определённой группы лиц по средством сети Интренет.Собственно специализируюсь на информационных технологиях поэтому и примеры довольно специфичные. Не буду рассматривать ставшие уже традиционными методы поиска регистрационных данных домена компании, email и телефонов. Идея на самом деле простая: компаниям ведущим свою деятельность в сети нужно прдвигать свой(свои) сайты и учитывать число посетителей.Механизм группировки и выводов базируется на том что только владельцы(люди имеющие доступ к хостинг площадкам) могут размещать на сайте специфицеский код счётчиков, рекламных систем.Техническая сторона: в рунете 2,9млн доменов, на канале 2мбит/с все данные автоматически собираются за четверо суток(если не перенапрягаться). Продемонстрирую на примере сервиса webvisor позволяющего отслеживать поведение пользователя на сайте.Особенность сервиса в том что каждому клиенту присваивается уникальный идентификатор.Что позволяет получить домены принадлежащие(управляемые) одной группой лиц, а дальше уже можно снова проверять данные на которые зарегистрированны эти домены. Вот несколько примеров:формат: идентификатор, число сайтов, список сайтов m3yfd698rb8x:9472 12 [bestski.ru, alpenski.ru, best-ski.ru, alpen-ski.ru, gokruiz.ru, pac.ru, pac-group.ru, pakgroup.ru, pacgroup.ru, pak-group.ru, skinavigator.ru, ski-navigator.ru]m3yfd698rb8x:9473 1 [gocruise.ru] 1p9gproeauaad:2262 12 [azimuthotel.ru, azimuthhotels.ru, azimutresorts.ru, azimuthotels.ru, azimut-resorts.ru, ahotels.ru, azimut-hotels.ru, kurort-azimut.ru, lotos-astrakhan.ru, national-samara.ru, otdih-azimut.ru, russia-ufa.ru]1p9gproeauaad:2227 1 [pandaweb.ru]1p9gproeauaad:2143 1 [intelsib.ru] 19ih14tkfeg1u:6620 6 [china4x4.ru, chinagarage.ru, chinacarsale.ru, japanservice.ru, pekincar.ru, pekincars.ru]19ih14tkfeg1u:6618 2 [japancarzz.ru, mitsubishijc.ru]19ih14tkfeg1u:2097 2 [sitelider.ru, siteleader.ru]19ih14tkfeg1u:8961 2 [biletlider.ru, biletleader.ru]19ih14tkfeg1u:6619 2 [japantune.ru, nissanjc.ru]19ih14tkfeg1u:4687 1 [socialdance.ru]19ih14tkfeg1u:6262 1 [rezat.ru]19ih14tkfeg1u:2445 1 [kupi-linzi.ru]19ih14tkfeg1u:3456 1 [artbuket.ru]19ih14tkfeg1u:3769 1 [gs300.ru]19ih14tkfeg1u:4858 1 [instrument-market.ru]19ih14tkfeg1u:6597 1 [bestlestnitsy.ru]19ih14tkfeg1u:3767 1 [rx300.ru]19ih14tkfeg1u:8463 1 [japauto.ru]19ih14tkfeg1u:6084 1 [arbaletof.ru]19ih14tkfeg1u:10138 1 [6499977.ru]19ih14tkfeg1u:3768 1 [7782525.ru]19ih14tkfeg1u:6617 1 [japancarz.ru]19ih14tkfeg1u:4509 1 [palmaris.ru]19ih14tkfeg1u:3259 1 [medimet.ru]19ih14tkfeg1u:2600 1 [arxip.ru]19ih14tkfeg1u:2446 1 [kupi-arbalet.ru]19ih14tkfeg1u:3556 1 [ccpb.ru] Аналогичная ситуация с рекламными сервисами. Например adriver:Таже ситуация, уникальный идентификатор позволяет увидеть домены принадлежащие одной группе лиц, даже несмотря на левые регистрационных данные. adriver 47067 29 [bib.ru, badgirl.ru, badgirls.ru, cardsmail.ru, distr.ru, damochca.ru, built.ru, automob.ru, bold.ru, baklanov.ru, hardwizard.ru, homehealth.ru, famenko.ru, jdu.ru, jdy.ru, hotlove.ru, iyou.ru, jdi.ru, komu.ru, maybi.ru, mhert.ru, loverambler.ru, mayl.ru, loveflirt.ru, pishite.ru, pishi.ru, lovekm.ru, mobphone.ru, sportz.ru] adriver 107573 28 [breakdown-truck.ru, cleaningwater.ru, cargo-mos.ru, computerrepair.ru, 100magic.ru, audit-expertiza.ru, computerconfig.ru, aaocenka.ru, bibiocenka.ru, holedrilling.ru, courierdelivery.ru, kadastroviy.ru, mebshop4u.ru, legal-servise.ru, lyava.ru, moskva-uborka.ru, moscowlanch.ru, ocenkaexpress.ru, ocenkadachi.ru, ocenkaspb.ru, privorototvorot.ru, ocenkamoskva.ru, networkconfig.ru, ocenka-express.ru, profcable.ru, ocenka-auto.ru, poolbuilding.ru, sputnik-shop.ru] adriver 77157 28 [allhistory.ru, astra-ikra.ru, delos92.ru, attestat.ru, annagerman.ru, dakorservice.ru, autozap4asti.ru, brusplotnik.ru, ao-vital.ru, dhmelev.ru, hosteng.ru, gemoland.ru, gazsert.ru, ingle.ru, iidc.ru, imena-vremena.ru, jetunion.ru, mnw.ru, mnvhost.ru, mnwhost.ru, lekzio.ru, lobster.ru, rus-kuhni.ru, skyglobal.ru, stic.ru, smarttape.ru, geotechnokin.ru, rubintur.ru] adriver 112204 24 [baza-mest.ru, bazamest.ru, eventplaces.ru, event-catalog.ru, eventcatalog.ru, event-baza.ru, event-places.ru, eventarization.ru, eventindex.ru, eventevent.ru, eventkatalog.ru, event-in-the-sky.ru, event-katalog.ru, eventarizaciya.ru, eventoteka.ru, eventinthesky.ru, event-event.ru, event-index.ru, eventbaza.ru, onbart.ru, myspecialevent.ru, on-bart.ru, myspecialevents.ru, party-info.ru] Совершено таже самая ситуация со счётчиками пользователей rambler, mail, hotlog, statcounter и пр.Не буду приводить примеры что бы не перегружать сообщение. Безусловно нельзя отдельно не выделить google analytics, которые даёт более детальную картину структуры интересов исследуемой группы: UA-3008636 433 доменаUA-3008636-1 2 [anti-premiaruneta.ru, antipremia.ru]UA-3008636-12 1 [faceface.ru]UA-3008636-15 1 [darlock.ru]UA-3008636-17 2 [kill-me.ru, pobalde.ru]UA-3008636-20 417 [d4x.ru, c4q.ru, d4t.ru, a2x.ru, e2x.ru, e4w.ru, aplanat.ru, e4o.ru, dgcom.ru, b4j.ru, c4i.ru, c2j.ru, cuvette.ru, e2l.ru, e4c.ru, a4z.ru, e4z.ru, c4p.ru, e4v.ru, a4v.ru, a2y.ru, d2z.ru, d4m.ru, b4k.ru, balt-service.ru, a2v.ru, d4z.ru, d4v.ru, e2z.ru, b4h.ru, c2d.ru, d4n.ru, e4m.ru, 1201.ru, c2h.ru, anastigmat.ru, c2q.ru, a4x.ru, e2w.ru, b4q.ru, c2e.ru, aviaprofil.ru, c4j.ru, b4i.ru, e4l.ru, d2l.ru, d4c.ru, c2i.ru, c2z.ru, b4v.ru, b4z.ru, c2v.ru, a2h.ru, babyport.ru, e4g.ru, d2g.ru, b4n.ru, c4t.ru, aberrancy.ru, domnazakaz.ru, d4q.ru, e4r.ru, acii.ru, e2q.ru, c4x.ru, c2o.ru, cpmastername.ru, e2i.ru, a2i.ru, d2j.ru, d4e.ru, a2e.ru, e4j.ru, b4o.ru, c4l.ru, e4q.ru, a4q.ru, c4w.ru, c2x.ru, b4t.ru, d2q.ru, d4f.ru, a4e.ru, d2i.ru, a2j.ru, 1266.ru, c4o.ru, e2f.ru, e4i.ru, d4j.ru, a2f.ru, c4v.ru, c2y.ru, d4g.ru, d2h.ru, byte-m.ru, dnspark.ru, d4k.ru, a2g.ru, adaf.ru, e2g.ru, e4h.ru, e2t.ru, f2q.ru, h2w.ru, h4t.ru, g4q.ru, h4l.ru, g4i.ru, f4j.ru, f2e.ru, f2i.ru, gurutalks.ru, h2v.ru, h2z.ru, e2y.ru, e4n.ru, f4k.ru, g4h.ru, g4d.ru, f4g.ru, f2h.ru, f2s.ru, h4z.ru, h4v.ru, f4p.ru, g4k.ru, h4n.ru, f2g.ru, f2k.ru, f4d.ru, h2t.ru, habr-habr.ru, d2t.ru, f4q.ru, g4r.ru, f4i.ru, h4o.ru, g4j.ru, golubitskiy.ru, h4c.ru, h2l.ru, f2j.ru, f4v.ru, h4p.ru, f4z.ru, h4d.ru, e2h.ru, buddapest.ru, f4n.ru, h2g.ru, b4w.ru, g4t.ru, h4q.ru, f4w.ru, g4x.ru, f2l.ru, f4c.ru, h4e.ru, h2j.ru, e4f.ru, g4l.ru, h4i.ru, h2f.ru, f4t.ru, g2x.ru, g4w.ru, h2q.ru, f4x.ru, h2i.ru, h4f.ru, c2l.ru, f4l.ru, f2c.ru, eucharist.ru, g4o.ru, h4j.ru, f2z.ru, c4z.ru, f2v.ru, g4z.ru, e4d.ru, f2n.ru, h4k.ru, g4n.ru, j2q.ru, i4w.ru, k4q.ru, j4r.ru, k2f.ru, i41.ru, i4o.ru, k4e.ru, j2p.ru, i4z.ru, i4v.ru, j4s.ru, k4p.ru, j4k.ru, k4h.ru, k2g.ru, k4d.ru, j4g.ru, i2z.ru, j4h.ru, j4d.ru, k4g.ru, i4x.ru, infancy.ru, j2r.ru, j4q.ru, k4r.ru, i4t.ru, i4l.ru, j4i.ru, k2e.ru, k4j.ru, k4f.ru, j4e.ru, i2o.ru, ispytaem.ru, i4s.ru, kuveta.ru, j4v.ru, j4z.ru, j2u.ru, i2h.ru, i4g.ru, kupikvatiru.ru, j4n.ru, j2a.ru, k4m.ru, i4r.ru, k4t.ru, j4w.ru, j2x.ru, j2t.ru, k4x.ru, i2q.ru, i4f.ru, j4c.ru, k2c.ru, k4l.ru, j4o.ru, i4j.ru, j4t.ru, k4w.ru, i4q.ru, j2w.ru, j4x.ru, k4c.ru, k2l.ru, j2o.ru, i4e.ru, i2j.ru, i2f.ru, j2c.ru, j4l.ru, k4o.ru, g4v.ru, i4p.ru, j2v.ru, k4z.ru, k2u.ru, i4d.ru, i4h.ru, i2g.ru, k4n.ru, j2b.ru, l4x.ru, l4t.ru, m4z.ru, l4m.ru, mailfilter.ru, l4z.ru, l4v.ru, l4n.ru, m4t.ru, l4o.ru, m2o.ru, kuvet.ru, l4c.ru, l4p.ru, l4h.ru, l29.ru, l4q.ru, masrethost.ru, moyvrag.ru, m4j.ru, m2e.ru, l4i.ru, l4r.ru, m4q.ru, m2j.ru, masretcard.ru, o2r.ru, pomni-vse.ru, q4w.ru, s4q.ru, n4r.ru, p4x.ru, o4q.ru, n4j.ru, n2e.ru, o2f.ru, o4i.ru, q4c.ru, r4j.ru, o4e.ru, q4o.ru, n4f.ru, n2i.ru, q4v.ru, q4z.ru, o4p.ru, p2v.ru, o2g.ru, o4h.ru, n4k.ru, n2d.ru, r4g.ru, s2g.ru, n2h.ru, q4n.ru, o4d.ru, o2p.ru, n2s.ru, p4v.ru, p4z.ru, o4s.ru, s4g.ru, s2h.ru, q4a.ru, o4k.ru, o2d.ru, q4m.ru, o4g.ru, p4n.ru, n4d.ru, r4h.ru, r4q.ru, q4t.ru, q4x.ru, n4q.ru, r4e.ru, o2e.ru, p2l.ru, n2f.ru, n4i.ru, o4f.ru, q4l.ru, s4j.ru, r4z.ru, na-orbite.ru, n4v.ru, n4z.ru, q4s.ru, r4v.ru, r4n.ru, q4k.ru, o4a.ru, o2n.ru, q4g.ru, n2a.ru, r2t.ru, p2r.ru, n4w.ru, o4t.ru, o4x.ru, q4r.ru, p4q.ru, r4w.ru, r4o.ru, q4j.ru, n4c.ru, p4i.ru, p2j.ru, n4o.ru, p4e.ru, o4l.ru, q4f.ru, r2l.ru, o4w.ru, r4x.ru, r4t.ru, n4x.ru, p4r.ru, p4j.ru, o2l.ru, o4c.ru, q4i.ru, r4l.ru, q2j.ru, q4e.ru, n4l.ru, p4f.ru, o4v.ru, s4z.ru, s4v.ru, o4z.ru, q4h.ru, o4b.ru, p4k.ru, l4g.ru, r4m.ru, l4k.ru, r4a.ru, r2n.ru, p4g.ru, n4m.ru, o2a.ru, q4d.ru, o4n.ru, s2r.ru, s4e.ru, s4d.ru, k2y.ru]UA-3008636-3 1 [bc1.ru]UA-3008636-4 4 [1839.ru, allcams.ru, e-camera.ru, photo-port.ru]UA-3008636-5 2 [ljapko.ru, lapko.ru]UA-3008636-7 2 [pomnim-vse.ru, pomnivse.ru]UA-3008636-8 1 [raikido.ru] Таких примеров тысячи. какую ещё информацию позволит получить данные исследования?1. динамику роста бизнеса, освоения новых направлений - из анализа дат регистраций каждого из доменов.2. представление о числе и качестве клиентов распостраннёных сервисов: webvisor, adriver, begun.Например у webvisor примерно 1700 клиентов, из них 330 имеют более чем один домен в системе, счётчики установлены на 2500 доменов.У adriver порядка 3000 клиентов.3. получая раз в неделю(две) такой отчёт по конкуренту можно увидеть какие домены он вводит в эксплуатацию, какие новые сервисы устанавливает у себя на сайтах. С радостью отвечу на вопросы, дам пояснения по сложным моментам. Ссылка на комментарий Поделиться на другие сайты More sharing options...
kyraless Опубликовано 2 августа, 2010 Поделиться Опубликовано 2 августа, 2010 Каким образом берется сам идентификатор (исходный код страницы?). Что потом необходимо для получения остальных сведений? Ссылка на комментарий Поделиться на другие сайты More sharing options...
ignat_lyamin Опубликовано 2 августа, 2010 Автор Поделиться Опубликовано 2 августа, 2010 Каким образом берется сам идентификатор (исходный код страницы?). Вы правы все идентификаторы беруться из исходного кода страницы сайта. Что потом необходимо для получения остальных сведений? Сбор данных разбит на недельные инервалы.По окончании каждой недели все данные группируются по идентификаторам(счётчики, коды рекламыных площадок) и добавляются в общий список c которым уже можно работать. Например без лишних движений за пару секунд выясняются домены родственные it2b-forum.ru.hotlog 139090 4 [it2b.ru, idnb.ru, it2b-forum.ru, it2b-pro.ru] Конечно здесь простой случай, Роман не скрывает своего участия в этом проектеperson: Roman V Romachevи предоставил паспорт регистратору для идентификацииstate: REGISTERED, DELEGATED, VERIFIEDphone: +7 903 2130287fax-no: +7 903 2130287e-mail: iROnMAN@ostrov.net Собственно как и свои другие сайты:сервис-источник analysts.ruci-solutions.ruduemarx.rue-terror.rufticonsulting.ruglobaloptions.rui-dnb.ruidnb.ruit2b.ruit2b-forum.ruit2b-pro.rukohtppa3bedka.rup-texho.rupa3bedka.ruromachev.rustrantago.ru Ссылка на комментарий Поделиться на другие сайты More sharing options...
ignat_lyamin Опубликовано 2 августа, 2010 Автор Поделиться Опубликовано 2 августа, 2010 Собственно вот сгруппрованный список всех исследованых на конец июля доменов. 387 строк.Критерий: более 25 доменов на идентификатор. формат: сервис, идентификатор, число доменов, список доменов. Самые крупные владельцы доменов в списке - хостинговые компании.stat.result.txt Ссылка на комментарий Поделиться на другие сайты More sharing options...
kyraless Опубликовано 3 августа, 2010 Поделиться Опубликовано 3 августа, 2010 Не совсем понял как номер счетчика посещений позволяет выявить "родственные" сайты? По-моему 1 счетчик- 1 сайт. Ссылка на комментарий Поделиться на другие сайты More sharing options...
Рекомендуемые сообщения
Заархивировано
Эта тема находится в архиве и закрыта для дальнейших ответов.