Социальные сети и многие СМИ очень информативны и удобны для мониторинга. Однако количество их растет, что делает такой мониторинг все более трудоемким. Кроме того, мало собрать информацию, ее надо еще проанализировать и верно интерпретировать. Для оперативного решения этих задач, крайне желательно иметь средства, позволяющие быстро решить две ключевых проблемы:

1. Собрать информацию по интересующей тематике (с возможностью уже на этапе создания запроса отсекать информационный мусор) .

2. Иметь возможность экспресс-анализа с визуализацией результатов - для того, чтобы отслеживать динамику трендов на больших массивах потоковой информации.

Эти задачи, в целом, IQBuzz (Айкубаз) на сегодня решает. Пока не идеально, но уже вполне приемлемо для практической работы.

Покажу, как работает IQBuzz (Айкубаз) на реальном примере. Поскольку меня, как правило, интересует анализ в плане негатив/позитив/нейтральная_информация, а также в плане “кто, в основном, гонит волну?”, я выбрал достаточно серьезного ньюсмейкера, по которому заведомо есть много информации разной эмоциональной тональности - Министра обороны РФ Анатолия Сердюкова. И на его примере протестировал работу IQBuzz (Айкубаз).

В основе работы с Айкубаз лежит “рубрика”. Это, своего рода, закладка, на которой собирается информация по заданному поисковому запросу. язык запростов у Айкубаз имеется, он не сложен, похож на большинство языков крупных поисковых машин, и позволяет создавать работоспособные поисковые запросы. Думаю, достаточно будет сказать, что логические “И”, “ИЛИ” и “НЕ” в нем присутствуют, а также есть “запрет менять словоформу”, и “точная фраза”.

Как выглядит сжатый результат по имеющейся рубрике, а также создание новой рубрики - видно вот на этом скриншоте (все картинки здесь и далее - кликабельны):

При создании новой рубрики, появляется диалоговое окно, в которое, в частности, вписывается поисковый запрос. Там же можно убрать часть источников, по которым будет вестись мониторинг (по умолчанию, они включены все). Для целей полевых испытаний, я решил сделать мониторинг по словам “Мебельщик” и “Табуреткин” - это устойчивые неформальные прозвища министра, встречающиеся в Интернете. Причем, эти прозвища заведомо характерны для неофициальных текстов, и при этом, преимущественно, негативны.

Для уменьшения количества информационного мусора, я попросил систему показывать только те документы, контекст которых - армия.

Кстати, наличие языка запросов - очень важный момент. Скажем, первоначально я не задал контекста к слову “Сердюков” и не ограничил словоформы. Результатом стало ощутимое замусоривание выдачи упоминаниями актера Павла Сердюка (Паши Сердюка), известного, в частности, по сериалу “Моя прекрасная няня”.

Использование возможностей языка запросов Айкубаз снимает эту проблему.

Вот пример результатов, которые были отнесены системой Айкубаз к негативу по запросу ‘Сердюков’ (картинка кликабельна):

А это - документы, которые отнесены системой Айкубаз к позитивным по запросу ‘Сердюков’ (картинка кликабельна):

А вот эти документы были отнесены Айкубаз к нейтральным по тональности, по запросу ‘Сердюков’ (картинка кликабельна):

В ходе работы с документами, справа от результатов есть сводка, позволяющая переключаться между документами разной тональности.

С негативом по заведомо негативному запросу ‘Табуреткин | Мебельщик’, в контексте “армия”, Айкубаз сработал предсказуемо корректно (картинка кликабельна):

А вот “позитив” оказался не по зубам Айкубазу - что, в принципе, объяснимо: сарказм в речи и человек-то не каждый поймет, а машине с этим тем более сложно. Такие запросы, видимо, придется более тщательно отсматривать вручную, (картинка кликабельна):

В ряде случаев, на мой взгляд, можно пополнять список негативных слов, если есть определенные события, которые для данного человека или организации негативны. Например, таковым может быть слово “Кондопога” для руководителя правоохранительных органов Карелии.

Редактирование списка негативных/позитивных слов пользователем в Айкубаз предусмотрено. Вот что написано в разделе “Помощь” по этому поводу:

Автовыделение тональности / Персональная настройка позитива и негатива

Вы можете самостоятельно настраивать правила, по которым будет автоматически определяться позитив и негатив.

При поиске в тексте негатива и позитива Айкубаз использует собственный словарь характерных фраз. Например, негативом будут считаться: ужасный, неудобный, мерзкий, хамить и т.п. Пример позитивных словарных выражений: понравилось, неплохо, прекрасно, качественно. Если какие-то из этих фраз встретятся в непосредственной близости от ключевых слов рубрики, то документ будет отнесен к соответствующей тональности.
Степень близости определяется шириной контекста. Единица ширины контекста в данном случае - одно слово в тексте. По умолчанию при определении тональности берется ширина контекста, равная 5 словам. Проще говоря, если в пределах 15 слов, идущих в тексте друг за другом, встретятся ключевое слово поиска и какая-то фраза из словаря позитива/негатива, документ будет помечен соответствующей тональностью.

Для любой созданной Вами рубрики можно настроить собственный словарь позитива/негатива и установить собственную ширину контекста. Необходимость персональной настройки объясняется тем, что негатив/позитив по отношению к одному объекту не всегда является таковым по отношению к другому объекту.

Для того, чтобы настроить автоопределение тональности для рубрики, необходимо открыть рубрику на вкладке “Информация о рубрике” и нажать кнопку “Настроить определение тональности”. В открывшемся окне правила для негатива и позитива настраиваются отдельно.

Тексты, оцененные Айкубаз по запросу ‘Табуреткин | Мебельщик’, в контексте “армия”, как нейтральные по тональности (картинка кликабельна):

Скорее всего , если в словарь негатива/позитива по Сердюкову добавить слова «Мебельщик» и «Табуреткин» именно как негативные, то ситуация с позитивом-негативом будет совсем другая. На практике пока не проверял, но проверю.

Результаты мониторинга можно экспортировать в Word или Excel. При этом, пользователю предоставляется выбор: полностью все документы экспортировать, или только некоторые.

В результате экспорта, в Word попадает полнотекстовый документ.

Вот примеры результатов такого экспорта по разным запросам (картинки кликабельны):

Пожалуй. самой сильной стороной IQBuzz (Айкубаз) является визуализация анализа результатов мониторинга.

По умолчанию, предоставляется “Сводный отчет”. Вот так он выглядит по запросу “Сердюков” (картинка кликабельна):

А так - по запросу ‘Табуреткин | Мебельщик’, в контексте “армия” (картинка кликабельна):

Система позволяет, кликнув на тот или иной участок “Сводного отчета”, посмотреть его структуру более глубоко.

Например, вот так (картинка кликабельна):

Активность авторов с позитивом (картинка кликабельна):

Активность блогов с позитивом (картинка кликабельна):

Распределение результатов по источникам (картинка кликабельна):

Общие выводы из тестирования системы Айкубаз (IQBuzz).

1. Система полностью работоспособна уже сейчас, и очень существенно ускоряет мониторинг RSS-потоков, хотя эта ее функция и неуникальна.

2. Система обладает очень полезным и информативным инструментом визуализации результатов, что облегчает анализ больших массивов инормацмм, но еще более полезно при оценке динамики информационного поля.

3. Система хранит информацию даже о блогах, которые существовали непродолжительное время и затем были полностью улдалены и из Интернета, и из результатов выдачи поисковых машин (это было выяснено на примере ряда запросов, не включенных в данный обзор) .

4. Система плохо работает с такими явлениями, как сарказм, поэтому “позитив” в ее понимании далеко не всегда является таковым на самом деле. Однако это характерно для таких систем в в принципе, и может быть отчасти компенсировано ручными настройками списка негативных слов (да и не для всех запросов сарказм встречается таких объемах, чтобы быть значимым).

5. Специалистам и организациям, работающим на аутсорсинге, инструментарий визуализации будет очень полезен тем, что позволяет объектино показать картину для заказчика - как в начале работы, так и позже.

6. По мере того, как будет увеличиваться количество источников информации (разработчики утверждают, что это происходит постоянно) - ценность системы для специалиста, ответственного за мониторинг, будет возрастать.

Евгений Ющук.

22.02.2012 г.

Источник

© Профессор УрГЭУ Ющук Евгений Леонидович. ЭКОНОМИЧЕСКАЯ РАЗВЕДКА ДЛЯ БИЗНЕСА (Competitive Intelligence, Yushchuk Evgeny Leonidovich), 2012. | Постоянная ссылка | Комментарии

Интересна эта тема? Посмотрите архив сообщений по теме Бизнес-разведка и Интернет.

А, на примере твитов сотрудников компании Самсунг, показаны некоторые другие нюансы.

Далее - цитата материала Дмитрия Золотухина.

В обилии возможностей конкурентной разведки есть определенные минусы. Они заключаются в том, что простые объяснения работы этих инструментов неизбежно приведут к сужению понимания всей этой сферы, а пространное описание всего разнообразия – займет много времени. Поэтому предлагаю ознакомиться с комплексом методов, который имеет название «OSINT» – Open Source Intelligence, и используется многими крупными компаниями наряду со спецслужбами.

Открытой информацией в конкурентной разведке считаются все данные, которые не являются «закрытыми», т.е., для получения которых, не требуется ничего взламывать или нарушать установленные нормы.

На самом деле, для того чтобы получить информацию о хозяйственной деятельности какой-либо организации, зачастую взламывать ничего не нужно. Требуется лишь понимание приемов работы с данными.

Возьмем, к примеру, организацию, которая, по идее, должна быть очень закрытой и скрывать всякую свою деятельность – Служба внешней разведки Украины (СЗР України).  Попробуем что-нибудь выяснить, например, о ее закупках.

Самое простое и понятное – определить те данные, которые станут идентифицирующими для этой структуры, например – код ЄДРПОУ. Для этого следует лишь ввести в поисковую строку Google правильный запрос.

Перейдя по ссылке – получаем всю необходимую информацию о юридическом лице. Если ее не достаточно, то за небольшую плату можно приобрести еще на том же сайте

Теперь можно повторить поиск, используя в поисковом запросе идентифицирующие элементы, например – тот же код ЄДРПОУ. Предположим, мы бы хотели узнать о закупках, которые проводит эта организация с помощью тендеров. Вэбсайтов, на которых размещена информация о тендерных закупках, в интернете огромное количество. Но, официальную информацию о госучреждениях можно скорее всего получить на сайте Министерства экономики Украины (tender.me.gov.ua).

Как видим поисковые роботы не смогли пробиться на сайт, чтобы проиндексировать нужную нам информацию. Но, останавливаться на этом не стоит :). Теперь, вместо url-адреса попробуем подставить его ip-адрес, который можно узнать с помощью многочисленных интернет-ресурсов, для этого предназначенных.

И повторяем поиск, используя в этот раз ip-адрес:

Как видим, в этот раз нам удалось найти 25 документов в разных форматах (pdf или doc), которые мы можем внимательно изучить и узнать многое о том, каким образом в разведывательных органах проходят тендерные закупки.

Конечно, можно сказать, что в частных серьезных компаниях такого не происходит, и получить об их деятельности информацию гораздо сложнее, ибо, пребывая в конкурентной среде, они конечно более ревностно относятся к данным о себе.
И в этом случае, уникальным источником могут послужить социальные сети, которые используются западными компаниями для получения информации полным ходом. Об этом рассказывает статья в украинском «Форбсе» – “Шпион, который меня зафрендил”.
Основанием для такого пристального внимания к соцсетям является тот факт, что зарегистрированные в них пользователи, рассказывая своим друзьям на Фейсбуке о своей жизни, с удовольствием делятся и некоторыми аспектами своей проффесиональной деятельности.

А Twitter для многих вообще стал источником новостей и актуальной профессиональной информации. Особенно интересным может быть чтение твиттер-аккаунта сотрудника конкурирующей компании…

Возьмем, к примеру, Samsung Electronics Ukraine.

Константин Череповский – человек, который возглавляет работу по продвижению компании и ее продуктов на рынке Украины.

Cправедливости ради следует сказать, что Константин весьма аккуратно относится к вопросу ведения своих профилей в социальных сетях, то ли будучи занятым своей работой, то ли не желая стать объектом пристального внимания. Однако свой Twitter он время от времени обновляет. Более того, Константин предусмотрительно закрыл возможность читать его твиты «не проверенным» пользователям.

Однако так ли уж невозможно ознакомиться с содержанием его твитов? – Почти…
Российский поисковик Яндекс.Блоги достаточно хорошо индексирует контент в Твиттере и имеет очень удобную систему поиска. Проведя определенные манипуляции с поисковыми запросами, получим следующий результат:

Таким образом, нам удалось найти 44 из 106-ти твитов Константина, но, мне кажется, что если покопаться подольше, то и остальные можно увидеть.

Уважаемые друзья! Помните, что единственная возможность защитить вашу информацию коммерческого характера – это постараться ни с кем не делиться ею без необходимости. Ибо понятие приватности в виртуальном мире, является таким же виртуальным.

© Профессор УрГЭУ Ющук Евгений Леонидович. ЭКОНОМИЧЕСКАЯ РАЗВЕДКА ДЛЯ БИЗНЕСА (Competitive Intelligence, Yushchuk Evgeny Leonidovich), 2012. | Постоянная ссылка | Комментарии

Интересна эта тема? Посмотрите архив сообщений по теме Бизнес-разведка и Интернет.

Люди, общаясь там, не отдают себе отчета, что они не на кухне с друзьями разговаривают, а высказываются публично и на весь мир. Мало того - что их трёп вполне можно собрать ретроспективно и выстроить в логическую цепочку. А также мониторить на будущее.
Этот психический феномен сетевых болтунов я, для простоты, назвал “синдромом кухни”.

Специалисты конкурентной разведки очень ценят в людях это качество. Оно дает нам возможность зарабатывать деньги и приносить заказчикам пользу, доставляя уникальные данные.

Но вот сами болтуны нередко оказываются внакладе. Причем, это не болезнь тоталитаризма, потому что в самых развитых демократиях тоже так. Например:

В Швеции трое сотрудников завода Volvo уволены за критику компании в Facebook

© Профессор УрГЭУ Ющук Евгений Леонидович. ЭКОНОМИЧЕСКАЯ РАЗВЕДКА ДЛЯ БИЗНЕСА (Competitive Intelligence, Yushchuk Evgeny Leonidovich), 2012. | Постоянная ссылка | Комментарии

Интересна эта тема? Посмотрите архив сообщений по теме Бизнес-разведка и Интернет.

svinonrainbow

svinonrainbow

Приведу несколько отрывков из материалов, о которых идет речь в этом посте.
“Вот из ассоциации адвокатов по разводам. Первое, что они проверяют, даже прежде чем нанять следователя, это что на вашей страничке в Facebook, и что оттуда нужно немедленно убрать. Потом они смотрят страничку противоположной стороны.

В журнале Wired, который преимущественно ориентирован на публику, но иногда они попадают в точку, написали «Колонизация Сети – вот чем сейчас занимается Facebook»”

…

Microsoft. Кто из вас знает, что такое Cassandra? Я впечатлен, 10 человек подняли руки. Это на 10 больше, чем обычно. Cassandra – это программа, всасывающая всю вашу информацию, каждую каплю вашей информации на Facebook. Они хотят анализировать вас как можно лучше, так что они создали свою программу для вторжения в частную жизнь.

…

Теперь просто пример. Вот это глава разведки Великобритании.
Ой, простите. Это бывший глава разведки Великобритании. Он и его жена выложили столько всего на Facebook, абсолютно бездумно, что теперь он «Бонд, уволенный Бонд»

…

Вот один пример. Конгресс США, в своих безудержных попытках нарушить вашу приватность, направил правительственный запрос каждому поисковому ресурсу с требований выдать всю историю поиска. AOL ответил – мы передадим вам эту историю, но уберем оттуда имена. У вас будет все, что они искали, но не будет имен, IP адресов, и других идентификаторов. Поскольку эта информация была передана Конгрессу, она стала публично доступной,

New York Times отправил запрос по программе FOYA, получил миллион поисковых запросов, и начал анализировать. Вот кто-то кто искал «60летний одинокий мужчина», «ландшафтные дизайнеры в Джорджии», «поселок Shadow Lake», «Арнольд», и «собака которая мочится на все». Когда NY Times поехали в поселок Shadow Lake, в Джорджии, они на самом деле нашли там человека Арнольд, которому было за 60, и у него была собака, которая действительно мочилась на все. Не так сложно деанонимизировать историю поиска.

…

Flash cookies. Вы не можете удалить flash cookies. Сколько людей знает, что такое Flash cookies? Когда я задаю этот вопрос в обычной аудитории, в лучшем случае один человек поднимает руку. Для тех из вас, кто не знает, что такое flash cookies, это постоянные cookies, которые нельзя удалить очисткой куки в браузере, и они позволяют восстановить всю вашу историю посещения страниц. Flash cookie хранит всю вашу историю, и потом выдает ее в обычные куки, после того как вы думаете что удалили ее. Сюрприз!

…

Это не преувеличение, я это не выдумал, это на самом деле так. Просто чтобы вы могли себе представить, насколько гигантская это компания. Они добавляют хранилища не дисками, не стойками, а комнатами, и планируют серверные фермы не в квадратных метрах, а в гектарах. Которые соединены их частной оптической сетью, их выделенными сетями, и питаются энергией от частных электростанций. Это Скайнет.
В 2006м, хотя мой доклад прервали, я говорил, что будет убийство, которое будет раскрыто благодаря Google.

Так вот, жизнь преподнесла пример. Был человек, он пришел домой, и якобы сидел женой на кухне, несколько плохих людей в лыжных масках врываются в дом, он с ними борется, его ранят, убивают его жену, и убегают, он звонит 911. Ну, Боже благослови следователя из Флориды, который расследовал это дело, потому что он обнаружил, что несколько месяцев назад этот парень гуглил «травма вызываемая ранением в правую часть груди». Мистер Барбер был приговорен к смертной казни, и приговор принесен в исполнение. Вы – это то, что вы гуглили.
*************************
И пару слов опять от себя. Конечно, описанное здесь во многом параноидально. Но есть один серьезный нюанс: бОльшая часть важной для кого-то информации не спрятана. Она лежит открыто, потому что владелец считал, что она никому не нужна. И, возможно, он был прав, когда это делал. Но потом, по прошествии времени, эта информация стала важной для кого-то. И была - нет, не столько найдена, сколько обнаружена в ходе целенаправленного поиска. Инструменты для такого поиска есть, и они хорошо известны специалистам конкурентной разведки. Они совершенствуются и постоянно пополняются новыми.

© Профессор УрГЭУ Ющук Евгений Леонидович. ЭКОНОМИЧЕСКАЯ РАЗВЕДКА ДЛЯ БИЗНЕСА (Competitive Intelligence, Yushchuk Evgeny Leonidovich), 2012. | Постоянная ссылка | Комментарии

Интересна эта тема? Посмотрите архив сообщений по теме Бизнес-разведка и Интернет.

Источник

Все картинки - кликабельны

Преамбула к деанонимизации ЖЖ-юзера steady_man

Есть в Живом Журнале персонаж с ником steady_man. До недавнего времени, он очень гордился своей анонимностью. И, считая себя неуязвимым в реале, избрал линию поведения наглую и грубую. Относился этот господин к екатеринбургской тусовке “демократов”.

Ко мне, в частности, он домогался то с требованием подать на него в суд, то с требованием его деанонимизировать. Ну, не забывая, конечно, рассказать - какой я нехороший и как он не любит меня. По этой причине, попал он в поле моего зрения, и я стал иногда поглядывать за информацией по нему. Не настолько сильно, чтобы плотно его мониторить или активно искать, просто в поле зрения держал.

Но вчера приключилось у steady_man ‘а в жизни некоторое изменение диспозиции.

Как развивались события с деанонимизацией ЖЖ-юзера steady_man.

Есть в Екатеринбурге специалист по PR Маматов Платон Сергеевич, выступающий в Живом Журнале под ником kaisi. Человек, пишущий интересным слогом и достаточно хорошо владеющий методами “раскопок в Интернете”.

И вот, когда steady_man в очередной раз попросил - на этот раз уже Платона Маматова (kaisi) его деанонимизировать - он получил требуемое.

Надо сказать, что отрывочная информация о steady_man в Интернете была. И деанонимизация его была возможна и ранее. Но с выходом в оффлайн, а потому требовала некоторых усилий, целесообразность которых была сомнительна. Например, вот так:

Про steady_man в Интернете изначально было известно несколько моментов, которые позволяли провести деанонимизацию довольно быстро - но в офлайне.

1. Имя steady_man было известно. Не помню уже - то ли его кто-то по имени назвал, то ли еще как-то, но имя известно было. Сергеем его зовут.

2. steady_man закончил 9-ю школу (гимназию) в Екатеринбурге. Он не скрывал этого.

3. steady_man живет в Италии

4. steady_man периодически приезжает в Екатеринбург

6. steady_man - активный участник так называемых “айтишной” и “оппозиционной” тусовок, и во время посещений Екатеринбурга встречается с участниками этих тусовок. При этом, отчасти, известно - с кем именно. Более того - они знают, кто находится под ником steady_man , т.к. он этого и не скрывал (от “своих”).

Возможные практические шаги по деанонимизации в офлайне на основании имеющейся информации.
(не предпринимались, ввиду ненужности)

Вариант 1 (тихий). Нахожу человека, который хорошо ко мне относится и при этом вхож в демократическую или айтишную тусовку. Прошу составить разговор при очередной встрече там так, чтобы прозвучало нечто типа: “А вот этот Серега, steady_man - такой интересный чел. Читаю запоем. Мыслит парень ну реально масштабно. Он кто вообще?” Инфу дадут.

Вариант 2 (долгий) Вступаем в демтусовку, поем “Долой Путина!”, “Даешь Уральскую республику!”,
“Парнас - лучшая партия на земле”, “Лёня и Федя - Карл и Фридрих современности” (это лидеры екатеринбургской демтусовки) и все в том же духе. Появляемся на тусах в реале, идем в волонтеры, наблюдаем на выборах…
По оконцовке - собираем всех на одну баржу в одну папку - ну и steady_man ‘а заодно.

Вариант 3 (игровой) Идем в 9-ю школу. Показываем удостоверение журналиста. Говорим: “Мы пишем статью о выпускниках знаменитой девятки, которые сейчас живут за границей. Чего добились, как себя чувствуют. Мы понимаем, что их очень много, поэтому решили начать с трех очень разных стран: Швеции, Италии и Бангладеш”. Долго слушаем воспоминания учителей - и получаем искомое в конечном счете.

Вариант 4 (немножко силовой) Идем в полицию, но не в “дежурку”, а к знакомым ребятам. Просим помочь выдернуть одного уродца, который пригодится в “коллекции бабочек” по калибру. Заявление по 282-й написать готовы, подборка есть. Товарищ подшивает копии высказываний искомого господина в папочку вместе с заявлением и начинает доследственную проверку по материалу. Топает в “девятку”, официально и честно показывает документ и проводит так же официально и честно оперативный опрос. Спрашивает установочные данные мужчины в возрасте 25-45 лет, по имени Сергей, который на работу в Италию съехал.

—————–

Это навскидку. Все варианты рабочие, все требуют немного разного времени и все дают результаты, хотя и немного разной глубины.
Но, если посмотреть на первый пункт “разведывательного цикла” - то видно там значится “цель”. Когда ее нет - никто никуда не идет и ничего не делает.

Понятно, что такой человек, как steady_man просто не мог не засветиться на сайте “Демократия2″: во-первых, этот ресурс был создан теми самыми Федей и Лёней, а, во-вторых, ни одна екатеринбургская демдвижуха без пламенного борца из Италии не может обходиться в принципе.
Но на сайте “Демократия2″ авторы ввели правило - указывать реальные имена.

И Платон Маматов (kaisi) там зарегистрировался и осмотрелся. И обнаружил человека вот с такими данными:

Зыков Сергей Арленович

Родом из Екатеринбурга. Несколько лет прожил в Уфе, так что, мне не совсем чужды проблемы и этого уральского региона. Закончил 9ю школу Екатеринбурга. Научный работник и преподаватель. Специалист по математической физике (конкретнее - по динамике и устойчивым структурам в условиях нелинейных взаимодействий), на данный момент проживающий в Италии.
Интересуюсь (пока скорее НЕ профессионально) различными подходами к описанию нейрофизиологических и социальных систем; во многом очень схожих по сути и по структуре. Друзья и знакомые специалисты подсказали по теме ряд современных хороших книг, которые прочитал и усвоил. Но для профессионального владения темой этого, конечно, мало. Мышление и подходы остаются, большей частью, физико-математическими. Хотя, всегда ли это так плохо?
С удивелнием обнаружил, что для описания социальных и когнитивных структур адекватного математического построения просто не существует. Самые близкие объекты это “фрактал” и “граф” (то же самое, что “сеть”). Но для понимания динамики (!) происходящих процессов и эти инструменты никуда не годятся.
В качестве конкретных приложений интересует антинаркотическая тема.

Платон Маматов (kaisi) сопоставил, как я понимаю, данные, предоставленные господином Зыковым с теми, что имелись на юзера steady_man, и написал такие строки в своем блоге:

Элементарно, Уотсон.

Деанонимизация вот на таком детском уровне не стоит ничего. Найти ваше фото, адрес проживания, и прочие вещи - уже сколько-то стоит, но не сильно дорого. Там на полдня суеты.

Выход на позиции, позволяющие установить местонахождение, место работы и, в конечном счете, уязвимости объекта (на примере деанонимизации ЖЖ-юзера steady_man).

Пропуская промежуточные этапы, когда господин steady_man на разные лады выражал свое “фэ”, перейду к промежуточному финишу: в полном соответствии с “синдромом кухни”, steady_man фактически сделал два заявления:

1. Признал, что Платон Маматов (kaisi) установил его верно;

2. Обозначил, что его не обрадовала эта ситуация, сказав: “буду признателен, если закроете запись обо мне под замок. Дырка, как вижу, не столь большая, как думал. А одно дело, когда может данные найти спец, совсем другое - когда всякий придурок, просто набрав в поисковике… Спасибо!”:

Я честно сказал господину Зыкову, что, в отличие от Платона, не буду ничего никуда убирать, а сделаю кейс. Или несколько кейсов - это будет зависеть от того, как поведет себя в дальнейшем господин Зыков. Так же честно я сказал, что испытываю проблемы с желающими добровольно стать наглядным пособием, поэтому в целом приветствую, когда такие добровольцы появляются. Хотя и не настаиваю.

Далее я сделал несколько шагов для проверки информации. В данный момент, она еще не стопроцентно верна, на мой взгляд, но где-то уже очень близко к искомому. Впрочем, покажу по порядку.

Шаг 1 Расширяем поиск информации по Зыкову Сергею Арленовичу на иностранные языки

Поскольку человек живет за рубежом, информацию о нем имеет смысл искать на иностранных языках - на итальянском и английском. Вопрос - где оптимальнее это делать. и как пишется правильно его фамилия на английском.

Я сделал вот такой запрос:

зыков сергей арленович email

и получил вот эту страницу:

Таким образом, стал известен один из адресов электронной почты Сергея Арленовича Зыкова, и наиболее вероятное написание его фамилии.
Запрос по мейлу дал еще вот такой мейл, с другой страницы Института Физики металлов УрО РАН:

Serg@imp.uran.ru

Запрос по этому новому мейлу

показал >вот такую англоязычную страничку< (слова в тексте выделены цветом мною)

Zykov Sergey

Research interests:
1) Integrable systems: Miura, Darboux and Backlund transformations, Dressing chains of integrable equations, Hamiltonian approach for integrable systems, Inverse Scattering Transform Method.
2) Crystal Growth: cluster analys, percolation and fractals.
3) Applications in theoretical physics, new solution in integrable and semi-integrable systems.

Advanced interest:
Computer simulation and computer experiment:
Programming languages C++, Fortran, Mathematica, Maple at al.

1. La propriete Painleve, un siecle apres, 1996
2. “Kourovka” - Urals international school of theoretical physics 1998, 2000
3. Diffraction Days, St. Petersburg, 1998 (inviting, ref)
“New transparent potentials in Sine-Gordon model: spectral problem&dynamics ”
4. Integrable models in theoretical physics, Chelyabinsk, 1998
5. Nonlinear science festival, Kopenhagen, Nils Bohr Institute, 1998
6. NEEDS’99, 1999
“Replication scheme for Kaup-Boussinesq equation.” (talk)
“New soliton solutions for Sine-Gordon equation with infinite
discrete spectrum in associated spectral problem.” (poster)
This CV last modified: June, 2001

Что там меня заинтересовало более всего?

1. События датированы 2001 годом - когда Сергей Зыков еще ни от кого не прятался

2. Показана дата рождения

3. Есть домашний телефон того периода.

Закрепляем доказательства того, что сайт _ttp://sergarl.narod.ru/ имеет отношение к искомому Зыкову С. А.

Вот один из пунктов списка публикаций к диссертации Сергея Арленовича Зыкова “Размножение нелинейных интегрируемых уравнений теоретической физики” на сайте www.referun.com

А.В. Borisov, M.V. Pavlov, S.A. Zykov. Proliferation scheme for Каир - Boussinesq equation// Physica D, 2001, V. 151-152 (A Special Issue to Honor Vladimir Zakharov), P. 104-109.

а вот пункт с сайта _ttp://sergarl.narod.ru/

3) A.B.Borisov, S.A.Zykov, M.V.Pavlov, Proliferation scheme for Kaup-Boussinesq equation,
Phisica D151-152 (special issue for V.E.Zakharovs birthday), p.104-109, 2001

Полагаю, вполне достаточно, чтобы считать, что сайт _ttp://sergarl.narod.ru/ связан именно с Сергеем Арленовичем Зыковым.

В таком случае, мы получаем ник sergarl (вероятные варианты написания serg arl, serg-arl, serg_arl) который с высокой степенью вероятности тоже связан с пользователем ЖЖ steady_man

Ник sergarl, на мой взгляд, “говорящий” - может быть образован от слов “Сергей” и “Арленович”

По этому нику есть довольно много информации.

Шаг 2 Фото фигуранта
На главной странице сайта на “Народе”

Шаг 3. Пытаемся найти увязку ников sergarl и steady_man

Вариант решения:

Вот главная страница пользователя sergarl на Яндексе:

Адрес аватара пользователя sergarl - той самой “кирпичной стенки”, на которую обратил внимание в этом плане Платон Маматов. Такой же аватар у юзера steady-man, которого Платон Маматов идентифицировал как Зыкова Сергея Арленовича

TinEye утверждает, что картинка по адресу аватара пользователя sergarl ей известна как аватар steady-man на множестве блогов

А это - контент блога sergarl на Яндексе

А это - контент блога steady-man (которого Платон Маматов идентифицировал как Зыкова Сергея Арленовича) в ЖЖ

Дополнительно:

Кого зафолловил твиттер Sergarl

Видно, что практически пустой твиттер Segarl

фолловит сразу несколько вариантов написания “Стедимена” (и еще некоего Аллана с цифрами), причем только один стедимен активен (как раз тот самый, что идентифицирован Платоном Маматовым как Зыков Сергей Арленович), остальные - пусты. Это с 2010 года.

На мой взгляд, связь между никами steady_man и sergarl можно считать доказанной.

Шаг 4. Ищем людей, от которых зависим физик/математик Сергей Зыков в Италии.

Итак, продолжаем искать в Италии Сергея Зыкова, имеющего математическое образование и работавшего в Институте Физики металлов. возможная цель такого мероприятия - выйти на физическое месторасположение Зыкова Сергея Арленовича и, по возможности, найти его уязвимые точки.

Обнаружен >вот такой документ< - отчет некоего Сергея Зыкова в университете Universita del Salento

Что из него видно:

- список людей, с которыми Сергей Зыков вместе проводит работу на кафедре (в департаменте) физики, и места их работы:

University of Salento - Professor Luigi Martina
SISSA – Trieste, Professor Boris Dubrovin
Moscow State University – Professor Maxim Pavlov

Все они - люди публичные, поэтому выяснитть у них тот ли это Сергей Зыков, что нас интересует (т.е., человек, который, как установил Платон Маматов, долгое время скрывался под ником steady-man) - труда не составит, на мой взгляд.

- телефон, мейл и имя секретаря, для которой имя “Сергей Зыков с департамента физики” не пустые звуки:

gianna.debonis@le.infn.it
+39.0832.297463

- образец подписи Сергея Зыкова

- тематику работы Зыкова в Италии

Имя и координаты непосредственного начальника фигуранта по административной линии:

Professor Armando BLANCO

armando.blanco@unisalento.it

Dipartimento di FISICA
+39 0832 29 7468
+39 0832 29 7475
+39 0832 29 7479

В ходе проверочных мероприятий (если их провести в реальности), несомненно, вскроется - тот ли это Сергей Зыков или нет.
Если даже и нет - то человек, на которого выйдут в результате, с высокой степенью вероятности, знает, как найти нужного Сергея Зыкова.

Хотя вероятность ошибки, на мой взгляд, довольно мала: не так много в Италии Сергеев Зыковых, занимающихся математикой и физикой.
Дополнительно, можно пройтись по тематике, показанной в отчете и сравнить: созвучна ли она тому, чем занимался Зыков в Екатеринбурге в институте физики металлов. Лучше это делать при помощи специалистов.

Ну и сам университет - вот он (там тоже есть телефоны, если что)
http://www.unisalento.it/

Адрес на Гугл-картах:

Universita del Salento
Piazza Tancredi,7 , 73100 Lecce, Италия
+39 0832 291111 ?

http://maps.google.ru/maps/place?q=U…97890677418649
Шаг 5. Выходим на позиции, с которых можно начинать работать (при необходимости) с социальным окружением господина Зыкова Сергея Арленовича

Задал вопрос господину Зыкову - известны ли ему такие люди, как Luigi Martina, Boris Dubrovin, Maxim Pavlov? Пока ответа не было.

Смотрим сами - как найти этих людей.

У господина Зыкова из итальянского университета, была работа в 2010-2011 году вместе с профессорами Борисом Дубровиным и Максимом Павловым.

Вот и уважаемый профессор Дубровин включил в список публикаций такую вот работу:

“Дубровин Б.А., Павлов М.В., Зыков С.А. Слабо нелинейные гамильтоновы уравнения в частных производных и новый класс решений уравнений ассоциативности WDVV. Функц. анализ и его прил., 45:4 (2011) “

Видите - некий Зыков С. А. (Зыков Сергей Арленович?) поучаствовал. И тоже что-то про анализ и математику (увы, своими силами мне не оценить, насколько это про одно и то же, а звать понимающих людей пока ни к чему)

И еще там написано, что это все “публикации сотрудников лаборатории по теме гранта ”
И координаты уже в Москве есть (можно и ножками сходить, если что, и письмо написать):

Лаборатория: г.Москва, Ленинские горы, 2-й гуманитарный корпус, ауд. 456
Семинарская аудитория: г.Москва, Ленинские горы, 2-й гуманитарный корпус, ауд. 442
Почтовый адрес: 119991, Москва, Ленинские горы, Главное Здание МГУ, механико-математический факультет, Лаборатория геометрических методов математической физики.
E-mail: dubrovinlab@gmail.com

А вот так, на мой взгляд, косвенно можно проверить что тематика Сергея Арленовича Зыкова совпадает с тематикой “Зыкова С. А.” в статье.

Статья называется “Слабо нелинейные гамильтоновы уравнения в частных производных и новый класс решений уравнений ассоциативности WDVV. Функц. анализ и его прил.,”

Я вот такой запрос в Гугл сделал:

“Сергей Арленович” гамильтоновы уравнения

По-моему, вполне наглядно получилось. Со спецом, конечно, лучше разбираться, но искомые слова, по крайней мере, рядом расположены постоянно.

Общие выводы, которые я сделал на момент выхода материалов с кейсом по деанонимизации ЖЖ-юзера steady_man .

1. Анонимность ника steady_man, благодаря умелым действиям Платона Маматова (kaisi), утрачена

2. Созданы предпосылки для серьезной компрометации позиций господина Зыкова в Италии и в привычных ему кругах - поскольку есть вероятность, что его научное окружение не одобрит его политическую активность. Даже не столько по сути, сколько по форме.
В таких случаях, контраст между “воспитанным мальчиком” и “наглым сквернословом” может оказаться чересчур силен. А материалов для иллюстраци этого явления за время анонимного общения steady_man создал предостаточно.

3. Ученые, работающие с господином Зыковым, работают на гранте Правительства Российской Федерации, полученном в 2010 году. Этот факт может сыграть дополнительную роль в судьбе господина Зыкова - если он решит идти на конфликт и с этим самым правительством, и с активными пользователями Сети

В общем, при желании, с этих позиций можно развернуть достаточно эффективные воздействия на противника. Уточняю: если это будет кому-то надо. Мое исследование носит теоретический характер. Во всяком случае, пока.

Сам господин Зыков, хотя бы уже начал понимать, что все это, как он выразился “нечаянно сам спровоцировал”. Там, глядишь, и поймет, что не всегда полезно переводить теоретические кейсы в практические наработки. Я всегда рад видеть, как в людях просыпается совесть и адекватность. Жаль, правда, что этому пробуждению нередко приходится помогать.

По мере появления новой информации - буду делать апдейты.

Ющук Евгений Леонидович,
профессор УрГЭУ-СИНХ, специалист Конкурентной разведки
28.01.2012 г.

UPDATED 29.01.2012
В связи с этим кейсом, у ряда читателей возник вопрос: не является ли подобный сбор и анализ информации нарушением Закона РФ “О персональных данных”? В данном случае, напомню, фигурант сам неоднократно просил его деанонимизировать. Однако понятно, что вопрос носит и более общий характер, касается, в принципе, подобных исследований.

Ответ дал на Форуме Сообщества Практиков Конкурентной разведки один из лучших российских специалистов по персональным данным и коммерческой тайне Alex Toparenko:

Смотрим ЗоПД в редакции после 25 июля 2011 года:

Статья 6. Условия обработки персональных данных
1. Обработка персональных данных должна осуществляться с соблюдением принципов и правил, предусмотренных настоящим Федеральным законом. Обработка персональных данных допускается в следующих случаях:

10) осуществляется обработка персональных данных, доступ неограниченного круга лиц к которым предоставлен субъектом персональных данных либо по его просьбе (далее - персональные данные, сделанные общедоступными субъектом персональных данных);

[/q]

Т.ч. обобщение ПДн, раскрытых субъектом в Сети и анализ их не будут нарушением

© Профессор УрГЭУ Ющук Евгений Леонидович. ЭКОНОМИЧЕСКАЯ РАЗВЕДКА ДЛЯ БИЗНЕСА (Competitive Intelligence, Yushchuk Evgeny Leonidovich), 2012. | Постоянная ссылка | Комментарии

Интересна эта тема? Посмотрите архив сообщений по теме Бизнес-разведка и Интернет.

Источник: Сайт компании Ющука Евгения Леонидовича “Маркетинг рисков и возможностей ”

Эта история началась еще в прошлом году, и из-за своей неординарности (впервые в России шел суд над депутатом за невоздержанность в словах) привлекла внимание крупных средств массовой информации. Даже радио иновещания “Голос России” опубликовало статью “Из блога - в суд” о суде между мной и депутатом Гордумы Екатеринбурга Леонидом Волковым и пообещало следить за процессом до его окончания.

Решение суда вступило в законную силу. Кассацию депутат Волков однозначно намеревался подавать, но так и не подал. Судя по всему, просто, не рискнул - настолько грамотно и скрупулезно судья отработала все доказательства.

Я потом подробно распишу весь алгоритм проделанной работы. Но это довольно много, поэтому пока скажу кратко: лучшая схема, на мой взгляд - это начало процесса по оскорблению, либо клевете, как уголовного.

Далее - либо возбудят дело, либо нет. Если нет, и если это специальный субъект - такой, как депутат - обжаловать отказ не надо, надо сразу идти в гражданский суд и ходатайствовать о запросе туда материалов по заявлению. А если это мировой судья - то все еще проще.
По депутатам гордумы в России заявления пишут в Следственный Комитет областного уровня.

Итог: мой иск удовлетворен частично - полностью в части требования удаления материалов из Интернета и частично - по сумме. Я в воспитательных целях, просил взыскать 50 тыс. рублей за моральный вред. Взыскали 5. Депутат, кстати, тут же начал рассказывать, что это цена репутации Он, как обычно, вводит общественность в заблуждение: в мотивировочной части ясно написано, что это оценка реально понесенного ущерба. Т.е., если человек заболел или понес материальные потери - присуждают больше, если, как я, слава богу, жив-здоров - меньше. Сама по себе репутация бесценна и в деньгах не выражается в принципе.

Однако это я получу 5 тыс. руб. А вот депутат Волков заплатит ощутимо больше. 5 тыс. моральный вред в мою пользу, 17 тыс. - стоимость экспертизы.
Теперь, после вступления в законную силу решения суда, мы предъявляем ему стоимость адвоката и нотариуса - 20 тыс. руб. и 1350 руб. соответственно. По сложившейся практике, это делается отдельным исковым заявлением. Иск этот, по сути, бесспорный, поэтому может быть рассмотрен вообще в отсутствие сторон - достаточно просто документы о платежах приложить.

Итого, уже сейчас депутат Волков обязан убрать оскорбления из Интернета, а также заплатить 22 тыс.руб. А потом ему отдельным исполнительным листом добавят. Если не выполнит решение суда - на то есть отдельные санкции, и немалые. А Служба Судебных Приставов контролирует процесс исполнения судебного решения.

Ниже - отрывок из передачи “Сетевой дозор” на Голосе России и ссылка на эту передачу. Журналист, я считаю, молодец: он честно взял интервью у Волкова и у меня. Рекомендую послушать, кстати, волковские высказывания. Там сначала депутат открещивается от собственных слов по кассации, потом начинает рассказывать, что один из самых известных в регионе ВУЗов - это заштатное заведение. А я, разумеется, не профессор А потом и вовсе начинает рассуждать о конкурентной разведке, причем демонстрирует абсолютное непонимание вопроса. “Но голову держит гордо” - как говорится в известной шутке

Впрочем, чего еще ждать от человека, который практически носился по всему Интернету и сыпал оскорблениями (набралось семь страниц распечаток, которые и были отправлены на экспертизу), а потом так и не понял, каким «неожиданным образом» я выиграл у него суд. И который, похоже, до сих пор не понял, что каждый имеет право на мнение, но форма выражения этого мнения должна быть не оскорбительной, а содержание – не клеветническим. Иначе возможны правовые проблемы – вплоть до лишения свободы.

По ссылке – можно прочитать и послушать передачу “Сетевой дозор” на радио “Голос России”: “Блогер против блогера - избиратель против депутата”

Блогер нашел судебную управу на блогера. Казалось бы, что в этом необычного. Если бы не одно «но». В России создан прецендент, когда обычный избиратель взыскивает в судебном порядке моральный вред с депутата своего округа. Именно так и получилось в случае с профессором Уральского государственного экономического университета Евгением Ющуком и депутатом городской думы Екатеринбурга Леонидом Волковым… Читать далее.

Пример нотариально заверенного скриншота страницы Интернета - для процесса по защите чести, достоинства, деловой репутации в Интернете

Пример решения суда по вопросу оскорблений в Интернете, в частности - в Живом Журнале депутата и Живых Журналах Третьих лиц, а также в Твиттере депутата.

© Профессор УрГЭУ Ющук Евгений Леонидович. ЭКОНОМИЧЕСКАЯ РАЗВЕДКА ДЛЯ БИЗНЕСА (Competitive Intelligence, Yushchuk Evgeny Leonidovich), 2011. | Постоянная ссылка | Комментарии

Интересна эта тема? Посмотрите архив сообщений по теме Бизнес-разведка и Интернет, Ющук Евгений Леонидович. Бизнес-разведка..

Некоторые материалы по теме информационных столкновений в Интернете: Профессионал конкурентной разведки Андрей Масалович против информационной атаки со стороны газеты Маркер (главный редактор газеты Маркер - Малютин ) - здесь.

Статья американских исследователей из Университета Аризоны.

Приводится с сокращениями. Рассказывает о том, как американские специалисты проводят мониторинг форумов, закрытых для мониторинга поисковыми машинами.

Сбор информации с “закрытых” форумов Невидимого Интернета. На примере экстремистских групп.

Автор конспекта-перевода: Евгений Ющук

Авторы статьи “A  Focused Crawler for Dark Web Forums” ( “Web spy software hacks into secretive online forums”) в оригинале : Tianjun Fu, Ahmed Abbasi, Hsincun Chen.

В оригинале статья почти вдвое длиннее, поэтому тем, кто хочет прочесть ее всю, лучше читать в оригинале. Я перевел только то, что было интересно лично мне. Многое переведено не дословно, хотя и близко к тексту оригинала. Рисунки - из оригинального текста.

Работы  в области целевых или тематически-ориентированных пауков, проводились Chakrabarti, Van Den Berg, & Dom, [1999]; Pant, Srinivasan, & Menczer, [2002]
Большинство ранних пауков концентрировались на сборе информации со статических страниц, причем англоязычных и выложенных открыто. Это страницы, так называемого, Видимого Интернета. Если конфигурировать паука для сбора информации с форумов Невидимого Интернета, приходится сталкиваться с несколькими серьезными проблемами. Одна из главных – доступ к материалам форума. Интернет-форумы динамичны и часто требуют регистрации участника. Нередко они и без умысла со стороны владельцев являются частью Невидимого Интернета (это отражено в работах Florescu, Levy, & Mendelzon, [1998]; Raghavan & Garcia-Molina, [2001]).
Форумы содержат статические и динамические текстовые файлы, архивные файлы, и различные формы мультимедийного контента (т.е., изображения, аудио и видео файлы). Сбор столь многообразного контента создает массу проблем, которые не могут быть решены стандартными пауками, ориентированными на текстовый контент. Второй важной проблемой является маскировка паука для обеспечения возможности повторной работы на форуме, т.к. при идентификации паука администраторами форума, он может быть заблокирован. Поэтому паук, нацеленный на работу в Форумах Невидимого Интернета должен применять несколько разных типов маскировки при просмотре обновлений контента.
В этом исследовании мы предлагаем варианты развития целевых пауков, предназначенных для работы в форумах Невидимого Интернета. Наша система управления пауками позволяет расширить и углубить обход форумов. Она основана на идентификаторах в адресной строке (url), якорных словах, уровнях гиперссылок. Наша система включает также  элементы, которые позволяют преодолеть вышеупомянутые проблемы с доступом, многоязычностью и многовариантностью контента.
Для обеспечения доступа паука на форум, мы используем помощь человека – т.н. «human-assisted approach» (это отражено в работах Raghavan & Garcia-Molina, [2001]). Наша система включает также возможность настройки параметров паука и прокси-серверов для улучшения возможности проникновения на форумы. Пауки используют анализ url’ов, того, чтобы проводить тематический поиск новых форумов и материалов в автоматическом режиме, независимо от языка, на котором общаются на форуме.

Фрагмент работы Raghavan & Garcia-Molina http://www10.org/cdrom/posters/p1049/index.htm .
“A number of recent studies [1,2,3] have noted that a tremendous amount of content on the Web is dynamic. However, since current-day crawlers only crawl the publicly indexable Web [2], much of this dynamic content remains inaccessible for searching, indexing, and analysis. The hidden Web is particularly important, as organizations with large amounts of high-quality information (e.g., the Census Bureau, Patents and Trademarks Office, News media companies) are placing their content online, by building Web query front-ends to their databases.

Crawling the hidden Web is a very challenging problem for two fundamental reasons: (1) scale (a recent study [1] estimates the size of the hidden Web to be about $500$ times the size of the publicly indexable Web) and (2) the need for crawlers to handle search interfaces designed primarily for humans.

We address these challenges by adopting a task-specific human-assisted approach to crawling. Specifically, we selectively crawl portions of the hidden Web, extracting content based on the requirements of a particular application or task. We also provide a framework that allows the human expert to customize and assist the crawler in its activity”.

Доступность
Огромная часть Интернета генерируется динамически. Часто контент такого рода требует предварительной авторизации пользователя, заполнения каких-то форм, регистрации (Raghavan & Garcia-Molina, 2000). Это заставляет отнести большую часть интернет-ресурсов к Невидимому Интернету. Одно из исследований показало, что Невидимый Интернет содержит в 400-500 раз больше информации, чем Видимый (Bergman, [2000]; Lin & Chen, [2002]).
Технология автоматического заполнения форм не является решением проблем с Форумами в Невидимом интернете, т.к. там часто требуется логиниться.
Решением проблемы доступа к Невидимому Интернету может быть подход, когда робот сфокусирован на определенной тематике, и на некоторых этапах ему помогает человек. Это полуавтоматическая работа:  когда помощь эксперта обеспечивает доступ пауку к контенту, а далее паук обрабатывает его сам. Степень задействования человека зависит от сложности доступа на форум. Например, многие форумы требуют стандарно заполнить адрес электронной почты, а это легко автоматизировать. Но есть и такие процедуры, которые пройти может пока только человек.

Типы собираемой информации
Форумы создают паукам специфические трудности. Например, в форумах нет централизованного оглавления (Glance et al., [2005a]). Более того, приходится создавать специальные филтры, которые позволяют выделить из информационного массива разного рода метаданные – например, авторов, время выхода поста, разного рода служебные сообщения и т.п. Такие фильтры нужны для того, чтобы впоследствии проводить повторное сканирование форума, забирая только обновившуюся информацию.
BoardPulse (Glance et al., [2005a]) – система для сбора сообщений с интернет-форумов. Она состоит из двух компонентов – паука и фильтра.  Limanto, Giang, Trung, Huy, and He ([2005]) создали движок для сбора информации с форумов, который включает паука, генератор фильтров и экстрактор (который применяет сгенерированные фильтры к форуму). Yih, Chang, and Kim ([2004]) создали онлайновую систему по работе с данными форумов, состоящую из паука и экстрактора. Их система уже имела точную направленность – искала материалы, связанные с предложениями и промо-акциями интернет-магазинов.
Проект NetScan (Smith, [2002]) собирал и визуализировал миллионы страниц в группах USENET.
RecipeCrawler (Li, Meng, Wang, & Li, [2006]) был нацелен на сбор рецептоа по кулинарии из самых разных источников., в т.ч. и из Интернет-Форумов. Как и BoardPulse, RecipeCrawler для сбора информации использовал паука и фильтр.
Guo et al. ([2006]) предложили паука, который шел по форуму, формируя маршрут  на основе иерархии его страниц – подобно тому, как это делает обычный пользователь. Он использовал идентификаторы в тексте страниц и url’е для прокладки своего маршрута.Все вышеперечисленные системы были ориентированы на работу с открытыми Интернет-ресурсами. Они не были ориентированы на работу с Форумами в Невидимом Интернете. Соответственно, они не решали проблем первичного и повторного доступа на форум.

Разнообразие контента
Размеры мультимедийных файлдов, как правило, намного больше, чем текстовых. Значит, требуется больше времени на их скачивание и часто будут прерывания по тайм-ауту. Heydon and Najork ([1999]) извлекали все MIME типы файлов  (включая изображения, видео, аудио, и .exe)  - с помощью Mercator crawler. Они отметили, что при сборе таких файлов резко возрастает время работы и удваивается средний размер файла, по сравнению с извлечением HTML-файлов. Поэтому многие другие исследователи, как правило, игнорировали мультимедийный контент.
Метки в URL
Aggarwal, Al-Garawi, and Yu ([2001]) отмечали четыре категории идентификаторов, которые надо анализировать пауку при скачивании материалов. Это гиперссылки, текст в анкоре и в url, и уровень страницы (ее удаленность от главной).

Многие исследования включали в работу внутренние, входящие и исходящие ссылки (Pant et al., [2002]).
Тематические пауки используют семантическое ядро страницы, для определения того, к какому разделу ее отнести. Например, Srinivasan et al. ([2002]) использовал семантическое ядро страницы для отнесения текста к категории «биология-медицина» при работе со своим тематическим пауком. Но, при всем том, что работа с текстом очень эффективна, она сильно зависима от языка и затруднительна при работе со ресурсами, где языки разные.
Слова-идентификаторы в url. Они удобны тем, что снижают зависимость качества работы паука от языка, на котором идет общение на странице. Часто их сочетают с анализом слов на самой странице.
Еще один важный критерий для поиска нужных страниц – это удаленность страницы от главной. Определение этого параметра позволяет лучше спланировать путь паука на форуме и избежать посещения нецелевых страниц. Выявление, какие страницы находятся в одном-двух шагах от цели, позволяют улучшить поиск, не перегружая его при этом заведомо бесполезными результатами.

Процедура обновления контента.
Есть два принципиальных подхода к сбору обновлений на форумах. Первый – периодическое повторное сканирование страниц. Это проще технически организовать, но требует больших затрат времени и ресурсов. Хотя и дает более полный результат.
Второй – сбор только того контента, который появился дополнительно, с момента прошлого посещения (Glance et al., [2005a]; Li et al., [2006]; Yih et al., [2004]). «Дополняющие» пауки требуют настройки фильтра, который бы определял обновившийся контент – например, на страницах «Непрочитанное», которые формируются для каждого залогиненного пользователя.
«Пробелы и вопросы в поиске на форумах»
Вот несколько основных поисковых «пробелов», которые выявлены в обзорах литературы по данному вопросу.

1. Целенаправленный поиск в Невидимом Интернете

Довольно мало есть пауков, котрые сконфигурированы конкретно для поиска в Невидимом Интернете. Большинство существующих пауков предназначено для работы в Видимом Интернете. Большинство проведенных ранее работ относилось к вопросу сбора информации. А вопрос определения тематических ресурсов, на которых надо проводить сбор, мало освещен. Мы не нашли ни одной работы, в которой говорилось бы об автоматическом создании каталогов, которые объединяют в себе форумы и группы экстремистской или агрессивной направленности.

2. Большинство предшествующих исследований фокусировалось на индексируемых (т.е. текстовых) файлах.

Большие мультимедийные файлы (например, видео) могут «весить» сотни мегабайт. Это приводит к тому что при их скачивании часто происходят сбои, что ведет к неполному скачиванию или к прерыванию скачивания. Кроме того, проблематично индексировать мультимедийные файлы. Тем не менее, необходимость в поиске и скачивании таких файлов очевидна и эту проблему надо решать.

3. Маскировка паука на форуме

Предыдущие исследования не решали вопросов маскировки активности, особенно при повторном посещении форума. Однако при работе на форумах Невидимого интернета приходится решать проблему скрытности, иначе просто не получится работать там.

4. Выбор стратегии улучшения качества повторного сканирования (в поисках изменений).

«Периодические» пауки улучшают качество собранной информации за счет того, что просто-напросто многократно сканируют все страницы форума. Это приемлемо для открытых форумов, но неприемлемо для Форумов Невидимого Интернета.
«Дополняющие» пауки, напротив, могут улучшить качество сбора информации, не повторяя в полной мере сбор информации. Необходимо сравнить эффективность обоих типов сканирования, чтобы определиться с тем, какую же стратегию надо развивать.

Поисковые вопросы.

1: Как эффективно найти Форумы Невидимого интернета и получить доступ на них?

2: Как можно эффективно обнаружить и вытащить с форумов контент (в т.ч. мультимедийный)?

3: Какая система поиска обновлений (периодическая или дополняяющая) наиболее применима на Форумах Невидимого Интернета? Как можно улучшить процесс поиска обновлений информации?

4: Как анализ собранной информации улучшить понимание нами этих онлайновых сообществ?

Предложенная система сбора информации на форумах

Наша система включает в себя модуль доступа, который допускает, при необходимости, участие человека для доступа на форум (например, при регистрации). Кроме того, система использует множество меняющихся прокси-серверов.
Наш модуль анализа адресов позволяет работать, не впадая в зависимость отязыка, на котором веется общение на форуме. Мы фокусировались на группах из трех регионов: Собственно США, Ближний Восток, И Латинская Америка/Испания
Мы предложили также «Дополняющего» паука, который использовал фильтры для определения подмножества веток форума, с которых необходимо собрать контент. Наша система также анализировала логии паука и повторяла загрузки, если они окончились неудачей. И, наконец, наша система следила за тем, чтобы не дублировались загрузки мультимедийных файлов.

Механизм улучшения повтороного сбора информации.
Учитывая специфику Форумов Невидимого интернета (прежде всего – заведомо агрессивный настрой против действий пауков), применялись дополнительные приемы маскировки. Например, тщательно контролировалось количество пауков на форуме, количество перемен прокси на каждого паука,  и ряд других настроек, позволяющих замаскировать действия на форуме. По сути, это эвристический метод противодействия выявлению паука админами форума.
«Дополняющие» пауки в вопросах сбора данных»
Мы планируем оценить эффективность нашего Дополняющего паука по сравнению с периодическим пауком. Дополняющий паук, очевидно, будет  более эффективен, если говорить о времени сбора информации и об обновлениях. Но Периодический паук, а счет того, что он повторно сканирует одни и те же страницы, может более точно показывать изменения на этих страницах. Наблюдение за работой пауков, которые используют обе эти стратеги подхода к поиску обновлений, позволяет глубже понять, какая из этих стратегий предпочтительнее для целей мониторинга Форумов Глубокого Интернета.

Идентификация форума - Forum Identification
Идентификация форума состоит из трех этапов.

Выявление групп экстремистской направленности.
Источники для выявления экстремистских групп непосредственно в США: Anti-Defamation League (ADL), FBI, Southern Poverty Law Center (SPLC), Militia Watchdog (MW), и Google Web Directory (GD) (в качестве дополнения).

Источники для выявления международных групп экстремистской направленности включают:  U.S. Committee for a Free Lebanon (USCFAFL), Counter-Terrorism Committee (CTC) of the U.N. Security Council (UN), U.S. State Department report (US), OfficialJournaloftheEuropeanUnion (EU), а также официальные государственные отчеты из Великобритании (UK), Австралии (AUS), Японии (JPN), Китайской Народной Республики (CHN).

Из-за проблем языкового характера и региональной специфики, мы сосредоточились на изучении трех регионов: NСеверная Америка (англоязычные ресурсы), Латинская Америка (испаноязычные ресурсы), и Ближний Восток. Все эти группы имеют важное социальное и политическое значение.

Кроме того, работа с Форумами Невидимого Интернета, относящимися к этим группам, помогает лучше понять и различие между группами. Кроме и так очевидных различий по языку, эти группы обнаружили отличия и в тенденциях во внешнем оформлении своих Интернет-страниц, и разное пользовательское поведение.  (Abbasi & Chen, [2005]). Эти находки  в значительной степени упростили сбор информации и интерпретацию полученных данных.

Выявление форумов на экстремистских сайтах
Мы установили основные элементы адресов экстремистских групп и затем использовали анализ ссылок для целей расширения списка экстремистских сайов – как показано на рис.2.
Первоначальный набор адресов (url’ов) набирается из трех источников:

1. Из поисковых машин, куда водятся запросы, содержащие лексику экстремистских групп.  – например. Названия, имена лидеров, слоганы и специфические слова, которыми пользуются экстремисты.
2. Мы использовали данные из государственных отчетов.
3. Мы проработали данные исследовательских центров.

Дальнейший анализ ссылок позволил расширить этот первоначальный перечень адресов. Анализ обратных ссылок в Гугле, как показала практика, оказался очень эффективным (Diligenti et al., [2000]). Внешние ссылки на первоначальные ресурсы, и дальнейший анализ внутренних ссылок на этих ресурсах позволил еще дополнить полученную ранее информацию.
Выявленные таким образом форумы были вручную проверены, специалистами  по работе с доменами. После этого было установлено, какие форумы относятся к Невидимому Интернету – и именно их взяли в дальнейшее исследование.

Выявление форумов, расположенных на крупнейших вэб-сервисах.
Мы уделили особое внимание группам, расположенным в крупных социальных сетях – например, группам в MSN и AOL Такие группы – если они относились к невидимому Интернету – также были включены нами в список форумов.
Эти шаги позволяли выявить нужные нам форумы, относящиеся к Невидимому Интернету. После того, как форум обнаружен, надо решить несколько важных подготовительных задач, для того, чтобы начать сбор информации с форумов. Требуется определить структуру форума, чтобы потом правильно настроить паука.
Подготовительные работы на фоуме.
Подготовительные работы включают в себя:
- доступ на форум (получение и поддержание в рабочем состоянии  доступа на форум)
-определение структуры форума (составление карты форума, маршрутов паука по форуму)
- настройку фильтров
Доступ на форум
Регистрация аккауниа.
Многие форумы Невидимого Интернета (30-40%) не позволяют анонимный доступ  (Zhou et al., 2006). Для доступа к информации таких форумов, вы должны завести аккаунт с логином и паролем и отправить запрос администратору форума, а затем подождать одобрения им вашей регистрации.На некоторых форумах админы очень разборчивы.Может потребоваться пара повторных обращений к мейлу, чтобы регистрация состоялась Для работы га таких форумах помощь человека категорически необходима. Но даже при этом, на некоторые форумы доступ получить невозможно. Наши исследования нескольких сотен форумов Невидимого Интернета показали, что на 10% форумов доступ в принципе невозможно получить.
Определениесоответствующихнастроекпаука.
Настройки паука – такие как количество подключений, интервал между скачиваниями, таймаут, скорость  т.д. – должны позволять скачать нужную информацию, и при этом не подпасть под механизмы блокировки, которые установлены на форуме. Принимая во внимание, что мультимедийные файлы на форумах могут быть очень большими, параметры паука должны позволять скачивать такие файлы даже с медленных серверов. Но это повышает риск быть заблокированными по ip-адресу. Поэтому мы использовали прокси-серверы – для обеспечения анонимности и, вместе с тем, для повышения вероятности не избежать блокировки на форуме.
Выборпрокси-серверов.
Мы обновляли список прокси серверов периодически, пользуясь разными источниками. Прокси брались с бесплатных публичных площадок – таких, как www.xroxy.com и www.proxy4free.com Кроме того, паук менял user-agent’а и игнорировал «robot exclusion protocol», хотя надо отметить, что почти никто не использовал файл robots.txt на форумах невидимого Интернета.
Структура форума
Составление карты форума.
Прежде всего, мы оцениваем структуру форум с помощью его встроенных механизмов. Glance et al. ([2005a]) отмечали, что, хотя форумы имеют механизмы, позволяющие только вручную проводить такое исследование, эти механизмы удобны и информативны. Как правило, форумы имеют древовидную структуру и состоят из подфорумов, тем (веток) и сообщений.(Glance et al., [2005a]; Yih et al., [2004]). Они содержат также дополнительную информацию – такую, как интерфейс для постинга сообщений, поиск, вывод на печать, рекламу, календарь. все они не нужны для целей нашего исследования.

Кроме того, на форумах есть страницы, которые содержат, например, все сообщения одного автора. Сбор такого рода информации приведет к дублированию контента, значительно увеличит врмя сбора информации и повысит вероятность обнаружения и последующей блокировки паука админами форума.
Правильный выбор идентифкаторов адресной строки позволяет собирать только нужную информацию, причем быстро и максимально скрытно для наблюдателей, т.к. при этом имитируется поведение обычного посетителя форума.

На что обращали внимание в адресной строке.
Наша система пауков основана на двух основных идентификаторах – метках в адресе и уровне страницы. Метки в адресе – это, например, такие слова, которые характеризуют посты в форуме:  board, thread, message, и т.п. (Glance et al., [2005a]). Кроме того, метки, которые мы принимали во внимание – это, например, доменные имена других сайтов или имена файловых хранилищ.  Посторонние сайты интересны тем, что в таком случае они, как правило, содержат мультимедийные файлы (на форум много их не выложишь и удобно не продемонстрируешь).
В адресной строке еще есть метки, которые принимаются во внимание – это расширения файлов (.jpg и .wmv). Важны также фразы в адресе – например, sort=voteavg and goto=next, но они все же неуникальны именно для форумов и поэтому имеют вспомогательное значение.
Уровень страницы важен потому, что мултимедийные файлы часто расположены на посторонних серверах. И потому оказываются далеко от исходного форума. «Объяснение» пауку, как прокладывать к ним маршрут, позволяет автоматизировать поиск таких страниц и получение информации с них.
Далее в статье приводилась статистика собранных файлов и анализ этих данных, а также анализ логови оценка проделанной работы. Я не стал переводить эти подробности. Перейду сразу к разделу «Заключение».
Заключение.
В этой работе мы усовершенствовали пауков для целевого сбора информации с Форумов Невидимого Интернета. Мы использовали механизм доступа на форум при помощи человека, и это дало нам 90-процентный успех по проникновению на форум.

10% форумов нас не впустили вообще.

Наши пауки использовали идентификаторы адресной строке, которые позволяли определять нужные страницы форумов (и вообще форумы) даже в тех случаях, когда контент там был многоязычным.

Кроме того, мы использовали собственные стратегии передвижения по форуму и стратегии создания фильтров, чтобы поддерживать «Дополняющую» систему скачивания обновленной информации – т.е.. чтобы находить и скачивать только то, что обновилось, а не вообще скачивать повторно всё без исключения. Именно такой подход в агрессивной среде экстремистских дискуссионных групп позволял нам оставаться незамеченными и не доводил о блокировки нашей активности.

Наша система была апроьирована на 109 форумах в трех основных макрорегионаз (США, Латинская Америка, Ближний Восток) и на разных языках. Полученные данные мы использовали как кейс для анализа контента. Мы уверены, что наша система, позволяющая с высокой степенью вероятности проникать на «закрытые» форумы, поможет лучше понимать активность экстремистских групп вне Интернета.
Мы, кроме того, определили несколько важных направлений для развития этой темы в дальнейших исследованиях. В частности, планируем улучшить механизм проникновения на Интернет-форумы. Чтобы повысить процент успешных входов туда. Планируем также распространить активность наших пауков на сбор контента с блогов и из чатов. И наконец, планируем улучшить технику сортировки собранного мультимедиа, чтобы получать более релевантные  результаты при поиске среди собранных мультимедийных файлов и файлов изображений.
Список литературы к статье представляет собой, как мне кажется, отдельную ценность. Привожу его так, как он дан в оригинале статьи.

Abbasi, A., & Chen, H. (2005). Identification and comparison of extremist-group Web forum messages using authorship analysis. IEEE Intelligent Systems , 20(5), 67-75. Links

Aggarwal, C.C., Al-Garawi, F., & Yu, P.S. (2001). Intelligent crawling on the World Wide Web with arbitrary predicates. In Proceedings of the Tenth World Wide Web Conference (pp. 96-105). New York: ACM Press.

Baeza-Yates, R. (2003). Information retrieval in the Web: Beyond current search engines. International Journal of Approximate Reasoning , 34, 97-104. Links

Barbosa, L., & Freire, J. (2004). Siphoning hidden-Web data through keyword-based interfaces. In Proceedings of the 19th Brazilian Symposium on Databases (pp. 309-321). Brasilia, Brazil:SBBD.

Bergman, M.K. (2000). The deep Web: Surfacing hidden value. Retrieved March 3, 2010, from http://quod.lib.umich.edu/cgi/t/text/text-idx?c=jep;view=text;rgn=main;idno=3336451.0007.104

Burris, V., Smith, E., & Strahm, A. (2000). White supremacist networks on the Internet. Sociological Focus , 33(2), 215-235. Links

Chakrabarti, S., Punera, K., & Subramanyam, M. (2002). Accelerated focused crawling through online relevance feedback. In Proceedings of the 11th International World Wide Web Conference (pp. 148-159). New York: ACM Press.

Chakrabarti, S., Van Den Berg, M., & Dom, B. (1999). Focused crawling: A new approach to topic-specific resource discovery. In Proceedings of the Eighth World Wide Web Conference (pp. 1623-1640). New York: ACM Press.

Chalmers, M., & Chitson, P. (1992). Bead: Explorations in information visualization. In Proceedings of the 15th Annual International ACM/SIGIR Conference (pp. 330-337). New York: ACM Press.

Chau, M., & Chen, H. (2003). Comparison of three vertical search spiders. IEEE Computer , 36(5), 56-62. Links

Chen, H. (2006). Intelligence and security informatics for international security: Information sharing and data mining. London: Springer Press.

Chen, H., & Chau, M. (2003). Web mining: Machine learning for Web applications. Annual Review of Information Science and Technology , 37, 289-329. Links

Chen, H., Chung, Y., Ramsey, M., & Yang, C. (1998a). A smart itsy bitsy spider for the Web. Journal of the American Society for Information Science , 49(7), 604-619. Links

Chen, H., Chung, Y., Ramsey, M., & Yang, C. (1998b). An intelligent personal spider (agent) for dynamic internet/intranet searching. Decision Support Systems , 23(1), 41-58. Links

Cheong, F.C. (1996). Internet agents: Spiders, wanderers, brokers, and bots. Indianapolis, IN: New Riders. Cho, J., & Garcia-Molina, H. (2000). The evolution of the Web and implications for an incremental crawler. In Proceedings of the 26th International Conference on Very Large Databases (pp. 200-209). New York: ACM Press.

Cho, J., Garcia-Molina, H., & Page, L. (1998). Efficient crawling through URL ordering. Computer Networks and ISDN Systems , 30(1-7), 161-172. Links

Crilley, K. (2001). Information warfare: New battle fields terrorists, propaganda, and the Internet. In Proceedings of the Association for Information Management , 53(7), 250-264. Links

De Bra, P.M.E. & Post, R.D.J. (1994). Information retrieval in the World-Wide Web: Making client-based searching feasible. In Proceedings of the First World-Wide Web Conference (pp. 183-192). New York: ACM Press.

Diligenti, M., Coetzee, F.M., Lawrence, S., Giles, C.L., & Gori, M. (2000). Focused crawling using context graphs. In Proceedings of the 26th Conference on Very Large Databases (pp. 527-534). New York: ACM Press.

Ester, M., Grob, M., & Kriegel, H. (2001). Focused Web crawling: A generic framework for specifying the user interest and for adaptive crawling strategies. Retrieved March 3, 2010, from http://www.dbs.informatik.uni-muenchen.de/ester/papers/VLDB2001.Submitted.pdf

Florescu, D., Levy, A.Y., & Mendelzon, A.O. (1998). Database techniques for the World-Wide Web: A Survey. SIGMOD Record , 27(3), 59-74. Links

Fu, T., Abbasi, A., & Chen, H. (2008). A hybrid approach to Web forum interactional coherence analysis. Journal of the American Society for Information Science and Technology , 59(8), 1195-1209. Links

Glance, N., Hurst, M., Nigam, K., Siegler, M., Stockton, R., & Tomokiyo, T. (2005a). Analyzing online discussion for marketing intelligence. In Proceedings of the 14th International World Wide Web Conference (pp. 1172-1173). New York: ACM Press.

Glance, N., Hurst, M., Nigam, K., Siegler, M., Stockton, R., & Tomokiyo, T. (2005b). Deriving market intelligence from online discussion. In Proceedings of the ACM Conference on Knowledge Discovery and Data Mining (pp. 419-428), Chicago. Glance,

N., Hurst, M., & Tomokiyo, T. (2004, May). BlogPulse: Automated trend discovery for weblogs. Paper presented at the 13th International World Wide Web Conference Workshop on Weblogging Ecosystem: Aggregation, Analysis, and Dynamics, New York, NY. Retrieved March 3, 2010, from http://www.blogpulse.com/papers/www2004glance.pdf

Glaser, J., Dixit, J., & Green, D.P. (2002). Studying hate crime with the Internet: What makes racists advocate racial violence? Journal of Social Issues , 58(1), 177-193. Links

Guo, Y., Li, K., Zhang, K., & Zhang, G. (2006). Board forum crawling: A Web crawling method for Web forum. In Proceedings of the Conference on Web Intelligence (pp. 745-748). Washington, DC: IEEE.

Gustavson, A.T., & Sherkat, D.E. (2004, August). Elucidating the Web of hate: The ideological structuring of network ties among White supremacist groups on the Internet. Paper presented at Annual Meeting of American Sociological Association, San Francisco, CA.

Heydon, A., & Najork, M. (1999). Mercator: A scalable, extensible Web crawler. In Proceedings of the International Conference on the World Wide Web (pp. 219-229). New York: ACM Press.

Lage, J.P., Da Silva, A.S., Golgher, P.B., & Laender, A.H.F. (2002). Collecting hidden Web pages for data extraction. In Proceedings of the Fourth International Workshop on Web Information and Data Management (pp. 69-75). New York: ACM Press.

Lawrence, S., & Giles, C.L. (1999). Searching the World Wide Web. Science , 280(5360), 98. Links

Leuski, A., & Allan, J. (2000). Lighthouse: Showing the way to relevant information. In Proceedings of the IEEE Symposium on Information Visualization (pp. 125-130). Washington, DC: IEEE.

Li, Y., Meng, X., Wang, L., & Li, Q. (2006). RecipeCrawler: Collecting recipe data from WWW incrementally. In Proceedings of the 7th International Conference on Web-Age Information Management (pp. 263-274). Washington, DC: IEEE.

Limanto, H.Y., Giang, N.N., Trung, V.T., Huy, N.Q., & He, J.Z.Q. (2005). An information extraction engine for Web discussion forums. In Special Interest Tracks and Posters of the 14th International Conference on the World Wide Web (pp. 978-979). New York: ACM Press.

Lin, K., & Chen, H. (2002). Automatic information discovery from the Invisible Web. In Proceedings of the International Conference on Information Technology: Coding and Computing (p. 332). Washington, DC: IEEE.

Menczer, F. (2004). Lexical and semantic clustering by Web links. Journal of the American Society for Information Science and Technology , 55(14), 1261-1269. Links

Menczer, F., Pant, G., & Srinivasan, P. (2004). Topical Web crawlers: Evaluating adaptive algorithms. ACM Transactions on Internet Technology , 4(4), 378-419. Links

Najork, M., & Wiener, J.L. (2001). Breadth-first search crawling yields high-quality pages. In Proceedings of the World Wide Web Conference (pp. 114-118). New York: ACM Press.

Ntoulas, A., Zerfos, P., & Cho, J. (2005). In Proceedings of the Fifth ACM/IEEE-CS Joint Conference on Digital Libraries (pp. 100-109). New York: ACM Press. Pant, G., & Srinivasan, P. (2005). Learning to crawl: Comparing classification schemes. ACM Transations on Information Systems , 23(4), 430-462. Links

Pant, G., & Srinivasan, P. (2006). Link contexts in classifier-guided topical crawlers. IEEE Transactions on Knowledge and Data Engineering , 18(1), 107-122. Links

Pant, G., Srinivasan, P., & Menczer, F. (2002, May). Exploration versus exploitation in topic driven crawlers. Paper presented at the Second World Wide Web Workshop on Web Dynamics, Honolulu, Hawaii. Retrieved March 2, 2010, from http://www.dcs.bbk.ac.uk/webDyn2/proceedings/pant\_topic\_driven\_crawlers.pdf

Raghavan, S., & Garcia-Molina, H. (2001). Crawling the hidden Web. In Proceedings of the 27th International Conference on Very Large Databases (pp. 129-138). New York: ACM Press.

Schafer, J. (2002). Spinning the Web of hate: Web-based hate propagation by extremist organizations. Journal of Criminal Justice and Popular Culture , 9(2), 69-88. Links

Sizov, S., Graupmann, J., & Theobald, M. (2003). From focused crawling to expert information: An application framework for Web exploration and portal generation. In Proceedings of the 29th International Conference on Very Large Databases (pp. 1105-1108). New York: ACM Press.

Smith, M. (2002). Tools for navigating large social cyberspaces. Communications of the ACM , 45(4), 51-55. Links

Srinivasan, P., Mitchell, J., Bodenreider, O., Pant, G., & Menczer, F. (2002, July). Web crawling agents for retrieving biomedical information. Paper presented at International Workshop on Agents in Bioinformatics (NETTAB), Bologna, Italy. Retrieved March 3, 2010, from http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.16.8948&rep=rep1&type=pdf

Whine, M. (1997). The governance of cyberspace: Politics, technology, and global restructuring. London: Routledge.

Yih, W., Chang, P., & Kim, W. (2004). Mining online deal forums for hot deals. In Proceedings of the Web Intelligence Conference (pp. 384-390). Washington, DC: IEEE. Zhou, Y., Reid, E., Qin, J., Chen, H., & Lai, G. (2005). U.S. extremist groups on the Web: Link and content analysis. IEEE Intelligent Systems , 20(5), 44-51. Links

С уважением,
Профессор УрГЭУ Ющук Евгений Леонидович.
Екатеринбург

Материалы по теме конкурентной разведки:
Блогеры разоблачают депутата

Депутат проговорился

© Профессор УрГЭУ Ющук Евгений Леонидович. ЭКОНОМИЧЕСКАЯ РАЗВЕДКА ДЛЯ БИЗНЕСА (Competitive Intelligence, Yushchuk Evgeny Leonidovich), 2010. | Постоянная ссылка | Комментарии

Интересна эта тема? Посмотрите архив сообщений по теме Бизнес-разведка, Бизнес-разведка и Интернет, Игорь Нежданов, Ющук Евгений Леонидович. Бизнес-разведка..

Специалисты бизнес-разведки (конкурентной разведки), в задачу которых входит работа с предприятиями и предпринимателями из Украины, имеют возможность получить некоторую официальную информацию онлайн.

Посмотреть аналоги росийских ЕГРЮЛ и ЕГРИП можно здесь:

Пошук у Єдиному державному реєстрі юридичних осіб та фізичних осіб підприємців дає змогу перевірити наявність суб’єкта господарювання у ЄДР та отримати базову інформацію про нього.

За ссылку благодарю авторов блога rozvidka в Живом Журнале

Ющук Евгений Леонидович,
Екатеринбург

Все мои, Евгения Ющука, курсы (семинары) включают в себя и теорию, и практику. И весь материал “обкатан” моими выпускниками в реальных условиях. - Курс Ющука Евгения Леонидовича “Маркетинг рисков и возможностей: Конкурентная разведка“ (Полный курс конкурентной разведки, включающий в себя и материал остальных курсов)

- Курс Ющука Евгения Леонидовича  “Конкурентная разведка: работа с людьми и в Интернете” (Интернет-разведка)

- Курс Ющука Евгения Леонидовича “Управление репутацией в Интернете” (сюда входит обучение ведению системы корпоративных блогов и профессиональный поиск в Интернете)

- Курс Ющука Евгения Леонидовича “Информационная война в Интернет-форумах ”

Мои выпускники успешно применяют полученные знания и навыки, как в бизнесе, так и на государственной службе. Кроме курсов, на странице по ссылке вы увидите ответ на важный (а в конкурентной разведке еще и деликатный) вопрос: ОТЗЫВЫ СЛУШАТЕЛЕЙ.
Книга “Дезинформация и активные мероприятия в бизнесе “, Александр Кузин, Игорь Нежданов, Евгений Ющук.

Ющук Евгений Леонидович: Twitter по бизнес-разведке
Ющук Евгений Леонидович - по истории с авиакомпанией S7 Airlines “Сибирь”. Туземные “джеймсбонды” от гражданской авиации.

Копия: Ющук Евгений Леонидович - по инциденту с авиакомпанией S7 Airlines (”Сибирь”). “Проколы” сетевых засланцев. Туземные “джеймсбонды” от гражданской авиации.

© Профессор УрГЭУ Ющук Евгений Леонидович. ЭКОНОМИЧЕСКАЯ РАЗВЕДКА ДЛЯ БИЗНЕСА (Competitive Intelligence, Yushchuk Evgeny Leonidovich), 2010. | Постоянная ссылка | Комментарии

Интересна эта тема? Посмотрите архив сообщений по теме Александр Кузин, Бизнес-разведка и Интернет.

По мере того,  как конкуренция практически на всех рынках обостряется, возрастает роль подразделений предприятий, которые работают с нематериальными, но дорогостоящими материями. Такими, как репутационная составляющая бизнеса компании и лояльность ее клиентов (а также деловых партнеров).

Как правило, сотрудники Службы Безопасности не очень хорошо понимают, по каким критериям и в каком контексте надо рассматривать деятельность таких отделов как PR, маркетинг или отдел по работе с клиентами.

А опыт бизнес-разведки напротив дает понимание и рисков, связанных с работой этих подразделений, и инструментов контроля за этими рисками. Этот опыт оказывается все более востребованным Службами Безопасности предприятий. О такого рода опыте бизнес-разведки и идет речь в статье, приведенной ниже.

Источник -  сайт “Конкурентная разведка”

Служба Безопасности может работать не только “на земле”
Опыт конкурентной разведки – Службе Безопасности

Автор: Ющук Евгений Леонидович

Ряд находок конкурентной разведки попадает в сферу деятельности Службы Безопасности, и передается ей. Поэтому и опыт конкурентной разведки часто оказывается полезным Службе Безопасности предприятия. К таким находкам, на мой взгляд, можно отнести:

1. Инструменты мониторинга открытых источников;

2. Наработки в области информационных воздействий в бизнесе. А значит, и понимание важности информационных воздействий, механизмов этих воздействий и выявления признаков информационных воздействий;

3. Принципиальный вывод о том, что за любым процессом, связанным с компанией, всегда стоит конкретный человек. И, если этого человека выявить, и понять его мотивы, то его деятельность можно корректировать в нужном направлении – и таким образом оказывать влияние на предприятие в целом.

Как правило, сотрудники Служб Безопасности компании лояльны к своему предприятию и к владельцу компании. Они - глаза и уши владельца на всех направлениях, которые могут привести к потере заработанных денег.

Как показывает практика, чем дальше сотрудник Службы Безопасности уходит от “земли” - от охраны периметра, “вертушки” на входе, склада и отдела продаж, чем выше поднимается он в тишину кабинетов начальников направлений, тем больше сумма сохраненных для предприятия средств. Но и тем более высокая квалификация требуется от такого сотрудника.
Иначе он не сможет заметить угрозу по слабым сигналам и своевременно отреагировать на нее.

Если быть более точным, то при анализе рукописи этой статьи руководители Служб Безопасности ряда предприятий сошлись во мнении, что термин “более высокая квалификация” в данном случае означает не просто углубление имеющихся знаний и навыков специалиста Службы Безопасности. А дополнение этих знаний и навыков принципиально иными - “заточенными” не только под специфику бизнеса, но и на выявление угроз подобного типа. В силовых структурах государства этому не учат - т.к. там это просто не нужно.
Поэтому специалисту Службы Безопасности, который будет “курировать” деятельность руководителей информационных направлений компании, неизбежно придется доучиваться уже после перехода в бизнес и приобретения основных навыков работы в нем.

Сотрудник Службы Безопасности, допущенный до работы по руководителям направлений информационного характера (PR, маркетинг, работа с клиентами), должен понимать, что причинить ущерб предприятию могут не только те, кто допущен к материальным ценностям. Те, кто работает с нематериальными категориями, кто выполняет в компании функции “Министерства иностранных дел”, могут причинить вред не меньший (а иногда и значительно больший).
И, если по каким-то причинам, руководители и сотрудники отделов PR, маркетинга и работы с клиентами начинают иметь интересы, расходящиеся с интересами компании, это несет в себе риски для предприятия. Сначала – репутационные, а потом и материальные. Основных причин такого расхождения интересов обычно бывает две:

1. Некомпетентность руководителя PR, маркетинга или работы с клиентами и боязнь, что руководство узнает об этой некомпетентности.

2. Ангажированность такого руководителя конкурентами или другой недружественно настроенной к предприятию силой.

Поскольку собственник или директор не в силах сами все делать в компании, им приходится нанимать руководителей информационных направлений на рынке труда. А на открытом рынке попадаются очень разные люди. Есть и настоящие профессионалы (которых, как и в любой профессии, немного), а есть и дутые специалисты, которые сами себя таковыми провозгласили, воспользовавшись моментом, а то и прямо фальсифицировав документы. Есть просто воры, задача которых – распилить бюджет, попутно имитируя хоть какую-нибудь деятельность. Есть и те, кто не гнушается повышать свое благосостояние, работая в пользу конкурентов.

Есть и отдельная категория менеджеров, сделавших карьеру и укрепивших свои позиции в компании в предкризисные годы. Это те, кто, доведя компанию до конфликта с клиентами или партнерами жесткими мероприятиями, и за счет этого временно максимизируя прибыль, стараются “вовремя соскочить”. Это наиболее опасная для предприятия категория PR- и маркетинговых руководителей. Почему таким людям удается «подниматься» за счет ввода компании в штопор конфликта с потребителями и партнерами? Ведь, казалось бы, очевидно, чем закончатся подобные мероприятия.
Дело в том, что проблемы, которые способны создавать компании руководители отделов PR, работы с клиентами или маркетинга, инерционны по своей природе. Т.е., эти проблемы и возникают не сразу после начала деструктивной для компании деятельности управленца-коммуникатора, и исчезают далеко не сразу после того, как негодяй покидает компанию. Этим временнЫм лагом и пользуются сотрудники-паразиты. Благо, этот лаг обычно может тянуться два-три года, что позволяет сотруднику улучшить свое резюме, и успеть уйти из компании, до того, как деструктивные последствия его работы станут явными.

Варварское отношение к внешним коммуникациям, на первых порах быстро дает всплеск доходности. Это происходит за счет «выжимания соков» из партнеров и клиентов, а также экономии на мероприятиях по увеличению их лояльности.
Такой временный всплеск доходности компании создает видимость эффективности PR- или маркетинг-управленца, и обеспечивает таким сотрудникам получение бонусов, наработку имиджа “эффективных менеджеров” и хорошую строчку в резюме, позволяющую на новом месте работы получить еще более жирное “пастбище”. Которое впоследствии также будет оставлено вытоптанным и станет проблемой собственника, на ликвидацию которой придется бросать огромные средства (которые все равно не смогут обеспечить полного восстановления лояльности партнеров или клиентов).

Тут, на мой взгляд, имеет смысл сделать короткий экскурс в принципы планирования рейдерских мероприятий.
Как известно, грамотно спланированная рейдерская атака всегда включает в себя мероприятия по атаке на компанию на двух информационных уровнях: PR и GR.
Задача рейдера – создать негативное отношение к компании в обществе, а затем, опираясь на него – создать негативное отношение к компании и у властей. На создание таких ситуаций тратятся порой огромные бюджеты.
Вот почему действия PR- и маркетинг-руководителей, приводящие к массовому недовольству компанией со стороны клиентов и/или партнеров и властей, де-факто экономят бюджеты стороны, решившей атаковать компанию. Порог начала деструктивных действий резко снижается, т.к. затратность этих действий становится меньше. Кроме того, любые деструктивные действия становятся еще и морально оправданными – а значит, не надо тратиться на создание иллюзии этой оправданности в глазах общественности и властей.
Более того, появляются широкие дополнительные возможности для создания проблем компании. Например, появляются основания от имени обоснованно недовольных клиентов обращаться в международные ассоциации, в том числе, сертифицирующие по ISO органы и международные профессиональные альянсы. У такого рода ассоциаций всегда есть правила участия, которые предусматривают и репутационную ситуацию вокруг компании.

Уже свершившимся фактом, имеющим немало подтверждений, являются скандалы, начинающиеся в блогосфере, и затем выплескивающиеся на уровень вплоть до федеральных СМИ. Поэтому, уже сегодня можно считать виртуальные по своей природе действия PR- и маркетинг-руководителей потенциально угрожающими реальному благосостоянию предприятия. А значит, их самих, и их действия необходимо включать в поле зрения Службы Безопасности.

В этой ситуации сотруднику Службы Безопасности, на мой взгляд, необходимо понимать, по каким параметрам надо мониторить информационное пространство, на что обращать внимание. Ведь невозможно отслеживать вообще все без исключения события.

Самый простой для Службы Безопасности публичной компании путь - отслеживать публичные выступления недовольных клиентов в Интернете, прежде всего – в Блогосфере.
Благо, сегодня появились инструменты, позволяющие недовольным клиентам громко и доказательно заявить свои претензии, а также инструменты, позволяющие отслеживать эти инциденты и динамику их развития.
И, как свидетельствует статья в АиФ «Всем кричать! Россиянам пора учиться «качать» свои права», тенденция публичного заявления претензий потребителями появилась во всем мире.
И, к ужасу почивавших на сомнительных лаврах PR-начальников, фактически (а иногда и сознательно) вредящих своим компаниям, эта тенденция будет развиваться и впредь. Что уже имело подтверждения – например, в инцидентах «Василевицкая vs Альфа-банк» или «Ющук vs S7». Эти случаи, по мнению экспертов, объединяет нацеленность на стремление потребителей реализовать свои законные права, быстрое (за несколько дней) доведение ситуации до сведения большого количества людей и руководства компаний, обход менеджеров, блокировавших информацию и отказывавшихся реагировать – и разрешение ситуации после вмешательства вышестоящего руководства. Нет никаких сомнений, что в будущем количество такого рода обращений в ответ на хамство и некомпетентность сотрудников компаний будет только увеличиваться.

Но эти новые инструменты (как и любые другие) не являются сами по себе негативными или позитивными для компании. Позитивный или негативный оттенок им придает сама компания – своими действиями (или бездействием).
Например, сотрудникам компании, причиняющим своими действиями вред компании не в корыстных целях, а, в силу неверной оценки ситуации, это дает возможность своевременно исправляться. А Службе Безопасности – позволяет проконтролировать процесс этого исправления. Либо – позволяет убеждаться в том, что сотрудник будет и далее вредить предприятию – и принимать соответствующие меры.

Ющук Евгений Леонидович,
Екатеринбург, январь 2010 г.

Благодарю членов Сообщества Практиков Конкурентной разведки за помощь в написании статьи.

© Профессор УрГЭУ Ющук Евгений Леонидович. ЭКОНОМИЧЕСКАЯ РАЗВЕДКА ДЛЯ БИЗНЕСА (Competitive Intelligence, Yushchuk Evgeny Leonidovich), 2010. | Постоянная ссылка | Комментарии

Интересна эта тема? Посмотрите архив сообщений по теме Бизнес-разведка, Игорь Нежданов, Ющук Евгений Леонидович. Бизнес-разведка..

На свой сайт “Ющук Евгений Леонидович. Конкурентная разведка” поставил автоматическую трансляцию из своего Твиттера по конкурентной разведке:
TWITTER по конкурентной разведке. Ющук Евгений Леонидович.

(картинка кликабельна)

Ющук Евгений Леонидович,
Екатеринбург

Моя презентация о том, что такое конкурентная разведка, чем и как она занимается

Моя презентация “Чем занимаются компании, оказывающие услуги конкурентной разведки на аутсорсинге?”

Книга "Дезинформация и активные мероприятия в бизнесе ", Александр Кузин, Игорь Нежданов, Евгений  Ющук.

Ющук Евгений Леонидович: Twitter по бизнес-разведке


Ющук Евгений Леонидович. Туземные "джеймсбонды" от гражданской авиации (по истории с авиакомпанией S7 Airlines "Сибирь").

© Профессор УрГЭУ Ющук Евгений Леонидович. ЭКОНОМИЧЕСКАЯ РАЗВЕДКА ДЛЯ БИЗНЕСА (Competitive Intelligence, Yushchuk Evgeny Leonidovich), 2010. | Постоянная ссылка | Комментарии

Интересна эта тема? Посмотрите архив сообщений по теме Александр Кузин, Бизнес-разведка и Интернет, Игорь Нежданов, Ющук Евгений Леонидович. Бизнес-разведка..