Category: it

Category was added automatically. Read all entries about "it".

anansie

Роскомнадзор найдет то, чего не должно быть

роскомнадзорВедомство обещает запустить систему автоматического мониторинга интернета в 2014 году 

До конца года Роскомнадзор намерен запустить систему автоматического поиска в интернете экстремистских материалов. Ведомство сможет в превентивном порядке «искать любой контент, который гипотетически будет запрещен», говорят эксперты. Но «без ручного анализа тональности и содержания контента» не обойтись.

Как заявил «Ъ» глава Роскомнадзора Александр Жаров, ведомство разрабатывает новую «самообучаемую» программу мониторинга интернета, в том числе форумов и социальных сетей. Она будет искать материалы экстремистского характера, ориентируясь на «ключевые маркеры». Проект господин Жаров оценил в 25 млн руб. Он отметил, что «свое программное обеспечение предлагали и «Медиалогия», и «Ашманов и партнеры»», но был выбран другой исполнитель, раскрывать который глава ведомства не стал. 
Роскомнадзор уже использует автоматические системы мониторинга интернета, разработанные «Лигой безопасного интернета». Но они используются для поиска информации, связанной с пропагандой педофилии, самоубийств и наркотиков. Реестр, куда Роскомнадзор может без решения суда включать сайты с такой информацией (с их последующей блокировкой), действует с ноября 2012 года. На стадии проработки закона, который дал Роскомнадзору такие полномочия, предполагалось, что он сможет блокировать «любую запрещенную в РФ» информацию, в том числе экстремистскую. Но в итоге такого права ведомству не дали. Тогда же Александр Жаров анонсировал разработку «софта, который отслеживает по ключевым словам» экстремистский контент (см. «Ъ» от 16 ноября 2012 года). 

Глава информационно-аналитического центра «Сова» Александр Верховский отметил, что прежде по вопросам экстремизма Роскомнадзор работал как «исполнительный орган». То есть ведомство могло инициировать блокировку ресурсов, но только если в них содержатся материалы, признанные судом экстремистскими. В конце 2013 года был принят «закон Лугового», согласно которому Роскомнадзор имеет право по представлению руководства Генпрокуратуры во внесудебном порядке блокировать сайты с призывами к экстремистской деятельности и несанкционированным акциям. Под этим предлогом, но без конкретных обоснований были заблокированы сайты grani.ru, kasparov.ru и ej.ru («Ъ» сообщал об этом 13 марта). Теперь Роскомнадзор в превентивном порядке сможет «искать любой контент, который гипотетически будет запрещен», считает Александр Верховский. 

Систем мониторинга соцсетей немало, например YouScan, Wobot, BrandSpotter, заявил «Ъ» гендиректор агентства «Социальные сети» Денис Терехов. «Другое дело, что весь мониторинг social media представляет собой, грубо говоря, «»Яндекс» за деньги». На выходе вы получаете информационный полуфабрикат. К примеру, наша коммуникационная платформа Ekster может корректно определять тональность высказывания (позитивное, нейтральное или негативное) только в половине случаев. И без ручного анализа тональности и содержания контента не обойтись»,– говорит он.

Источник

Originally published at SG Team. You can comment here or there.

anansie

Maltego. Нароет все

imageЕще один интересный обзор с Хабрахабра – правда, довольно старый. Увы, только сейчас дошли руки разгрести свой архив.

Многие из нас часто сталкивались с проблемой поиска информации касательно определенной организации, а именно конкретный данных: начиная с общего описания деятельности и заканчивая личными телефонами сотрудников. Как инструмент использовали популярные поисковые машины (играясь с языком запросов для более результативного поиска), различные общедоступные базы данных (телефонный базы, whois и т.д.).

Хотелось найти что-то, что могло само осуществлять «умный», узкоспециализированный поиск, разделять(по критериям и типу) и сортировать информацию и главное — указывать взаимосвязи.
Именно для эти целей и появился на свет инструмент под названием Maltego, разработка южноафриканской компании Paterva.

Maltego является специализированным разведывательным ПО. Она предназначена для сбора информации с различных баз данных, а также представления в удобном для понимания формате. Также она позволяет выявить основные связи между кусками информации и установить ранее неизвестные отношения между ними.

Рассмотрим, что конкретно данная софтина умеет:

  1. Может нарыть информацию и указать взаимосвязи между
    • людьми(группами людей), их контактами(email, аккаунты на социалках, телефонные номера, адреса)
    • компаниями
    • веб-сайтами
    • Элементами интернет-инфраструктуры(доменные имена, DNS записи, IP адреса, сетевые блоки)
    • документами
    • фразами, надписями
  2. Это все линкуется с помощью встроенного ИИ
  3. Написана на Java, что есть очень гуд в плане переносимости
  4. Удобный GUI, управления визуализацией взаимосвязей
  5. Система организована в виде фреймворка, что позволяет полностью адаптировать ее под свои нужды

Но как говорят: «Лучше раз увидеть, чем сто раз услышать».
В самом низу находится видеообзор основных возможностей Maltego: демонстрируются методы социальной инженерии.


 

Maltego Homepage

Источник

Originally published at SG Team. You can comment here or there.

anansie

Convextra — универсальный парсер контента

Пару месяцев назад на хабре уже проскальзывало упоминание о сервисе извлечения данных с веб-страниц Convextra, который позволяет парсить даже сложные структуры данных буквально в 2-3 клика. Несмотря на то, что на момент написания той статьи сервис находился в альфа стадии и больше глючил, чем работал, аудитория хабра тепло восприняла идею и мы получили много полезных отзывов, предложений и багрепортов. Поэтому хочется рассказать о том, что из предложенного вами и в каком виде удалось реализовать за это время.

Для тех, кто не знаком с первой статьей, в двух словах о том, что такое Convextra — это сервис парсинга данных с веб-страниц, который позволяет извлекать практически любые повторяющиеся структуры данных (списки объявлений, каталоги магазинов, таблицы соревнований и т.д.) за пару кликов. Качественным отличием от других подобных сервисов является автоматическое распознавание даже сложных структур данных, и простота использования (вам не придется составлять каких-либо правил или, тем боле, регулярных выражений). Лучше всего просто просмотрите наше минутное видео.

Многие пользователи писали нам с просьбой реализовать какой-нибудь механизм автообновления получаемых данных, чтобы была возможность поддерживать их всегда в актуальном состоянии. Для решения этой проблемы, мы добавили возможность запуска заданий парсинга по расписанию: вы можете указать периодичность запуска задания и, как только данные обновятся, вам придет емайл оповещение. Кроме возможности задать интервал выполнения задания, также можно указать ключевое слово-фильтр, которое должно присутствовать в новом наборе данных. Таким образом теперь с помощью Convextra можно получать актуальные данные (например, каталоги товаров с интернет магазинов, таблицы соревнований..), мониторить появление новых данных (например поступление новых товаров в каталог, размещение новых объявлений об аренде/продаже и т.д.) и следить за изменениями выбранных данных с помощью указания фильтра (например получать уведомления об изменении цены на интересующий вас товар).

Вторым большим событием за прошедший месяц стала реализация API, с помощью которого можно использовать функционал Convextra во внешних веб-приложениях и сервисах. Пока API поддерживает лишь базовые возможности анализа страниц и экспорта данных, но мы планируем наращивать функционал по мере требования пользователей. Кроме того, в скором времени, возможно, свет увидит и Javascript SDK для кастомизации функционала нашего плагина.

Помимо разработки API и возможности запуска заданий по расписанию мы переработали дизайн и интерфейсы, перевели проект на английский, реализовали поддержку плагином https соединений, существенно доработали алгоритм выявления структур данных и схем пагинации, добавили сохранение истории заданий, реализовали поддержку cookies плагином(теперь плагин более корректно работает со страницами, закрытыми авторизацией) и пофиксили огромное количество багов, о которых вы нам ежедневно сообщаете. Тем, у кого уже установлен наш плагин, крайне советуем его обновить, чтобы все эти нововведения вступили в силу (последняя версия плагина как всегда доступна на главной странице).

Изначально сервис во многом писался «just for fun», без какого-либо анализа потенциальной аудитории и рынка подобных приложений. Поэтому, как и в случае с предыдущей статьей, мы будем бесконечно благодарны за любой фидбек (о том, чего вам не хватает сейчас в функциональности, или просто рассказа о том каким образом вы используете Convextra, или мыслей о том, где вообще может пригодиться такой универсальный парсер) и постараемся оперативно реализовать ваши предложения.

Источник

Originally published at SG Team. You can comment here or there.

anansie

Набор инструментов для построения графиков, блок-схем и диаграмм

Есть много разных сервисов, облегчающих жизнь веб-разработчику или дизайнеру, в том числе создающих разные графики, диаграммы, блок-схемы и т.д. Ниже представлена небольшая подборка.
(Осторожно, много изображений)
Все картинки кликабельны и ведут на соответствующий ресурс.

Сервисы

Amcharts

Amcharts — это набор flash-based диаграмм для сайтов. Может извлекать данные из CSV или XML файлов, также может получать данные, сгенерированные динамически при помощи PHP, .NET, Java, Ruby on Rails, Perl и т.д.

Collapse )

Originally published at SG Team. You can comment here or there.

anansie

Украинские сервисы интернет-мониторинга

Компании готовы платить за возможность знать отношение интернет-пользователей к тем или иным явлениям. Выбирать приходится из немногих сервисов.

Чтобы узнать, как интернет-аудитория реагирует на бренд, продукты или события, можно воспользоваться такими бесплатными сервисами, как, например, «Яндекс» или Google Alerts. Однако полноты найденной ими информации крупным компаниям не хватает, к тому же ее необходимо еще анализировать. Поэтому коммерческие организации, желающие держать руку на пульсе интернета, готовы платить за более тщательный интернет-мониторинг и аналитику.

Как правило, это те компании, успех которых на рынке зависит от имиджа: финансисты, фармацевты, крупные производители IT-товаров и услуг. Помимо них, за осведомленность о настроениях в интернете готовы платить и политики, особенно во время избирательных кампаний.

Пока украинскому рынку услуги интернет-мониторинга готовы предложить несколько компаний. АИН представляет самые активные и влиятельные из них.

Collapse )