Поисковые системы (ПС) уже приличное время являются обязательной частью интернета. Сегодня они громадные и сложнейшие механизмы, которые представляют собой не только инструмент для нахождения любой необходимой информации, но и довольно увлекательные сферы для бизнеса.

Многие пользователи поиска никогда не думали о принципах их работы, о способах обработки пользовательских запросов, о том, как построены и функционируют данные системы. Данный материал поможет людям, которые занимаются оптимизацией и , понять устройство и основные функции поисковых машин.

Функции и понятие ПС

Поисковая система – это аппаратно-программный комплекс, который предназначен для осуществления функции поиска в интернете, и реагирующий на пользовательский запрос который обычно задают в виде какой-либо текстовой фразы (или точнее поискового запроса), выдачей ссылочного списка на информационные источники, осуществляющейся по релевантности. Самые распространенные и крупные системы поиска: Google, Bing, Yahoo, Baidu. В Рунете – Яндекс, Mail.Ru, Рамблер.

Рассмотрим поподробнее само значение запроса для поиска, взяв для примера систему Яндекс.

Запрос обязан быть сформулирован пользователем в полном соответствии с предметом его поиска, максимально просто и кратко. К примеру, мы желаем найти информацию в данном поисковике: «как выбрать автомобиль для себя». Чтобы сделать это, открываем главную страницу и вводим запрос для поиска «как выбрать авто». Потом наши функции сводятся к тому, чтобы зайти по предоставленным ссылкам на информационные источники в сети.

Но даже действуя таким образом, можно и не получить необходимую нам информацию. Если мы получили подобный отрицательный результат, нужно просто переформировать свой запрос, или же в базе поиска действительно нет никакой полезной информации по данному виду запроса (такое вполне возможно при заданных «узких» параметров запроса, как, к примеру, «как выбрать автомобиль в Анадыри»).

Самая основная задача каждой поисковой системы – доставить людям именно тот вид информации, который им нужен. А приучить пользователей создавать «правильный» вид запросов к поисковым системам, то есть фразы, которые будут соответствовать их принципам работы, практически, невозможно.

Именно поэтому специалисты-разработчики поисковиков делают такие принципы и алгоритмы их работы, которые бы давали пользователям находить интересующие их сведения. Это означает, что система, должна «думать» так же, как мыслит человек при поиске необходимой информации в интернете.

Когда он вводит свой запрос в поисковую машину, он желает найти то, что ему надо, как можно проще и быстрее. Получив результат, пользователь составляет свою оценку работе системы, руководствуясь несколькими критериями. Получилось ли у него найти нужную информацию? Если нет, то сколько раз ему пришлось переформатировать текст запроса, чтобы найти ее? Насколько актуальная информация была им получена? Как быстро поисковая система обработала его запрос? Насколько удобно были предоставлены поисковые результаты? Был ли нужный результат первым, или находился на 30-ом месте? Сколько «мусора» (ненужной информации) было найдено вместе с полезными сведениями? Найдется ли актуальная для него информация, при использовании ПС, через неделю, либо через месяц?

Для того чтобы получить правильные ответы на подобные вопросы, разработчики поиска постоянно улучшают принципы ранжирования и его алгоритмы, добавляют им новые возможности и функции и любыми средствами пытаются сделать быстрее работу системы.

Основные характеристики поисковых систем

Обозначим главные характеристики поиска:

Полнота.

Полнота является одной из главнейших характеристик поиска, она представляет собой отношение цифры найденных по запросу информационных документов к их общему числу в интернете, относящихся к данному запросу. Например, в сети есть 100 страниц имеющих словосочетание «как выбрать авто», а по такому же запросу было отобрано всего 60 из общего количества, то в данном случае полнота поиска составит 0,6. Понятно, что чем полнее сам поиск, тем больше вероятность, что пользователь найдет именно тот документ, который ему необходим, конечно, если он вообще существует.

Точность.

Еще одна основная функция поисковой системы – точность. Она определяет степень соответствия запросу пользователя найденных страниц в Сети. К примеру, если по ключевой фразе «как выбрать автомобиль» найдется сотня документов, в половине из них содержится данное словосочетание, а в остальных просто есть в наличии такие слова (как грамотно выбрать автомагнитолу, и установить ее в автомобиль»), то поисковая точность равна 50/100 = 0,5.

Чем поиск точнее, тем скорее пользователь найдет необходимую ему информацию, тем меньше разнообразного «мусора» будет встречаться среди результатов, тем меньше найденных документов будут не соответствовать смыслу запроса.

Актуальность.

Это значимая составляющая поиска, которую характеризует время, проходящее с момента опубликования информации в интернете до занесения ее в индексную базу поисковика.

К примеру, на следующий день после возникновения информации о выходе нового iPad, множество пользователей обратилась к поиску с соответствующими видами запросов. В большинстве случаев информация об этой новости уже доступна в поиске, хотя времени с момента ее появления прошло очень мало. Это происходит благодаря наличию у крупных поисковых систем «быстрой базы», которая обновляется несколько раз за день.

Скорость поиска.

Такая функция как скорость поиска теснейшим образом связана с так называемой «устойчивостью к нагрузкам». Ежесекундно к поиску обращается огромное количество людей, подобная загруженность требует значительного сокращения времени для обработки одного запроса. Тут интересы, как поисковой системы, так и пользователя целиком совпадают: посетитель хочет получить результаты как можно быстрее, а поисковая система должна отработать его запрос тоже максимально быстро, чтобы не притормозить обработку последующих запросов.

Наглядность.

Наглядное представление результатов является важнейшим элементом удобства поиска. По множеству запросов поисковая система находит тысячи, а в некоторых случаях и миллионы разных документов. Вследствие нечеткости составления ключевых фраз для поиска или его не точности, даже самые первые результаты запроса не всегда имеют только нужные сведения.

Это значит, что человеку часто приходится осуществлять собственный поиск среди предоставленных результатов. Разнообразные компоненты страниц выдачи ПС помогают ориентироваться в поисковых результатах.

История развития поисковых систем

Когда интернет только начал развиваться, число его постоянных пользователей было небольшим, и объем информации для доступа был сравнительно невеликим. В основном доступ к этой сети имели лишь специалисты научно-исследовательских сфер. В то время, задача нахождения информации не была столь актуальна как сейчас.

Одним из самых первых методов организации широкого доступа к ресурсам информации стало создание каталогов сайтов, причем ссылки на них начали группировать по тематике. Таким первым проектом стал ресурс Yahoo.com, который открылся весной 1994-ого года. Впоследствии когда количество сайтов в Yahoo-каталоге существенно увеличилось, была добавлена опция поиска необходимых сведений по каталогу. Это еще не было в полной мере поисковой системой, так как область такого поиска была ограничена только сайтами, входящими в данный каталог, а не абсолютно всеми ресурсами в интернете. Каталоги ссылок весьма широко использовались раньше, однако в настоящее время, практически в полной мере утратили свою популярность.

Ведь даже сегодняшние, громадные по своим объемам каталоги имеют информацию о незначительно части сайтов в интернете. Самый известный и большой каталог в мире имеет информацию о пяти миллионах сайтов, когда база Google содержит информацию о более чем 25 миллиардов страниц.

Самой первой настоящей поисковой системой стала WebCrawler, возникшая еще в 1994-ом году.

В следующем году появились AltaVista и Lycos. Причем первая была лидером по поиску информации очень длительное время.

В 1997-ом году Сергей Брин вместе с Ларри Пейджем создал машину поисковую Google как исследовательский проект в Стэндфордском университете. Сегодня именно Google, самая востребованная и популярная поисковая система в мире.

В сентябре 1997-ом году была анонсирована (официально) ПС Yandex, которая в настоящий момент является самой популярной системой поиска в Рунете.

По данным на сентябрь 2015 года , доли поисковых систем в мире распределены следующим образом:

• Google - 69,24 %;
• Bing - 12,26 %;
• Yahoo! - 9,19 %;
• Baidu - 6,48 %;
• AOL - 1,11 %;
• Ask - 0,23 %;
• Excite - 0,00 %

По данным на декабрь 2016 года , доли поисковых систем в Рунете:

• Яндекс - 48,40%
• Google - 45,10%
• Search.Mail.ru - 5,70%
• Rambler - 0,40%
• Bing - 0,30%
• Yahoo - 0,10%

Принципы работы поисковой системы

В России главной системой поиска является Яндекс, затем Google, а потом Поиск@Mail.ru. Все большие системы поиска имеют свою структуру, которая весьма отличается от других. Но все-таки можно выделить общие для всех поисковиков основные элементы.

Модуль индексирования.

Данный компонент состоит из трех программ-роботов:

Spider (по англ. паук) – программа которая предназначена для того чтобы скачивать веб-страницы. «Паук» скачивает определенную страницу, одновременно извлекая из нее все ссылки. Скачивается код html практически с каждой страницы. Для этого роботы используют HTTP-протоколы.

«Паук» функционирует следующим образом. Робот передает запрос на сервер “get/path/document” и иные команды запроса HTTP. В ответ программа-робот получает поток текста, который содержит информацию служебного вида и, естественно, сам документ.

• URL скаченной страницы;
• дата, когда осуществлялось скачивание страницы;
• заголовок http-ответа сервера;
• html-код, «тела» страницы.

Crawler («путешествующий» паук). Данная программа автоматически заходит на все ссылки, которые найдены на странице, а также выделяет их. Его задача – определиться, куда в дальнейшем должен заходить паук, основываясь на этих ссылках или исходя из заданного списка адресов.

Indexer (робот-индексатор) – это программа, анализирующая страницы, которые скачали пауки.

Индексатор полностью разбирает страницу на составные элементы и проводит их анализ, применяя свои морфологические и лексические виды алгоритмов.

Анализ проводится над разнообразными частями страницы, такими как заголовки, текст, ссылки, стилевые и структурные особенности, теги html и др.

Таким образом, модуль индексирования дает возможность проходить по ссылкам заданного количества ресурсов, скачивать страницы, извлекать ссылочную массу на новые страницы из полученных документов и делать подробный их анализ.

База данных

База данных (или индекс поисковика) - комплекс хранения данных, массив информации в котором сохраняются определенным образом переделанные параметры каждого обработанного модулем индексации и скачанного документа.

Поисковый сервер

Это самый важный элемент всей системы, потому что от алгоритмов, лежащих в основе ее функциональности, прямо зависит скорость и, конечно же, качество поиска.

Поисковый сервер работает следующим образом:

• Запрос, который идет от пользователя подвергается морфологическому анализу. Информационное окружение любого документа, имеющегося в базе, генерируется (оно и будет в дальнейшем отображаться как сниппет, т.е. информационное поле текста соответствующего данному запросу).
• Полученные данные передают как входные параметры специализированному модулю ранжирования. Они обрабатываются по всем документам, и в итоге для каждого такого документа рассчитывается свой рейтинг, который характеризует релевантность такого документа запросу пользователя, и иных составляющих.
• В зависимости от условий заданных пользователем этот рейтинг вполне может быть подкорректирован дополнительными.
• Затем генерируется сам сниппет, т.е. для любого найденного документа из соответствующей таблицы извлекают заголовок, аннотацию, наиболее отвечающую запросу, и ссылка на этот документ, при этом найденные словоформы и слова подсвечивают.
• Результаты полученного поиска передаются осуществившему его человеку в виде страницы, на которую выдают поисковые результаты (SERP).

Все эти элементы тесно связаны между собой и функционируют, взаимодействуя, образовывая отчетливый, но достаточно непростой механизм функционирования ПС, требующий громадных затрат ресурсов.

17.12.2017 17:00:00

Современный Интернет сложно представить без поисковых систем. Ежедневно они обрабатывают миллиарды запросов, поступающие через десктопные браузеры и мобильные приложения. Сложнейшие алгоритмы буквально предугадывают действия пользователей, подсказывают возможные варианты вводимых данных и выдают наиболее точные результаты.

Но какая самая лучшая поисковая система функционирует в Сети на сегодняшний день? Почему мы отдаем предпочтение какому-то определенному поисковику? В нашей статье мы разберем какие поисковые системы завоевали наибольшую популярность и в чем их принципиальные отличия.

Рейтинг поисковых систем в мире

Для начала выясним, какие поисковики пользуются самой большой популярностью в мире. Для этого обратимся к данным, которые предоставляет авторитетное аналитическое агентство NetMarketShare. В данной таблице выведен топ-5 поисковиков и процент запросов пользователей персональных компьютеров за 2017 год:

Нетрудно заметить, что по обеим позициям поисковик от Google лидирует с максимальным отрывом от своих конкурентов. Более того, для мобильных устройств Google, по сути, является монополистом, обрабатывая 93% всех поисковых запросов. Связано это и с широким распространением смартфонов на ОС Андроид.

Кроме того, Google – один из самых минималистичных поисковиков. На главной странице пользователь видит лишь логотип и строку поиска. Также пользователей привлекают интересные дудлы – логотипы Google, которые перерисоваются в честь определенной даты или события. Очень часто такие дудлы делают интерактивными. Таким образом, по всем вышеуказанным показателям Google – это однозначно лучшая поисковая система.

На втором месте по популярности, как на ПК, так и на смартфонах, прочно утвердился китайский поисковик Baidu. Дело в том, что данный сервис является единственно доступным в Китае – им пользуются 92% всего населения. Время от времени Baidu пытается расширить географический границы, однако популярности в других странах он так и не снискал. Во многом это связано с довольно агрессивной политикой продвижения и конфликт расширений поисковика с антивирусами.

Bing – поисковик от Microsoft, которым чаще всего пользуются владельцы персональных компьютеров в США. Небольшой процент запросов с мобильных устройств обусловлен тем, что смартфоны от Microsoft постепенно уходят с рынка.

Yahoo! – один из старейших поисковиков, который был создан в 1995 году. В основном, им пользуются жители США, Великобритании и некоторых стран Юго-Восточной Азии.

Поисковик от Яндекс попал только в первую пятерку по запросам с ПК. Небольшой процент от общего количества запросов также обусловлен тем, что отечественным поисковиком пользуются пользователи России и стран СНГ. А замыкает топ-5 по популярности поисковиков для мобильных устройств сервис Dogpile. Его основная аудитория – жители США, Канады и Европы.

Рейтинг поисковых систем в России

Выяснить, какая лучшая поисковая система в российском интернет-сегменте Рунете нам помогут данные счетчика LiveInternet и аналитического сервиса Seo-auditor.

Счетчик LiveInternet учитывает поисковые запросы как с ПК, так и с мобильных платформ. В итоге, рейтинг популярности поисковиков в России выглядит так:

С большим отрывом лидируют два главных конкурента – Google и Яндекс. Оба поисковика отличаются высокой скоростью и эффективностью работы. Кроме того, каждый сервис обладает своими уникальными «фишками». Например, поисковик от Гугл выдает четкую и лаконичную информацию о каждом сайте, а также учитывает качество страниц в выдаче. Яндекс же большое внимание уделяет своим дополнительным сервисам, которые подключаются при каждом запросе в поисковике.

На третьем месте по популярности оказался поисковик от Mail.ru. Многие эксперты отмечают у данного сервиса хорошо проработанные поисковые алгоритмы, быстрое обновление новостей на главной странице. С другой стороны, хватает у Mail и недочетов. В первую очередь, это нехватка дополнительных сервисов и недоработанный анти-спам фильтр.

Некогда популярный Rambler сейчас обрабатывает всего 0,2% от общего количества поисковых запросов в Рунете. Некоторое время назад сервис сделал капитальный ремонт: у поисковика сменился логотип и была с нуля перерисована главная страница. Однако подняться в рейтинге поисковых систем это, увы, не помогло.

Тем не менее, у Рамблера есть свои очевидные достоинства. Например, ассоциативная система поиска. Если пользователь забывает сменить раскладку и вбивает слово vepsrf, поисковик выдает результаты по запросу «Музыка». Сейчас этой системой уже никого не удивишь, вот только Рамблер был первым поисковиком в Рунете, который смог качественно реализовать такой алгоритм.

Меньше 200 тысяч запросов в год обработал поисковик Bing. Как уже говорилось выше, сервис от Microsoft популярен, в основном, на Западе, и, скорее всего, большая часть запросов в Рунете через Bing отправляется со смартфонов и ПК иностранцев, работающих в России.

Схожие данные по популярности поисковиков можно наблюдать в исследовании аналитического агентства Seo-auditor. Сравните цифры по состоянию на январь и ноябрь 2017 года:

Сопоставив данные счетчиков Яндекс.Метрика, SpyLog/Openstat, LiveInternet, Hotlog, Рейтинг@Mail.ru, а также с помощью оригинальных алгоритмов, специалисты Seo-auditor пришли к выводу, что звание «Самая лучшая поисковая система» в Рунете вновь делят между собой Google и Яндекс. К тому же заметно, как за год уменьшилась доля запросов через поисковики Мейл, Рамблер и Бинг.

Мобильные приложения-поисковики

Среди первой пятерки самых популярных поисковых систем фирменные мобильные приложения имеются у Google , Яндекс и Bing . Чтобы выяснить, чем отличается каждая утилита, мы протестировали поисковики на мощном и производительном смартфоне . В качестве тестового запроса мы использовали один из самых популярных, на данный момент, не только в России, но и во всем мире – Звездные Войны 8. Результат можно посмотреть на видео ниже:

Google в своем мобильном поисковике руководствуется тем же принципом, что и в десктопной версии - минимум элементов интерфейса. Поисковый запрос можно вводить как с экранной клавиатуры, так и голосом. В выдаче поисковика можно проследить четкую иерархию:

• Обзоры и рейтинги фильма
• Расписание сеансов в кинотеатрах города
• Трейлеры на YouTube
• Список актеров фильма
• Похожие запросы
• Ссылки на сайты.

Похожую картину можно наблюдать и в поисковике от Яндекса. Российский сервис в своем приложении также копирует основную версию. На главном странице размещены полезные сервисы и новости, а поисковая строка закреплена внизу экрана. Результаты по выдаче распределяются так:

• Трейлеры и ролики на Яндекс.Видео
• Расписание сеансов в кинотеатрах
• Ссылка на Википедию
• Список актеров
• Похожие запросы
• Ссылки на сайт (причем первой ссылкой значится страница фильма на Кинопоиске, который принадлежит Яндексу).

Отдельной «фишкой» Яндекса можно назвать голосовой помощник Алиса, с помощью которого можно не только найти нужную информацию, но и скоротать время в приятной, а иногда и забавной беседе с цифровым алгоритмом.

Приложение Bing, так же как и Гугл, идет по пути лаконичности. На главном экране размещена кнопка поиска на красивом фоне. По нажатию на увеличительное стекло пользователь попадает на страницу поисковика. Несмотря на то, что интерфейс не русифицирован, приложение быстро выдает нужные результаты. Правда, в отличие от Гугла и Яндекса, Bing ограничивается лишь ссылками на сайты без дополнительно включенных сервисов.

Альтернативные поисковики

Помимо самых популярных поисковиков вроде Яндекса и Гугла в Сети существует немало интересных поисковых сервисов, которые по своим функциям могут стать неплохой альтернативой признанным гигантам. Мы выбрали 5 самых интересных систем, которыми можно пользоваться как на ПК, так и на смартфонах.

Поисковик, который базируется на трех основных принципах:

• Отсутствие хранилища личных данных
• Отсутствие навязчивой рекламы на основе запросов пользователя
• Отсутствие отслеживания действий пользователя.

Таким образом, DuckDuckGo оценят те, кто предпочитает конфиденциальность в Сети и хочет получать объективную информацию, без учета прошлого поискового поведения в Интернете. Кроме того, DuckDuckGo не привязан географически к пользователю. Это значит, что информацию можно искать и получать на любом языке, в то время как Яндекс и Гугл отдают предпочтение русскоязычным ресурсам, даже если вбить запрос на английском.

YaCy

Децентрализованный поисковик, у которого нет единого сервера и владельца. YaCy это сеть компьютеров пользователей, на которых установлена специальная программа. Каждый ПК самостоятельно сканирует Сеть и собирает полученную информацию в общую базу данных. Каждый узел сети YaCy автономен и, следовательно, не подвержен государственной или корпоративной цензуре.

Единственный недостаток для отечественного пользователя – YaCy не русифицирован.

Pipl

Pipl – это система, которая создана для поиска конкретных пользователей в Сети. Сложные алгоритмы собирают все данные о человеке по профилям в соцсетях комментариям, открытым базам данных, и так далее. На данный момент, в поисковой базе Pipl собраны данные по более чем 3 миллиардам человек.

Поиск по Рунету для Pipl является пока еще довольно сложной задачей. Так что данный поисковик станет более полезен тем, кто ищет конкретных пользователей в Европе, США или Канаде.

Вопросно-ответная система, поисковик на основе базы знаний и наборе вычислительных алгоритмов. В отличие от остальных поисковых систем, Wolfram|Alpha не выводит список ссылок по запросам, а формирует полноценный ответ на основе базы знаний об истории, культуре, науке, кинематографии, театре и многом другом. Кроме того, алгоритм подключает данные об известных людях и страницах в Сети.

Например, на запрос Star Wars films поисковик выдает список всех фильмов киновселенной, по каждому из которых можно посмотреть индивидуальную информационную карточку. Следом идет подборка постеров фильмов и подробная информация о сборах в кинотеатрах.

Wolfram|Alpha постоянно пополняет свою базу данных для более точного вывода самой необходимой информации по запросам. Для студентов, журналистов, аналитиков и научных сотрудников Wolfram|Alpha – пожалуй, лучший поисковик, так как он выдает не только текстовую информацию, но и компилирует различные графики, таблицы и схемы для большей наглядности.

Мы познакомили вас с самыми популярными поисковыми системами. Конечно, довольно сложно назвать определенный поисковик лучшим в мире. У каждой системы есть свой набор инструментов, которые привлекают тех или иных пользователей. А каким поисковиком чаще всего пользуетесь вы? Расскажите о своих впечатлениях в комментариях к данной статье!

Для профессионального поиска в Интернете необходимы специализированный софт, а также специализированные поисковики и поисковые сервисы.

ПРОГРАММЫ

http://dr-watson.wix.com/home – программа предназначена для исследования массивов текстовой информации с целью выявления сущностей и связей между ними. Результат работы – отчет об исследуемом объекте.

http://www.fmsasg.com/ - одна из лучших в мире программ по визуализации связей и отношений Sentinel Vizualizer . Компания полностью русифицировала свои продукты и подключил горячую линию на русском.

http://www.newprosoft.com/ – “Web Content Extractor” является наиболее мощным, простым в использовании ПО извлечения данных из web сайтов. Имеет также эффективный Visual Web паук.

SiteSputnik – не имеющий в мире аналогов программный комплекс, позволяющий вести поиск и обработку его результатов в Видимом и Невидимом Интернете, используя все необходимые пользователю поисковики.

WebSite-Watcher – позволяет проводить мониторинг веб-страниц, включая защищенные паролем, мониторинг форумов, RSS каналов, групп новостей, локальных файлов. Обладает мощной системой фильтров. Мониторинг ведется автоматически и поставляется в удобном для пользователя виде. Программа с расширенными функциями стоит 50 евро. Постоянно обновляется.

http://www.scribd.com/ – наиболее популярная в мире и все более широко применяемая в России платформа размещения различного рода документов, книг и т.п. для свободного доступа с очень удобным поисковиком по названиям, темам и т.п.

http://www.atlasti.com/ – представляет собой самый мощный и эффективный из доступных для индивидуальных пользователей, небольшого и даже среднего бизнеса инструмент качественного анализа информации. Программа многофункциональная и потому полезная. Совмещает в себе возможности создания единой информационной среды для работы с различными текстовыми, табличными, аудио и видеофайлами, как единым целым, а также инструменты качественного анализа и визуализации.

Ashampoo ClipFinder HD – все возрастающая доля информационного потока приходится на видео. Соответственно, конкурентным разведчикам нужны инструменты, позволяющие работать с этим форматом. Одним из таких продуктов является представляемая бесплатная утилита. Она позволяет осуществлять поиск роликов по заданным критериям на видеофайловых хранилищах типа YouTube. Программа проста в использовании, выводит на одну страницу все результаты поиска с подробными сведениями, названиями, длительностью, временем, когда видео было загружено в хранилище и т.п. Имеется русский интерфейс.

http://www.advego.ru/plagiatus/ – программа сделана seo оптимизаторами, но вполне подходит как инструмент интернет-разведки. Плагиатус показывает степень уникальности текста, источники текста, процент совпадения текста. Также программа проверяет уникальность указанного URL. Программа бесплатная.

http://neiron.ru/toolbar/ – включает надстройку для объединения поиска Google и Yandex, а также позволяет осуществлять конкурентный анализ, базирующийся на оценке эффективности сайтов и контекстной рекламы. Реализован как плагин для FF и GC.

http://web-data-extractor.net/ – универсальное решение для получения любых данных, доступных в интернете. Настройка вырезания данных с любой страницы производится в несколько кликов мыши. Вам нужно просто выбрать область данных, которую вы хотите сохранять и Datacol сам подберет формулу для вырезания этого блока.

CaptureSaver – профессиональный инструмент исследования интернета. Просто незаменимая рабочая программа, позволяющая захватывать, хранить и экспортировать любую интернет информацию, включая не только web страницы, блоги, но и RSS новости, электронную почту, изображения и многое другое. Обладает широчайшим функционалом, интуитивно понятным интерфейсом и смешной ценой.

http://www.orbiscope.net/en/software.html – система веб мониторинга по более чем доступным ценам.

http://www.kbcrawl.co.uk/ – программное обеспечение для работы, в том числе в «Невидимом интернете».

http://www.copernic.com/en/products/agent/index.html – программа позволяет вести поиск, используя более 90 поисковых систем, более чем по 10 параметрам. Позволяет объединять результаты, устранять дубликаты, блокировать нерабочие ссылки, показывать наиболее релевантные результаты. Поставляется в бесплатной, личной и профессиональной версиях. Используется больше чем 20 млн.пользователей.

Maltego – принципиально новое программное обеспечение, позволяющее устанавливать взаимосвязь субъектов, событий и объектов в реале и в интернете.

СЕРВИСЫ

new https://hunter.io/ – эффективный сервис для обнаружения и проверки email.

https://www.whatruns.com/ – простой в использовании, но эффективный сканер, позволяющий обнаружить, что работает и не работает на веб-сайте и каковы дыры в безопасности. Реализован также как плагин к Chrom.

https://www.crayon.co/ – американская бюджетная платформа рыночной и конкурентной разведки в интернете.

http://www.cs.cornell.edu/~bwong/octant/ – определитель хостов.

https://iplogger.ru/ – простой и удобный сервис для определения чужого IP .

http://linkurio.us/ – новый мощный продукт для работников экономической безопасности и расследователей коррупции. Обрабатывает и визуализирует огромные массивы неструктурированной информации из финансовых источников.

http://www.intelsuite.com/en – англоязычная онлайн платформа для конкурентной разведки и мониторинга.

http://yewno.com/about/ – первая действующая система перевода информации в знания и визуализации неструктурированной информации. В настоящее время поддерживает английский, французский, немецкий, испанский и португальский языки.

https://start.avalancheonline.ru/landing/?next=%2F – прогнозно-аналитические сервисы Андрея Масаловича.

https://www.outwit.com/products/hub/ – полный набор автономных программ для профессиональной работы в web 1.

https://github.com/search?q=user%3Acmlh+maltego – расширения для Maltego.

http://www.whoishostingthis.com/ – поисковик по хостингу, IP адресам и т.п.

http ://appfollow .ru / – анализ приложений на основе отзывов, ASO оптимизации, позиций в топах и поисковых выдачах для App Store , Google Play и Windows Phone Store .

http://spiraldb.com/ – сервис, реализованный как плагин к Chrom , позволяющий получить множество ценной информации о любом электронном ресурсе.

https://millie.northernlight.com/dashboard.php?id=93 - бесплатный сервис, собирающий и структурирующий ключевую информацию по отраслям и компаниям. Есть возможность использования информационных панелей основанных на текстовом анализе.

http://byratino.info/ – сбор фактографических данных из общедоступных источников в сети Интернет.

http://www.datafox.co/ – CI платформа собирающая и анализирующая информацию по интересующим клиентов компаниям. Есть демо.

https://unwiredlabs.com/home - специализированное приложение с API для поиска по геолокации любого устройства, подключенного к интернету.

http://visualping.io/ – сервис мониторинга сайтов и в первую очередь имеющихся на них фотографий и изображений. Даже если фотография появилась на секунду, она будет в электронной почте подписчика. Имеет плагин для G oogleC hrome.

http://spyonweb.com/ – исследовательский инструмент, позволяющий осуществить глубокий анализ любого интернет-ресурса.

http://bigvisor.ru/ – сервис позволяет отслеживать рекламные компании по определенным сегментам товаров и услуг, либо конкретным организациям.

http://www.itsec.pro/2013/09/microsoft-word.html – инструкция Артема Агеева по использованию программ Windows для нужд конкурентной разведки.

http://granoproject.org/ – инструмент с открытым исходным кодом для исследователей, которые отслеживают сети связей между персонами и организациями в политике, экономике, криминале и т.п. Позволяет соединять, анализировать и визуализировать сведения, полученные из различных источников, а также показывать существенные связи.

http://imgops.com/ – сервис извлечения метаданных из графических файлов и работы с ними.

http://sergeybelove.ru/tools/one-button-scan/ – маленький он-лайн сканер для проверки дыр безопасности сайтов и других ресурсов.

http://isce-library.net/epi.aspx – сервис поиска первоисточников по фрагменту текста на английском языке

https://www.rivaliq.com/ – эффективный инструмент для ведения конкурентной разведки на западных, в первую очередь, европейских и американских рынках товаров и услуг.

http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные.

http://falcon.io/ – своего рода Rapportive для Web. Он не является заменой Rapportive, а дает дополнительные инструменты. В отличие от Rapportive дает общий профиль человека, как бы склеенный из данных из социальных сетей и упоминаний в web.http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные.

https://addons.mozilla.org/ru/firefox/addon/update-scanner/ – дополнение для Firefox. Следит за обновлениями web-страниц. Полезно для web-сайтов, которые не имеют лент новостей (Atom или RSS).

http://agregator.pro/ – агрегатор новостных и медийных порталов. Используется маркетологами, аналитиками и т.п. для анализа новостных потоков по тем или иным темам.

http://price.apishops.com/ – автоматизированный веб-сервис мониторинга цен по выбранным товарным группам, конкретным интернет-магазинам и другим параметрам.

http://www.la0.ru/ – удобный и релевантный сервис анализа ссылок и бэклинков на интернет-ресурс.

www.recordedfuture.com – мощный инструмент анализа данных и их визуализации, реализованный как он-лайн сервис, построенный на «облачных» вычислениях.

http://advse.ru/ – сервис под слоганом «Узнай все про своих конкурентов». Позволяет в соответствии с поисковыми запросами получить сайты конкурентов, анализировать рекламные компании конкурентов в Google и Yandex.

http://spyonweb.com/ – сервис позволяет определить сайты с одинаковыми характеристиками, в том числе, использующими одинаковые идентификаторы сервиса статистики Google Analytics, IP адреса и т.п.

http://www.connotate.com/solutions – линейка продуктов для конкурентной разведки, управления информационными потоками и преобразования сведений в информационные активы. Включает как сложные платформы, так и простые дешевые сервисы, позволяющие эффективно вести мониторинг вместе с компрессией информации и получением только нужных результатов.

http://www.clearci.com/ – платформа конкурентной разведки для бизнеса различных размеров от стартапов и маленьких компаний до компаний из списка Fortune 500. Решена как saas.

http://startingpage.com/ – надстройка на Google, позволяющая вести поиск в Google без фиксации вашего IP адреса. Полностью поддерживает все поисковые возможности Google, в том числе и а русском языке.

http://newspapermap.com/ – уникальный сервис, очень полезный для конкурентного разведчика. Соединяет геолокацию с поисковиком он-лайн медиа. Т.е. вы выбираете интересующий вас регион или даже город, или язык, на карте видите место и список он-лайн версий газет и журналов, нажимаете на соответствующую кнопку и читаете. Поддерживает русский язык, очень удобный интерфейс.

http://infostream.com.ua/ – очень удобная отличающаяся первоклассной выборкой, вполне доступная для любого кошелька система мониторинга новостей «Инфострим» от одного из классиков интернет-поиска Д.В.Ландэ.

http://www.instapaper.com/ – очень простой и эффективный инструмент для сохранения необходимых веб-страниц. Может использоваться на компьютерах, айфонах, айпадах и др.

http://screen-scraper.com/ – позволяет автоматически извлекать всю информацию с веб-страниц, скачивать подавляющее большинство форматов файлов, автоматически вводить данные в различные формы. Скачанные файлы и страницы сохраняет в базах данных, выполняет множество других чрезвычайно полезных функций. Работает под всеми основными платформами, имеет полнофункциональную бесплатную и очень мощные профессиональные версии.

http://www.mozenda.com/- имеющий несколько тарифных планов и доступный даже для малого бизнеса веб сервис многофункционального веб мониторинга и доставки с избранных сайтов необходимой пользователю информации.

http://www.recipdonor.com/ - сервис позволяет осуществлять автоматический мониторинг всего происходящего на сайтах конкурентов.

http://www.spyfu.com/ – а это, если у вас конкуренты иностранные.

www.webground.su – созданный профессионалами Интернет-поиска сервис для мониторинга Рунета, включающий всех основных поставщиков информации, новостей и т.п., способен к индивидуальным настройкам мониторинга под нужды пользователя.

ПОИСКОВИКИ

https ://www .idmarch .org / – лучший по качеству выдачи поисковик мирового архива pdf документов. В настоящее время проиндексировано более 18 млн. pdf документов, начиная от книг, заканчивая секретными отчетами.

http://www.marketvisual.com/ – уникальный поисковик, позволяющий вести поиск собственников и топ-менеджмента по ФИО, наименованию компании, занимаемой позиции или их комбинации. В поисковой выдаче содержатся не только искомые объекты, но и их связи. Рассчитана прежде всего на англоязычные страны.

http://worldc.am/ – поисковик по фотографиям в свободном доступе с привязкой к геолокации.

https://app.echosec.net/ – общедоступный поисковик, который характеризует себя как самый продвинутый аналитический инструмент для правоохранительных органов и профессионалов безопасности и разведки. Позволяет вести поиск фотографий, размещенных на различных сайтах, социальных платформах и в социальных сетях в привязке к конкретным геолокационным координатам. В настоящее время подключено семь источников данных. До конца года их число составит более 450. За наводку спасибо Дементию.

http://www.quandl.com/ – поисковик по семи миллионам финансовых, экономических и социальных баз данных.

http://bitzakaz.ru/ – поисковик по тендерам и госзаказам с дополнительными платными функциями

Website-Finder – дает возможность найти сайты, которые плохо индексирует Google. Единственным ограничением является то, что для каждого ключевого слова он ищет только 30 веб-сайтов. Программа проста в использовании.

http://www.dtsearch.com/ – мощнейший поисковик, позволяющий обрабатывать терабайты текста. Работает на рабочем столе, в интернете и в интранете. Поддерживает как статические, так и динамические данные. Позволяет искать во всех программах MS Office. Поиск ведется по фразам, словам, тегам, индексам и многому другому. Единственная доступная система федеративного поиска. Имеет как платную, так и бесплатную версии.

http://www.strategator.com/ – осуществляет поиск, фильтрацию и агрегацию информации о компании из десятка тысяч веб-источников. Ищет по США, Великобритании, основным странам ЕЭС. Отличается высокой релевантностью, удобностью для пользователя, имеет бесплатные и платный вариант (14$ в месяц).

http://www.shodanhq.com/ – необычный поисковик. Сразу после появления получил кличку «Гугл для хакеров». Ищет не страницы, а определяет IP адреса, типы роутеров, компьютеров, серверов и рабочих станций, размещенных по тому или иному адресу, прослеживает цепочки DNS серверов и позволяет реализовать много других интересных функций для конкурентной разведки.

http://search.usa.gov/ – поисковик по сайтам и открытым базам всех государственных учреждений США. В базах находится много практической полезной информации, в том числе и для использования в нашей стране.

http://visual.ly/ – сегодня все шире для представления данных используется визуализация. Это первый поисковик инфографики в Вебе. Одновременно с поисковиком на портале есть мощные инструменты визуализации данных, не требующие навыков программирования.

http://go.mail.ru/realtime –поиск по обсуждениям тем, событий, объектов, субъектов в режиме реального, либо настраиваемого времени. Ранее крайне критикуемый поиск в Mail.ru работает очень эффективно и дает интересную релевантную выдачу.

Zanran – только что стартовавший, но уже отлично работающий первый и единственный поисковик для данных, извлекающий их из файлов PDF, таблиц EXCEL, данных на страницах HTML.

http://www.ciradar.com/Competitive-Analysis.aspx – одна из лучших в мире систем поиска информации для конкурентной разведки в «глубоком вебе». Извлекает практически все виды файлов во всех форматах по интересующей теме. Реализована как веб-сервис. Цены более чем приемлемые.

http://public.ru/ – Эффективный поиск и профессиональный анализ информации, архив СМИ с 1990 года. Интернет-библиотека СМИ предлагает широкий спектр информационных услуг: от доступа к электронным архивам публикаций русскоязычных СМИ и готовых тематических обзоров прессы до индивидуального мониторинга и эксклюзивных аналитических исследований, выполненных по материалам печати.

Cluuz – молодой поисковик с широкими возможностями для конкурентной разведки, особенно, в англоязычном интернете. Позволяет не только находить, но и визуализировать, устанавливать связи между людьми, компаниями, доменами, e-mail, адресами и т.п.

www.wolframalpha.com – поисковик завтрашнего дня. На поисковый запрос выдает имеющуюся по объекту запроса статистическую и фактологическую информацию, в том числе, визуализированную.

www.ist-budget.ru – универсальный поиск по базам данных госзакупок, торгов, аукционов и т.п.

В Интернет специальный веб сайт, на котором пользователь по заданному запросу может получить ссылки на сайты, соответствующие этому запросу. Поисковая система состоит из трех компонент: 1 поискового робота; 2 индекса системы; и 3 программы,… … Финансовый словарь

Сущ., кол во синонимов: 3 искалка (9) ищейка (16) поисковик (13) Словарь синонимов AS … Словарь синонимов

поисковая система - поисковик Сайт, при помощи которого ищутся другие сайты. Поиск осуществляется путём ввода ключевых слов в окошко поиска. В отличии от каталогов, даже, если сайт не был предварительно зарегистрирован, его можно найти при помощи поисковика.… … Справочник технического переводчика

поисковая система - ieškos sistema statusas T sritis automatika atitikmenys: angl. searching system vok. Suchsystem, n rus. поисковая система, f pranc. système de recherche, m … Automatikos terminų žodynas

Поисковая система - – (англ. search engine, синонимы: искалка, поисковый сервер, поисковая машина) – Инструмент для поиска информации в Интернете. Как правило, работа поисковой машины состоит из двух этапов. Специальная программа (поисковый робот, автомат, агент,… … Энциклопедический словарь СМИ

Управления, система автоматического управления (См. Автоматическое управление), в которой управляющие воздействия методом поиска автоматически изменяются т. о., чтобы осуществлялось наилучшее (в каком то смысле) управление объектом; при… … Большая советская энциклопедия

Управлення система автоматического управления, в к рой управляющие воздействия методом поиска автоматического изменяются т. о., чтобы осуществлять наилучшее управление объектом; при этом изменения хар к объекта или воздействий внеш. среды заранее … Большой энциклопедический политехнический словарь

СМП 1 редназначена для поиска спасателей, попавших в критические условия, связанные с угрозой для жизни, а также поиска десантированных грузов и различных объектов в условиях плохой видимости. В ее состав входят: радиоблок поиска активных… … Словарь черезвычайных ситуаций

автоматизированная информационно-поисковая система - 3.2.5 автоматизированная информационно поисковая система: ИПС, реализованная на базе электронно вычислительной техники Источник … Словарь-справочник терминов нормативно-технической документации

У этого термина существуют и другие значения, см. Апорт. Апорт … Википедия

Книги

• Экстремальные задачи теории графов и Интернет. Учебное пособие , Райгородский Андрей Михайлович. Настоящая брошюра посвящена изучению различных экстремальных задач теории графов, (хотя бы частичное) решение которых может быть полезно при анализе данных. Она возникла на основе…
• Экстремальные задачи теории графов и интернет , Райгородский Ф.М.. Настоящая брошюра посвящена изучению различных экстремальных задач теории графов, (хотя бы частичное) решение которых может быть полезно при анализе данных. Она возникла на основе…

Ожидаемо Гугл занял первое место в мировом рейтинге. На его долю приходится более 70% поисковых запросов от жителей со всех уголков Земли. Причем треть всего трафика google.com приходится на граждан США. Кроме того, Гугл является самым посещаемым сайтом в мире. Средняя ежедневная продолжительность использования поисковой системы Гугл составляет 9 минут.

Преимуществом поисковика Гугл является отсутствие лишних элементов на странице. Лишь строка поиска и логотип компании. Фишкой являются анимированные картинки и браузерные игры, приуроченные к популярным и локальным праздникам.

2. Bing

Бинг — поисковая система от Microsoft , ведущая свою историю с 2009 года. С этого момента она стала обязательным атрибутом смартфонов на ОС Windows. Bing также отличает минимализм — помимо шапки с перечнем всех продуктов Microsoft, на странице расположена лишь поисковая строка и название системы. Наиболее популярен Бинг в США (31%), Китае (18%) и Германии (6%).

3. Yahoo!

Третье место закрепилось за одним из старейших поисковиков — Яху. Основная масса пользователей также проживает в США (24%). Складывается впечатление, что весь остальной мир сознательно избегает помощи поисковых роботов… Также поисковик популярен в Индии, Индонезии, Тайване и в Великобритании. Помимо строки поиска, на странице Yahoo! предлагается прогноз погоды в вашем регионе, а также мировые тренды в виде ленты новостей.

4. Baidu

Китайский поисковик, который в России снискал дурную славу. Из-за агрессивной политики и отсутствия перевода на русский или английский языки, расширения этой поисковый системы воспринимаются в качестве вирусов. Их очень сложно удалить до конца и избавиться от всплывающих окон с иероглифами. Тем не менее, этот сайт является четвертым в мире по посещаемости. 92% его аудитории составляют граждане Китая.

5. AOL

AOL — американская поисковая система, чье название расшифровывается как America Online. Ее популярность значительно ниже, чем у предыдущих систем. Ее рассвет приходился на 90-е и 00-е годы. Почти 70% аудитории АОЛ — жители Соединенных Штатов.

6. Ask.com

У этой поисковой системы, ведущей свою историю с 1995, довольно необычный интерфейс . Все запросы она воспринимает в качестве вопросов и предлагает варианты ответов в соответствии с поисковой выдачей. Это чем-то напоминает сервис Ответы.Мэйл. Однако в выдачу попадают не ответы любителей, а полноценные статьи. За последний год сайт потерял около 50 позиций в мировом рейтинге самых популярных интернет-ресурсов и на сегодняшний день занимает лишь 104 место.

7. Excite

Этот поисковик ничем не примечателен, и похож на массу других сайтов. Он предлагает пользователям массу сервисов (таких, как Новости, Почта, Погода, Путешествия и т.д.) Интерфейс сайта также вызывает воспоминания о вэбе 90-х гг и, можно предположить, мало изменился с тех пор.

8. DuckDuckGo

Разработчики сразу предупреждают, что данная поисковая система не отслеживает ваши действия в сети. В наши дни это является весомым аргументом при выборе поисковика. Дизайн сайта выполнен в современной манере, использует яркие краски и забавные картинки. В отличие от других поисковых машин, «утиный поисковик» переведен на русский язык. За последний год сайт отыграл около 400 позиций и в марте 2017г. находится на 504 строчке рейтинга популярности Alexa.

9. WolframAlpha

Отличительной чертой этого поиска является многообразие вспомогательных сервисов, рассчитанных на запросы, связанные с теми или иными знаниями. То есть, в выдаче вы не увидите ссылок на посты в соцсетях или статьи желтой прессы. Вам предложат конкретные цифры и проверенные факты в форме единого документа . Этот браузер идеально подходит школьникам и студентам.

10. Yandex

Поисковик, наиболее популярный в России и странах СНГ. Кроме того, около 3% аудитории сайта являются жителями Германии. Сайт примечателен большим количеством сервисов на все случаи жизни (музыка, радио, расписание общественного транспорта, недвижимость, переводчик и пр.) Также ресурс предлагает большой выбор индивидуального оформления сайта, а также настройку виджетов «под себя» . Яндекс занимает 31 место в мире по популярности, потеряв 11 позиций за последний год.