Каковы альтернативы теперь, когда API веб-поиска Google устарел? [закрыто]

322

API веб-поиска Google устарел и заменен API пользовательского поиска (см. Http://code.google.com/apis/websearch/ ).

Я хотел выполнить поиск по всей сети, но, похоже, с новым API можно искать только пользовательские сайты.

Есть ли способ поиска по всей сети программно? Мне удалось запросить старый API с помощью JSON из Java-программы.

google-api deprecated google-search google-custom-search Дэн
источник
3
Хорошо, я провел много исследований по этому вопросу, и похоже, что единственным решением является Yahoo Boss
Дэн
Пользовательский API поиска - это не то, что ищет большинство людей: - / Дайте searchapi.io взгляд!
Стэн Смулдерс
Я создал POC для различных поисковых API, которые предоставляют множество функций и которые очень легко реализовать за доли минуты. Swiftype ( swiftype.com ), Cludo ( cludo.com/en ), Algolia ( algolia.com/doc ) - это API, которые я также реализовал и протестировал. Я мог бы также дать подробный ответ, но этот вопрос закрыт.
Ашиш Кумар
2
Лучшее решение - использовать сторонний сервис, такой как SerpApi
Hartator,
masswerk.at/googleBBS
neverMind9

Ответы:

32

Вы можете просто отправить их через браузер, а затем проанализировать html, это то, что я всегда делал, даже для таких вещей, как Youtube.

Zimm3r
источник
64
Мне сказали, что условия обслуживания Google запрещают пауков ...
Стивен А. Лоу
52
Из TOS : «Вы соглашаетесь не получать доступ (или пытаться получить доступ) к каким-либо Услугам с помощью любых автоматических средств (включая использование сценариев или веб-сканеров) ...»
rndrük
18
«Нарушать условия обслуживания у поставщика услуг» никогда не бывает хорошим советом. Парсинг веб-страниц - это то, что переходит из одного дня в другой без предупреждения, это ужасный совет - вот почему было больше отрицательных голосов, чем было проголосовано.
WhyNotHugo
143
Да, это нарушает условия обслуживания, но лично я бы не беспокоился об этом. Google может справиться с небольшим количеством операций по очистке, в конце концов, они заработали целое состояние, очищая сайты других людей.
jimbo2087
106
Давай люди. Не будь таким наивным. Google не может заставить этот ToS перерезать вам горло. Чтобы нарушить ПС, вы должны сначала согласиться с ним (письменно или нажав кнопку типа «Да, я принимаю условия»). Подумайте об этом: я разместил на своей веб-странице пункт обслуживания, чтобы каждый посетитель этой страницы должен был дать мне 10000 долларов. Могу ли я применить этот ToS к своим посетителям? Придется ли мне немедленно.
Migrate2Lazarus посмотреть мой профиль
482

Да, Google Custom Search теперь заменил старый API поиска, но вы все равно можете использовать Google Custom Search для поиска по всей сети , хотя шаги не очевидны в настройке Custom Search.

Чтобы создать систему пользовательского поиска Google, которая выполняет поиск по всей сети:

  1. На главной странице пользовательского поиска Google ( http://www.google.com/cse/ ) нажмите Создать систему пользовательского поиска.
  2. Введите имя и описание для вашей поисковой системы.
  3. В разделе «Определить свою поисковую систему» ​​в поле «Сайты для поиска» введите хотя бы один действительный URL-адрес (сейчас просто введите www.anyurl.com, чтобы обойти этот экран. Подробнее об этом позже).
  4. Выберите нужную версию CSE и примите Условия предоставления услуг, затем нажмите Далее. Выберите нужный макет и нажмите «Далее».
  5. Нажмите любую из ссылок в разделе «Следующие шаги», чтобы перейти к панели управления.
  6. В левом меню в разделе «Панель управления» выберите «Основные».
  7. В разделе «Настройки поиска» выберите «Поиск по всему Интернету», но выделите включенные сайты.
  8. Нажмите Сохранить изменения.
  9. В левом меню в разделе «Панель управления» выберите «Сайты».
  10. Удалите сайт, который вы указали в процессе первоначальной настройки.

Теперь ваш пользовательский поисковик будет искать по всей сети.

ценообразование

  • Google Custom Search дает вам 100 запросов в день бесплатно.
  • После этого вы платите 5 долларов за 1000 запросов.
  • Максимум 10000 запросов в день.

Источник: https://developers.google.com/custom-search/json-api/v1/overview#Pricing

  • Качество поиска намного ниже, чем в обычном поиске Google (без синонимов, «интеллекта» и т. Д.)
  • Похоже, что Google даже планирует полностью отключить этот сервис.
Bangkokian
источник
26
Спасибо за это. Надеюсь, это действительная процедура, а не лазейка, ожидающая подключения Google!
Мазатек
9
Спасибо! Это, пожалуй, единственный ответ в интернете, который ответил на мой вопрос. Поразительно, почему Google прекратил прямую поддержку API для своего основного сервиса.
spamguy
7
но как использовать это с JSON?
Навара
61
ВНИМАНИЕ: мы занимались разработкой с использованием бесплатной версии, но чтобы перейти на платную версию (чтобы выполнить более 100 поисков), Google заставляет вас отключить «поиск по всей сети, но выделение включенных сайтов»
Брайан Ларсен,
5
«1 апреля 2017 года Google прекратит продажи Поиска по сайту Google. Все новые покупки и продления должны быть выполнены до этой даты. Продукт будет полностью закрыт к 1 апреля 2018 года».
Gajus
55

Пользовательский поиск Google (как утверждается в ответах с самым высоким рейтингом) работает хорошо, но очень дорого по сравнению с конкурентами (ниже) или по сравнению с другими API Google. Он имеет небольшой бесплатный уровень (100 запросов в день) и очень высокую цену в 5 долларов за 1000 запросов.

Они предлагают возможность перейти на поиск по сайту, который имеет несколько лучшие цены, но он предназначен для поиска по одному сайту (вашему собственному), так что это действительно нечто иное, а не обновление.

Основными альтернативами являются:

API поиска Bing
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
с бесплатным уровнем 5000q / месяц и ценами, начинающимися с 5 запросов за копейки, и без жесткого ограничения.

ОБНОВЛЕНИЕ: в конце 2016 года этот API был закрыт в пользу его аналога Azure «API Bing Search для Cognitive Services»:
https://azure.microsoft.com/en-us/services/cognitive-services/search/

Смотрите здесь ценовую диаграмму, которая начинается с 3 долларов США за тысячу транзакций. Если я что-то упустил, это довольно дорого.


ОБНОВЛЕНИЕ API поиска Yahoo BOSS : было прекращено 31 марта 2016 года. Http://developer.yahoo.com/boss/search/
С ценами, начинающимися примерно с 12 запросов / пенни за весь поиск в Интернете.

И некоторые из них я не слышал раньше:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[прекращено - как указано ниже]

Некоторые из них обсуждаются в этом посте .
[закрыли за то, что он не по теме и теперь нет]

Том
источник
2
Bing Search API версии 5 теперь позволяет выполнять до 1000 транзакций в месяц во всех API Bing Search (Интернет, изображения, видео, поиск новостей) - microsoft.com/cognitive-services/en-us/pricing . Я собрал некоторые образцы - mvark.blogspot.in/2016/06/...
mvark
wholeweb.com прекратил обслуживание, как показано здесь wholeweb.com/services
Wessam El Mahdy
15 декабря 2016 г. API веб-поиска Bing перейдет в Cognitive Services от Azure Marketplace ( azure.microsoft.com/en-us/services/cognitive-services/search ), для которого требуется подписка на телефон + кредитную карту для подписки (даже свободный).
Гилад Майани
Из Bing API: «DataMarket и Data Services удаляются и прекращают принимать новые заказы после 31.12.2016. Существующие подписки будут отменены и отменены с 31.03.2017. Пожалуйста, обратитесь к поставщику услуг за вариантами, если вы хочу продолжить службу. "
Дмитрий Зайцев
Спасибо за указание на изменение - я обновил ответ соответственно.
Том
27

В нижней части панели управления пользовательским поиском есть опция: «Поиск сайтов» , вы можете выбрать «Поиск по всей сети, но выделите включенные сайты».

Панель управления пользовательского поиска - сайты для поиска

Ишу Фан
источник
1
это все еще работает для вас?
Дежелл
Да, это все еще работает.
5
Google заставляет вас отключить эту опцию при переходе на платный поиск. И бесплатный имеет ограничение в 100 поисков.
Брайан Ларсен
1
@Yishu, Почему на странице https://support.google.com/customsearch/answer/141877?hl=ru говорится " Вы не можете настроить Поиск по сайту Google для поиска по всей сети "?
Пейсер
@Pacerier, я понятия не имею об этом. Может быть, политика изменилась?
Ишу Фан
14

Faroo имеет бесплатный API веб-поиска

разъем
источник
Их результаты шва ограничены, но это хорошая отправная точка.
afro360
@ Джек, не слышал об этом раньше. Откуда они получают результаты поиска?
Пейсер
7
Возможное нарушение условий для Faroo заключается в том, что ваш ключ API ограничен IP-адресом, который вы указали при регистрации.
Uncaught Exception
6
Эти парни все еще работают? Я запросил ключи API и ничего не слышал.
Пол Уилан
5

Я только что натолкнулся на это из Common Crawl.

http://www.commoncrawl.org/

Может быть ответ, который мы все ищем!

Дэн
источник
3
Индекс ограничен, обновляется примерно раз в год. И, наконец, это довольно дорого, так как вы должны подключиться к Amazon S3.
Гийом Лебуржуа
@GuillaumeLebourgeois, дорогой? Я не думаю, что это правда. Это некоммерческая. Все 102 ТБ данных бесплатно для скачивания.
Pacerier
Стоимость подключения к AWS, где вы можете получить доступ к этому. Если вы студент, вы имеете право на их бесплатный уровень, но все же могут быть расходы на перевод и т. Д .; и если вы не в свободном уровне, есть эксплуатационные расходы.
tripleee
Похоже, общий обход теперь обновляется ежемесячно
Джек Так
4

В верхней части документа есть примечание :

Примечание. API веб-поиска Google официально устарел с 1 ноября 2010 года. Он будет продолжать работать в соответствии с нашей политикой устаревания , но количество запросов, которые вы можете делать в день, будет ограничено. Поэтому мы рекомендуем вам перейти на новый API пользовательского поиска .

Политика амортизации говорит, что они будут продолжать использовать API в течение 3 лет. Поэтому, если у вас уже есть приложение, которое использует старый API, вам не нужно торопиться, чтобы что-то изменить. Если вы пишете новое приложение, используйте API пользовательского поиска . Смотрите мой ответ здесь, чтобы узнать, как это сделать в Python, но идея одинакова для любого языка.

moinudin
источник
8
И это не бесплатно .... "5 долларов за 1000 запросов" ... очень не бесплатно!
UpTheCreek
1
Этот ответ устарел, так как три года истекли, а 2014/09/29 прошло.
нанофарад
CustomeSearchAPI присутствует не на всех веб-сайтах - он предназначен для пользовательских веб-сайтов
Dejell,
1

Вы можете создать систему пользовательского поиска "везде" прямо с главной страницы пользовательского поиска Google ( http://www.google.com/cse/ ). Вы должны просто нажать «Дополнительно» во время добавления нового движка. Там вы можете указать тип сайта Schema.org. « Вещь » - это наиболее общий тип, который охватывает всю сеть.

testlnord
источник
Я не получил это. Работает ли это для вас?
Дежелл