Quelles sont les alternatives maintenant que l’API de recherche Web de Google est obsolète?
L’API de recherche Web Google est devenue obsolète et remplacée par l’API de recherche personnalisée (voir http://code.google.com/apis/websearch/ ).
Je voulais faire des recherches sur tout le Web, mais avec la nouvelle API, seuls les sites personnalisés peuvent être recherchés.
Existe-t-il un moyen de rechercher l’ensemble du Web par programmation? J’ai pu interroger l’ancienne API en utilisant JSON à partir d’un programme Java.
Vous pouvez simplement les envoyer comme un navigateur, puis parsingr le HTML, c’est ce que j’ai toujours fait, même pour des choses comme Youtube.
Oui, Google Custom Search a remplacé l’ancienne API de recherche, mais vous pouvez toujours utiliser Google Custom Search pour effectuer des recherches sur l’ensemble du Web , bien que les étapes ne soient pas évidentes dans la configuration de la recherche personnalisée.
Pour créer un moteur de recherche Google personnalisé qui recherche l’ensemble du Web:
- Sur la page d’accueil Google Custom Search ( http://www.google.com/cse/ ), cliquez sur Créer un moteur de recherche personnalisé.
- Tapez un nom et une description pour votre moteur de recherche.
- Sous Définir votre moteur de recherche, dans la zone Sites to Search, entrez au moins une URL valide (pour l’instant, il suffit de mettre http://www.anyurl.com pour passer cet écran. Plus tard).
- Sélectionnez l’édition CSE de votre choix et acceptez les conditions d’utilisation, puis cliquez sur Suivant. Sélectionnez l’option de mise en page souhaitée, puis cliquez sur Suivant.
- Cliquez sur l’un des liens de la section Étapes suivantes pour accéder à votre panneau de configuration.
- Dans le menu de gauche, sous Panneau de configuration, cliquez sur Basics.
- Dans la section Préférences de recherche, sélectionnez Rechercher sur tout le Web, mais privilégiez les sites inclus.
- Cliquez sur Enregistrer les modifications.
- Dans le menu de gauche, sous Panneau de configuration, cliquez sur Sites.
- Supprimez le site que vous avez entré lors du processus de configuration initiale.
Votre moteur de recherche personnalisé recherchera maintenant l’ensemble du Web.
Prix
- Google Custom Search vous donne 100 requêtes par jour gratuitement.
- Après cela, vous payez 5 $ par 1000 requêtes.
- Il y a un maximum de 10 000 requêtes par jour.
Source: https://developers.google.com/custom-search/json-api/v1/overview#Pricing
- La qualité de la recherche est bien inférieure à la recherche normale sur Google (pas de synonymes, d’intelligence, etc.)
- Il semble que Google envisage même de fermer complètement ce service.
Google Custom Search (préconisé dans les réponses les mieux notées) fonctionne bien, mais il est très coûteux par rapport à ses concurrents (ci-dessous) ou comparé aux autres API de Google. Il a un petit niveau gratuit (100 requêtes / jour) et un prix très élevé de 5 $ par 1000 requêtes.
Ils offrent la possibilité de passer à Site Search, qui propose des prix légèrement meilleurs, mais qui sont destinés à rechercher un site (le vôtre). Il s’agit donc de quelque chose de très différent, et non d’une mise à niveau.
Les principales alternatives semblent être:
API de recherche Bing
https://datamarket.azuree.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
Qui a un niveau gratuit de 5000q / mois et des prix à partir de 5 requêtes par centime, et pas de limite ssortingcte.
MISE À JOUR: À la fin de 2016, cette API a été arrêtée en faveur de son homologue Azure “API Cognitive Services Bing Search”:
https://azuree.microsoft.com/en-us/services/cognitive-services/search/
Voir ici pour un graphique des prix, qui commence à 3 USD / m pour 1 000 transactions. A moins que je ne manque quelque chose, c’est assez cher.
API de recherche Yahoo BOSS
MISE À JOUR: a été abandonnée le 31 mars 2016. http://developer.yahoo.com/boss/search/
Avec des prix commençant à environ 12 requêtes / penny pour des recherches sur le Web entier.
Et certains dont je n’ai jamais entendu parler auparavant:
http://www.gigablast.com/searchfeed.html
http://www.faroo.com/hp/api/api.html
http://www.entireweb.com/search_api/implementation/
[abandonné – comme indiqué ci-dessous]
Il y a un peu de discussion sur certains d’entre eux sur ce post SO .
[fermé pour être hors sujet et est maintenant parti]
Voici une option au bas du panneau de configuration de la recherche personnalisée: “Sites à rechercher” , vous pouvez choisir “Rechercher sur tout le Web mais privilégier les sites inclus”
Faroo a une API de recherche Web gratuite
Je viens juste de tomber sur ceci de Common Crawl.
Peut-être la réponse que nous recherchons tous !!
Il y a une note au dessus des docs :
Remarque: L’API de recherche sur le Web Google est officiellement obsolète depuis le 1er novembre 2010. Elle continuera de fonctionner conformément à notre politique de suppression , mais le nombre de requêtes que vous pouvez effectuer par jour sera limité. Par conséquent, nous vous encourageons à passer à la nouvelle API de recherche personnalisée .
La politique de dépréciation stipule qu’ils continueront à exécuter l’API pendant 3 ans. Donc, si vous avez déjà une application qui utilise l’ancienne API, vous n’avez pas à vous précipiter pour changer les choses pour le moment. Si vous écrivez une nouvelle application, utilisez l’ API de recherche personnalisée . Voir ma réponse ici pour savoir comment faire cela en Python, mais l’idée est la même pour tous les langages.
Il existe une API Java gratuite appelée JFreeWebSearch qui utilise le Faroo déjà mentionné: http://www.ke.tu-darmstadt.de/resources/jfreewebsearch
Vous pouvez créer un moteur de recherche personnalisé “partout” directement depuis la page d’accueil Google Custom Search ( http://www.google.com/cse/ ). Vous devez simplement cliquer sur “Avancé” lors de l’ajout d’un nouveau moteur. Là, vous pouvez fournir le type de site Schema.org. « Thing » est le type le plus générique, qui couvre tout le Web.
Gigablast propose une API de recherche Web bon marché: http://www.gigablast.com/searchfeed.html