Récupérer les URLS d'une requête de recherche sur google

Scraping
1

Bonjour à tous,

j’aimerais récupérer tous les résultats (les URLS) à partir d’une requête de recherche sur le web.

Est-ce possible ? Avez-vous des solutions à me proposer ?

Merci d’avance,

Grég

2

Hello,
ce que tu cherche c’est par exemple :
Rechercher « growthhacking » et récupérer les 10 urls de résultats ?

3

Bonjour Lolo,

Oui tout à fait ! je cherche à faire cela :slight_smile:

4
5

Apify a aussi un « Google Search Scraper » qui permet de faire ça.

1 « J'aime »
6

Salut,
rien de plus simple :
1- tu crées un favori sur chrome. Tu l’appelles (comme tu veux, par exemple Google SERP Extractor).
2- Et tu colles ce code à la place de l’url :

javascript:(function(){output='<html><head><title>EXTRACTEUR DE SERP</title><style type=\'text/css\'>body,table{font-family:Tahoma,Verdana,Segoe,sans-serif;font-size:11px;color:#000}h1,h2,th{color:#405850}th{text-align:left}h2{font-size:11px;margin-bottom:3px}</style></head><body>'; output+='<table%20style="background-color:#303f9f;"><tbody><tr><td></td><td><h1%20style="color:white;">EXTRACTEUR%20DE%20SERP%20Google</h1></td></tr></tbody></table>'; pageAnchors=document.getElementsByTagName('a'); divClasses=document.getElementsByTagName('div'); var%20linkcount=0;var%20linkLocation=''; var%20linkAnchorText=''; output+='<table><th>ID</th><th>URL</th><th>Ancre</th>'; for(i=0;i<pageAnchors.length;i++){ if(pageAnchors[i].parentNode.parentNode.getAttribute('class')!='iUh30'){ var%20anchorText%20=%20pageAnchors[i].textContent; var%20anchorLink%20=%20pageAnchors[i].href; var%20linkAnchor%20=%20anchorLink%20+%20'\t'+anchorText; var%20anchorID%20=%20pageAnchors[i].id; if(anchorLink!=''){ if(anchorLink.match(/^((?!google\.|cache|blogger.com|\.yahoo\.|youtube\.com\/\?gl=|youtube\.com\/results|javascript:|api\.technorati\.com|botw\.org\/search|del\.icio\.us\/url\/check|digg\.com\/search|search\.twitter\.com\/search|search\.yahoo\.com\/search|siteanalytics\.compete\.com|tools\.seobook\.com\/general\/keyword\/suggestions|web\.archive\.org\/web\/|whois\.domaintools\.com|www\.alexa\.com\/data\/details\/main|www\.bloglines\.com\/search|www\.majesticseo\.com\/search\.php|www\.semrush\.com\/info\/|www\.semrush\.com\/search\.php|www\.stumbleupon\.com\/url|wikipedia.org\/wiki\/Special:Search).)*$/i)){ if(anchorID.match(/^((?!hdtb_more|hdtb_tls|uh_hl).)*$/i)){ linkLocation+=anchorLink+'<br%20/>'; linkAnchorText+=anchorText+'<br%20/>'; linkcount++; if%20(anchorText%20===%20undefined)%20anchorText%20=%20pageAnchors[i].innerText;output+='<tr>'; output+='<td>'+linkcount+'</td>'; output+='<td>'+pageAnchors[i].href+'</a></td>'; output+='<td>'+anchorText+'</td>'; output+='</tr>\n'; } } } } } output+='</table><br/><h2>URL%20List</h2><div>'; output+=linkLocation;output+='</div><br/><h2>Anchor%20Text%20List</h2><div>'; output+=linkAnchorText;output+='<br/>%C2%A0<br/><p%20align=center></p>'; with(window.open()){document.write(output);document.close();}})();

3- Tu configure google pour qu’il affiche 100 résultats par page
4- tu fais ta recherche
5- tu cliques sur le favori
6- tu as ton export :wink:

A+

5 « J'aime »
8

Hello,

Un outil sans pub, comme WebScraper.io par exemple, c’est une extension de Google Chrome que tu peux installer gratuitement.

  1. Une fois l’extension installée et ouverte, tu pourras y importer cette configuration:
{"_id":"google_serps","startUrl":["https://www.google.fr/search?q=growth+hacking"],"selectors":[{"id":"results","type":"SelectorElement","parentSelectors":["_root"],"selector":".rc","multiple":true,"delay":0},{"id":"title","type":"SelectorText","parentSelectors":["results"],"selector":"h3.LC20lb","multiple":false,"regex":"","delay":0},{"id":"link","type":"SelectorElementAttribute","parentSelectors":["results"],"selector":"a","multiple":false,"extractAttribute":"href","delay":0},{"id":"desc","type":"SelectorText","parentSelectors":["results"],"selector":"span.st","multiple":false,"regex":"","delay":0}]}
  • Pour cela, aller dans le menu « Create new Sitemap » → « Import Sitemap »

image
image1968×1068 338 KB

  • Puis copier coller la config JSON donnée ci-dessus dans le champ « Sitemap JSON », et cliquer sur « Import Sitemap »

image
image1826×1384 332 KB

  1. Enfin, via le menu tu peux lancer l’action de scraping des résultats de la recherche:

image
image2012×748 99.2 KB

  • Ou plus simplement en cliquant sur « Data preview »:

image
image3690×1323 399 KB

  1. Et pour modifier l’URL de la page de la recherche Google, il faut aller dans le menu « Edit metadata »:

image
image1777×730 83.6 KB

  • Et à partir de là, rajouter des « start URL » ou changer celle déjà présente:

image
image1868×545 50.1 KB

1 « J'aime »
9

Ou plus simple…SeoQuake ? ils ont une option pour exporter les résultats en CSV, tout en ajoutant pas mal de metrics par dessus.

1 « J'aime »
10

Test l’outil Rddz scraper. C’est vraiment une tuerie, tu installes le logiciel, tu rentres ta requête et il te scrap les résultats 100 par 100.et ensuite tu peux aussi te créer tes propres scraper pour scraper un site.