Scraping leboncoin, qu'est-ce qui marche en 2019 avoir leur solution anti-bot?

Bonjour à tous,
Je suis cette discussion très intéressante depuis un moment j’aimerais avoir votre avis sur une question, j’aimerais automatiser une action en cron (à intervalle régulier, tout les jours), mais pour cela je dois être identifié, j’ai compris qu’a l’authentification l’api nous redirige vers une page intermédiaire (datadome ? qui sort un flag si elle ne détecte pas javascript) puis sur une page d’ authorization du token avant de nous redirigé sur la home et de set un cookie nommé « luat » qui contient la clé qui sera passé en bearer sur les call api.
C’est cette partie que je n’arrive pas à automatiser j’ai essayer selenium(patché) en chrome headless, pupeeter, phantomJs,bypassé en interrogeant différent point d’api mais rien ne fonctionne, si quelqu’un a une solution je suis preneur :slight_smile:
Merci et bonne journée à tous

Merci pour cette réponse !
Je vais tester la période d’essaie, j’hésiterais pas pour le lien d’affilié :slight_smile:

Hello, j’ai également ma solution en Python, on peut en discuter ?

2 « J'aime »

Avec plaisir, mp ?

Hello @magicjo concernant les IPs de datacenter, à 100$/mois, tu trouves ça ou ? :innocent: (merci)
Sinon, si tu as 5 minutes, j’aimerais bien te présenter une approche que l’on utilise pour avoir ton avis et partager nos expériences :upside_down_face:

Hello @Xitoo,

Pour les ips de datacenter, tu as luminati (Buy Proxies - Free Trial Without Credit Card) qui est un bon proxy provider avec un bon rapport qualité-prix ! Après tout dépend du volume de données que tu vas scrappé ^^
Chaud pour échanger sur les approches, je suis dispo demain si tu veux idéalement entre 12h et 12h30 ou vers 14h :slight_smile:

@magicjo Merci pour le retour, je vais regarder ça ^^
Top pour demain vers 14h, par contre, impossible d’envoyer un MP ici #needhelp

Par contre j’ai qq meetings cet aprèm avec des dates d’échéance floues, j’ai peur de ne pas pouvoir être dispo pour un call :/, désolé
Si ça peut attendre demain fin d’après midi, sinon aujourd’hui à 14h par message …

Finalement une de mes réunions a finit plus tôt que prévue, si t’es dispo :), je suis libre jusqu’à 15h30

@magicjo Dispo aussi pour un call sinon si c’est trop compliqué pour toi aujourd’hui, demain c’est bien aussi ^^
Comment tu veux procéder ?

Hello @raz101

Chez luminati, tu utilises les ip résidentielles ?
Ca me parait vraiment cher le Gb, sachant qu’il existe des solutions qui fournissent des numero issu de Leboncoin à 2ct.

Ou bien j’ai loupé un truc ?

Aucune idée pour d’autres services, ça fait des années qu’on fait comme ça, sachant qu’on crawl toutes les annonces LBC.

Oui c’est chers, mais t’en a pour ton prix niveau qualité des proxy.

avez vous trouvez une solution ?

Hello, la rotation d’IP et des autres headers de requêtes http fonctionne en effet pour extraire des informations issues des annonces leboncoin.

et du coup Lacentrale.fr ca donne quoi ? c comme leboncoin ?

hello, j’ai créer https://notifan.fr qui marche très bien sur les annonces immobilères comme automobiles :slight_smile:

Hello à tous,

J’ai un peu du mal à comprendre pourquoi passer par un presta externe pour une notification d’alerte LBC ?
Leur système marche mal ?

Merci d’avance !

Salut,

les notifications Leboncoin arrivent souvent (très) en retard par rapport aux systèmes externes (réception de l’annonce en moins d’une minute suivant la parution dans mon cas). C’est le temps qui fait toute la différence :slight_smile:

Pour ma part, j’en ai pris un parce qu’il ne fait pas que LBC justement. Mais j’ai l’impression que LBC concentre la majorité des annonces (si ce n’est toutes) et je pense arrêter.

Bonjour, je peux en savoir plus sur vos offres en MP

1 « J'aime »