Comment gratter un site web et récupérer des données en utilisant Rust

Le web scraping est une technique populaire qui permet de collecter rapidement et efficacement de grandes quantités de données à partir de pages web. En l’absence d’API, le web scraping peut être la meilleure approche.

La vitesse et la sécurité de la mémoire de Rust font de ce langage un outil idéal pour la construction de web scrapers. Rust contient de nombreuses bibliothèques d’analyse et d’extraction de données puissantes, et ses capacités robustes de gestion des erreurs sont pratiques pour une collecte de données Web efficace et fiable.

Récupération de données sur le web en Rust

De nombreuses bibliothèques populaires supportent le web scraping en Rust, notamment reqwest, scraper, sélectionner et html5ever. La plupart des développeurs Rust combinent les fonctionnalités de reqwest et de scraper pour leur web scraping.

La bibliothèque reqwest fournit des fonctionnalités permettant d’effectuer des requêtes HTTP aux serveurs web. Reqwest s’appuie sur les fonctions intégrées de Rust. hyper de Rust, tout en fournissant une API de haut niveau pour les fonctionnalités HTTP standard.

Scraper est une puissante bibliothèque de scraping web qui analyse les documents HTML et XML et extrait des données à l’aide de sélecteurs CSS et d’expressions XPath.

Après avoir créé un nouveau projet Rust avec l’option cargo new ajoutez la commande reqwest et gratte-papier dans la section des dépendances de votre cargo.toml de votre fichier :

Vous utiliserez reqwest pour envoyer des requêtes HTTP et scraper pour l’analyse.

Récupération de pages web avec Reqwest

Vous enverrez une requête pour le contenu d’une page web avant de l’analyser pour récupérer des données spécifiques.

Vous pouvez envoyer une requête GET et récupérer la source HTML d’une page à l’aide de la fonction texte de la fonction obtenir de la fonction reqwest bibliothèque :

Les obtenir envoie la demande à la page web, et la fonction texte renvoie le texte du code HTML.

Analyse du code HTML avec Scraper

La fonction retrieve_html renvoie le texte de l’HTML, et vous devrez analyser le texte HTML pour récupérer les données spécifiques dont vous avez besoin.

Scraper fournit des fonctionnalités permettant d’interagir avec le HTML dans la fonction Html et Sélecteur sont des modules. Les modules Html fournit la fonctionnalité d’analyse du document, et le module Sélecteur permet de sélectionner des éléments spécifiques dans le code HTML.

Voici comment vous pouvez récupérer tous les titres d’une page :

Le module parse_document de la fonction Html analyse le texte HTML et la fonction Parse du module Sélecteur sélectionne les éléments à l’aide du sélecteur CSS spécifié (dans ce cas, le sélecteur ligne de titre ).

Les pour parcourt ces éléments et imprime le premier bloc de texte de chacun d’entre eux.

Voici le résultat de l’opération :

Sélection d’attributs avec Scraper

Pour sélectionner la valeur d’un attribut, récupérez les éléments requis comme précédemment et utilisez la fonction attr de l’instance de valeur de la balise :

Après avoir sélectionné des éléments à l’aide de la méthode titleline à l’aide de l’outil parse la fonction pour les traverse. À l’intérieur de la boucle, le code récupère ensuite a et sélectionne les balises href avec l’attribut attr avec la fonction attr

La fonction principale imprime ces liens, avec un résultat comme celui-ci :

Vous pouvez construire des applications Web sophistiquées en Rust

Récemment, Rust a été de plus en plus adopté comme langage pour le développement web, du développement d’applications front-end au développement d’applications côté serveur.

Vous pouvez utiliser l’assemblage web pour créer des applications web complètes avec des bibliothèques telles que Yew et Percy ou créer des applications côté serveur avec Actix, Rocket et la multitude de bibliothèques de l’écosystème Rust qui fournissent des fonctionnalités pour la création d’applications web.

S’abonner à notre lettre d’information