Je me connecte souvent Í des interfaces web de gestion d'équipements
informatiques (commutateurs, IP Phone, ...) pour y effectuer des
actions précises (rebooter, changer la configuration PoE d'une
interface Ethernet, ...).
À chaque fois, j'opère en :
1. ouvrant un onglet de mon navigateur Internet, sur une adresse et un
port particulier (très souvent, mon navigateur m'alerte car le
certificat de l'équipement est auto-signé)
2. en fournissant un login et un mot de passe
3. en cliquant alternativement sur des éléments de menu, des éléments
au centre de la page web et des boutons plus ou moins furtifs.
J'apprécierai de remplacer ces actions manuelles par un script.
J'ai lu quelques lignes sur le Web scraping.
Les exemples que j'ai vu ne correspondent pas exactement Í ce que
j'opère (il s'agit souvent d'importer en masse des données).
Ma question est très simple:
- le Webscrping et un outil comme Scrapy sont-ils bien adaptés Í ce
que je vise ?
- est-il facile de passer outre des alertes pour les certificats ?
- un tel script est-il robuste (j'accepte d'avoir Í le refaire après
un changement de firmware) ?
Le jeu. 3 mars 2022 Í 11:19, Sabri KHEMISSA a écrit :
Bonjour, Tes équipements proposent-ils des fonctionnalités de gestion autres qu'une interface web ? Exemples : ligne de commande, SNMP, API Ces fonctionnalités sont plus simples Í scripter.
Excellente remarque ! En effet, la plupart des équipements ont soit une API accessible par HTTP soit une interface en ligne de commande (SSH ou telnet). Il est clair que ces interfaces sont plus stables dans le temps (surtout pour les opérations simples que j'envisage) et sont justement conçues pour la télé-gestion. Par contre, ces interfaces sont assez différentes d'un produit ou d'un constructeur Í l'autre et reposent sur des protocoles réseau différents (HTTP, telnet, SSH, ...) qu'il peut être fastidieux Í mettre en place pour une télé-administration. Je me demandais si apprendre une bonne fois pour toute, des techniques de scraping ne serait pas plus efficace sur la durée, face Í la variété des équipements. En gros, je passe 2 jours pour scripter un premier équipement puis 1h par nouvel équipement tandis qu'au niveau réseau, je n'ai que du HTTP lÍ o͹ j'aurai mis 3h avec les API spécifiques. Le témoignage d'un utilisateur de Scrapy serait très intéressant.
Le jeu. 3 mars 2022 Í 11:19, Sabri KHEMISSA <sabri.khemissa@gmail.com> a écrit :
Bonjour,
Tes équipements proposent-ils des fonctionnalités de gestion autres qu'une interface web ?
Exemples : ligne de commande, SNMP, API
Ces fonctionnalités sont plus simples Í scripter.
Excellente remarque !
En effet, la plupart des équipements ont soit une API accessible par
HTTP soit une interface en ligne de commande (SSH ou telnet).
Il est clair que ces interfaces sont plus stables dans le temps
(surtout pour les opérations simples que j'envisage) et sont justement
conçues pour la télé-gestion.
Par contre, ces interfaces sont assez différentes d'un produit ou d'un
constructeur Í l'autre et reposent sur des protocoles réseau
différents (HTTP, telnet, SSH, ...) qu'il peut être fastidieux Í
mettre en place pour une télé-administration.
Je me demandais si apprendre une bonne fois pour toute, des techniques
de scraping ne serait pas plus efficace sur la durée, face Í la
variété des équipements.
En gros, je passe 2 jours pour scripter un premier équipement puis 1h
par nouvel équipement tandis qu'au niveau réseau, je n'ai que du HTTP
lÍ o͹ j'aurai mis 3h avec les API spécifiques.
Le témoignage d'un utilisateur de Scrapy serait très intéressant.
Le jeu. 3 mars 2022 Í 11:19, Sabri KHEMISSA a écrit :
Bonjour, Tes équipements proposent-ils des fonctionnalités de gestion autres qu'une interface web ? Exemples : ligne de commande, SNMP, API Ces fonctionnalités sont plus simples Í scripter.
Excellente remarque ! En effet, la plupart des équipements ont soit une API accessible par HTTP soit une interface en ligne de commande (SSH ou telnet). Il est clair que ces interfaces sont plus stables dans le temps (surtout pour les opérations simples que j'envisage) et sont justement conçues pour la télé-gestion. Par contre, ces interfaces sont assez différentes d'un produit ou d'un constructeur Í l'autre et reposent sur des protocoles réseau différents (HTTP, telnet, SSH, ...) qu'il peut être fastidieux Í mettre en place pour une télé-administration. Je me demandais si apprendre une bonne fois pour toute, des techniques de scraping ne serait pas plus efficace sur la durée, face Í la variété des équipements. En gros, je passe 2 jours pour scripter un premier équipement puis 1h par nouvel équipement tandis qu'au niveau réseau, je n'ai que du HTTP lÍ o͹ j'aurai mis 3h avec les API spécifiques. Le témoignage d'un utilisateur de Scrapy serait très intéressant.
