Twitter iPhone pliant OnePlus 11 PS5 Disney+ Orange Livebox Windows 11

recherche sur le web par ligne de commande ?

9 réponses
Avatar
ptilou
bonsoir,

je veux savoir si lynx peut permettre l’automatisation de recherche ?
je cherche des plans de pièces d’hélicoptère, tél le plateau cyclique, et donc je veux orienter ma recherche sur patent, et faire un wget -m quand il y a un dessin, une image.

avez vous connaissance de recherche, veille sur ce type de fichiers ?

merci


ptilou

9 réponses

Avatar
nicolas.patrois
Le 14/12/2021 16:26:45, ptilou a écrit :
je veux savoir si lynx peut permettre l’automatisation de recherche ?
je cherche des plans de pièces d’hélicoptère, tél le plateau cyclique,
et donc je veux orienter ma recherche sur patent, et faire un wget -m
quand il y a un dessin, une image.
avez vous connaissance de recherche, veille sur ce type de fichiers ?

Tu peux te faire une moulinette en shell ou en Python qui parcourt le site que tu veux et qui exécute un wget -m si nécessaire.
nicolas patrois : pts noir asocial
--
RÉALISME
M : Qu'est-ce qu'il nous faudrait pour qu'on nous considère comme des humains ? Un cerveau plus gros ?
P : Non... Une carte bleue suffirait...
Avatar
ptilou
bonsoir,
Le mardi 14 décembre 2021 Í  17:40:03 UTC+1, a écrit :
Le 14/12/2021 16:26:45, ptilou a écrit :
je veux savoir si lynx peut permettre l’automatisation de recherche ?
je cherche des plans de pièces d’hélicoptère, tél le plateau cyclique,
et donc je veux orienter ma recherche sur patent, et faire un wget -m
quand il y a un dessin, une image.

avez vous connaissance de recherche, veille sur ce type de fichiers ?
Tu peux te faire une moulinette en shell ou en Python qui parcourt le site que tu veux et qui exécute un wget -m si nécessaire.

je cherche quelqu’un qui a déjÍ  fait la moulinette, et un qui me donne le .wgetrc !
(dans le home …)
le problème est que la littérature web …
moi je veux *.pdf, jpg, png, etc …
pour te faire une idée 30 Go , avec 300 k fichier donne moins de 4 Go exploitable, que j’ai pas encore trié, faut virer les photos de complaisance et la construction des sites ….
nicolas patrois : pts noir asocial
--
RÉALISME
M : Qu'est-ce qu'il nous faudrait pour qu'on nous considère comme des humains ? Un cerveau plus gros ?
P : Non... Une carte bleue suffirait...
Avatar
ptilou
bonsoir,
j’ai le souvenir d’une veilles informatique dans les années 2003, par un maÍ®tre de conférence!
donc google photo + recherche par image, avec dés opérateur bolén, donne de très bon résultat!
le problème est que je ne sais pas le faire en ligne de commande …
sinon o͹ trouver ou comment trouver les archives des sociétés qui n’existe plus ?
par exemple Bristol aéroplane ?
Le mardi 14 décembre 2021 Í  18:50:03 UTC+1, Basile Starynkevitch a écrit :
On 14/12/2021 16:26, ptilou wrote:
bonsoir,
je veux savoir si lynx peut permettre l’automatisation de recherche ?
je cherche des plans de pièces d’hélicoptère, tél le plateau cyclique, et donc je veux orienter ma recherche sur patent, et faire un wget -m quand il y a un dessin, une image.
avez vous connaissance de recherche, veille sur ce type de fichiers ?
A mon avis le problème est beaucoup plus complexe qu'on ne le croit, et pourrait faire l'objet d'une thèse de doctorat voire plusieurs d'entre eux (ou au moins un an de travail Í  temps plein).
En plus, le volume de données est important (Big Data, problèmatique de passage Í  l'échelle). Et les formats d'image sont nombreux (JPEG, PNG, SVG, etc etc etc...), et certaines sont générées en JavaScript.....
D'une part, les offices de brevets ont des équipes lÍ  dessus....
D'autre part, on pourrait utiliser un client HTTPS (libcurl) suivi d'une analyse d'image.
En France, je connais Mohamed Daoudi, professeur d'informatique Í  l'IMT Lille Douai, https://mohammeddaoudi.github.io/ spécialiste de ces questions.
Il faut bien sͻr faire du deep learning.
Une possibilité serait de monter un consortium HorizonEurope sur ces questions. Je pourrais/voudrais y contribuer avec RefPerSys.. Contactez moi alors sur ma boÍ®te professionnelle au CEA, LIST en
Il faut envisager une soumission HorizonEurope, avec un budget de plusieurs millions d'€ sur 2 ou 3 ans.
merci


ptilou
Avatar
Jean-Michel OLTRA
Bonjour,
Le mardi 14 décembre 2021, ptilou a écrit...
sinon o͹ trouver ou comment trouver les archives des sociétés qui n’existe
plus ? par exemple Bristol aéroplane ?

Tu peux essayer les archives du web
web.archive.org (wayback machine)
J'ai vu qu'il y avait des choses sur Bristol Aeroplane, mais je ne sais pas
si tu y trouveras ton bonheur.
--
jm
Avatar
Haricophile
Le Tue, 14 Dec 2021 17:35:00 +0100,
a écrit :
Tu peux te faire une moulinette en shell ou en Python qui parcourt le
site que tu veux et qui exécute un wget -m si nécessaire.
nicolas patrois : pts noir asocial

C'était pas justement l'idée de Weboob de faire un navigateur-robot
scriptable pour récupérer des choses et des infos ?
Avatar
ptilou
Slt,
Le jeudi 16 décembre 2021 Í  03:00:03 UTC+1, Haricophile a écrit :
Le Tue, 14 Dec 2021 17:35:00 +0100,
a écrit :
Tu peux te faire une moulinette en shell ou en Python qui parcourt le
site que tu veux et qui exécute un wget -m si nécessaire.
nicolas patrois : pts noir asocial
C'était pas justement l'idée de Weboob de faire un navigateur-robot
scriptable pour récupérer des choses et des infos ?

Je ne connais pas mais Í  la grande époque y en avait en sécu informatique qui administrait la base dns de bind maison sur chaque entité, et je me demande puisqu’il s’agit d’une concordance entre des chiffres et de l’ACSII, si il pas mieux d’attaquer de ce cÍ´té ?
Y a eu beautifulsoup en python....
Donc le mieux est de dl les sites puis de faire le trie ...
( pourtant si tu connais le fonctionnement d’internet avec ses data-center qui font ds miroir pour des histoires de gestion de bandes passante, ça m’étonnerait que quelqu’un Le face Í  la main ?)

Ptilou
Avatar
Erwann Le Bras
bonjour
Si j'ai bien compris, tu veux récupérer les images d'un site web?
Plusieurs cas :
-> wget -spider <url> qui permet de tout récupérer et faire le tri sur ce qui est intéressant.
-> faire un script qui récupérer la page d'accueil et la parcourt Í  la recherche des balises intéressantes pour y récupérer le contenu.
amitiés
Erwann
Le Tue, 14 Dec 2021 07:26:45 -0800 (PST)
ptilou a écrit :
bonsoir,
je veux savoir si lynx peut permettre l’automatisation de recherche ?
je cherche des plans de pièces d’hélicoptère, tél le plateau cyclique, et donc je veux orienter ma recherche sur patent, et faire un wget -m quand il y a un dessin, une image.
avez vous connaissance de recherche, veille sur ce type de fichiers ?
merci

ptilou

--
<p>amiti_s,</p>
-- <br>
<p>Erwann</p>
Avatar
ptilou
Slt,
https://cours.univ-paris1.fr/mod/page/view.php?idY4895
J’ai trouvé ça ! Bon ça fait avancer ....
Je n’ai pas le’ temps pour faire le script, mais je me demande si la’ machine n’a pas un problème, enfin et donc j’avais lancer une demande pour obtenir le dvd’ au 6000 script, il m’en semble que cette année le magazine a fait une publication avec mille, j’ai pas eu de réponse’ du lug de Renne c’est la’ biblio de’ l’inra a Renne d’après Sudoc.
Comme c’est gpl et fêtes ....
J’ai chercher dans les bases de données modèle et dessins et rien d’en concluant ?
Mais se que j’ai dit plus haut, la veille était fêtes avant les fil rss, et donc je m’en demande si elle passait par un moteur de recherche, ou s’il elle attaque pas’ direct la base de bind ?
(Faut trouver quelqu’un qui partage )
Merci
Le jeudi 23 décembre 2021 Í  10:50:03 UTC+1, Erwann Le Bras a écrit :
bonjour
Si j'ai bien compris, tu veux récupérer les images d'un site web?
Plusieurs cas :
-> wget -spider <url> qui permet de tout récupérer et faire le tri sur ce qui est intéressant.
-> faire un script qui récupérer la page d'accueil et la parcourt Í  la recherche des balises intéressantes pour y récupérer le contenu.
amitiés
Erwann
Le Tue, 14 Dec 2021 07:26:45 -0800 (PST)
ptilou a écrit :
bonsoir,
je veux savoir si lynx peut permettre l’automatisation de recherche ?
je cherche des plans de pièces d’hélicoptère, tél le plateau cyclique, et donc je veux orienter ma recherche sur patent, et faire un wget -m quand il y a un dessin, une image.
avez vous connaissance de recherche, veille sur ce type de fichiers ?
merci

ptilou
--
<p>amiti_s,</p>
-- <br>
<p>Erwann</p>


Ptilou
Avatar
ptilou
bonsoir,
vous allez dire que je suis prolixes ..
ce soir j’ai trouvé ça :
https://www.blogdumoderateur.com/tools/flusio/
le blog présente 5 logiciels mais rien en ligne de commandes ?
le plus dur est donc de trouver quelqu’un qui la fait et le partage en gpl .
Le mercredi 29 décembre 2021 Í  09:20:04 UTC+1, ptilou a écrit :
Slt,
https://cours.univ-paris1.fr/mod/page/view.php?idY4895
J’ai trouvé ça ! Bon ça fait avancer ....
Je n’ai pas le’ temps pour faire le script, mais je me demande si la’ machine n’a pas un problème, enfin et donc j’avais lancer une demande pour obtenir le dvd’ au 6000 script, il m’en semble que cette année le magazine a fait une publication avec mille, j’ai pas eu de réponse’ du lug de Renne c’est la’ biblio de’ l’inra a Renne d’après Sudoc.
Comme c’est gpl et fêtes ....
J’ai chercher dans les bases de données modèle et dessins et rien d’en concluant ?
Mais se que j’ai dit plus haut, la veille était fêtes avant les fil rss, et donc je m’en demande si elle passait par un moteur de recherche, ou s’il elle attaque pas’ direct la base de bind ?
(Faut trouver quelqu’un qui partage )
Merci
Le jeudi 23 décembre 2021 Í  10:50:03 UTC+1, Erwann Le Bras a écrit :
bonjour
Si j'ai bien compris, tu veux récupérer les images d'un site web?
Plusieurs cas :
-> wget -spider <url> qui permet de tout récupérer et faire le tri sur ce qui est intéressant.
-> faire un script qui récupérer la page d'accueil et la parcourt Í  la recherche des balises intéressantes pour y récupérer le contenu.
amitiés
Erwann
Le Tue, 14 Dec 2021 07:26:45 -0800 (PST)
ptilou a écrit :
> bonsoir,
>
> je veux savoir si lynx peut permettre l’automatisation de recherche ?
> je cherche des plans de pièces d’hélicoptère, tél le plateau cyclique, et donc je veux orienter ma recherche sur patent, et faire un wget -m quand il y a un dessin, une image.
>
> avez vous connaissance de recherche, veille sur ce type de fichiers ?
>
> merci
>
> —
> ptilou
>
--
<p>amiti_s,</p>
-- <br>
<p>Erwann</p>

Ptilou