membre "fantôme"

Problèmes, bugs et difficultés rencontrés sur le site.
Avatar du membre
sly
Messages : 4631
Enregistré le : 29 févr. 2004, 17:59
Localisation : Chambéry - Savoie

Re: membre "fantôme"

Message par sly »

Pascal 74 a écrit : 19 sept. 2023, 11:16 Il a changé d'adresse IP. Peut-être que le serveur dont parle Dominique dispose de plusieurs adresses IP fixes.
Ho oui, ils en ont des paquets d'adresse IP dont il se servent pour répartir la charge (ou planquer leurs méfaits !)
Pascal 74 a écrit : 19 sept. 2023, 11:16 L'application d'outils bloquant les abus de requêtes, dont parle Sly dans son dernier message (si refuges.info peut en disposer) semble être une piste intéressante même s'il elle ne va pas tout résoudre.
Oui c'est possible, c'est assez facile et ça ne coûte par un rond... ça me démange !
Mais je n'arrive pas à être sûr que c'est lui le fautif, ça a beau être un programme, j'aime pas les dommages collatéraux ;-)

Surtout qu'en même temps que lui, et le jour des problèmes (le 17/09) le robot de Amazon est passé pour sucer 50'000 pages du forum (oui, il n'y a même pas ce nombre de sujet !) dont voici la doc : https://developer.amazon.com/fr/support/amazonbot
Tout ça pour que l'on puisse lui demander "Alexa, trouve moins un refuge qu'il est bien prêt de chez moi", enfin, c'est comme ça
Avatar du membre
Pascal 74
Messages : 301
Enregistré le : 17 juin 2007, 16:37
Localisation : Annecy

Re: membre "fantôme"

Message par Pascal 74 »

sly a écrit : 18 sept. 2023, 14:09 ...Par contre, on en récupère quelque uns dont les développeurs n'ont pas trop de scrupules à les faires récupérer des dizaines de pages par secondes sans égard aux petites configurations serveur (comme sur refuges.info) qu'ils saturent. Pour eux, j'ai moins de scrupules et je n'hésiterais pas à les bloquer.
sly a écrit : 19 sept. 2023, 12:14 ...le jour des problèmes (le 17/09) le robot de Amazon est passé pour sucer 50'000 pages du forum (oui, il n'y a même pas ce nombre de sujet !) ...
...Tout ça pour que l'on puisse lui demander "Alexa, trouve moins un refuge qu'il est bien prêt de chez moi", enfin, c'est comme ça
La pratique du robot d'Amazon est pourtant loin d'être respectueuse des petites configurations serveur, si j'en juge.
C'est bien le dilemme : éviter d'être saturé de requêtes et ne pas empêcher le référencement.
Les robots vont devenir de plus en plus gourmands, ne serai-ce que pour alimenter les robots conversationnels des GAFAM, mais pas seulement.
C'est un peu la course à l'armement : on voudrait limiter la puissance des serveurs qu'une armée de robots s'évertue à saturer.
Il faudra sûrement à terme augmenter la puissance du serveur de Refuges.info
Pour une montagne libre.
Avatar du membre
Pascal 74
Messages : 301
Enregistré le : 17 juin 2007, 16:37
Localisation : Annecy

Re: membre "fantôme"

Message par Pascal 74 »

Claude Mauguier a écrit : 20 sept. 2023, 16:10 ...Bytespider est toujours là... :sleep:
Oui, ça fait 5 jours...

Bytespider IP : 47.128.30.13 » Whois
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com) Page d’index 20 sept. 2023 18:41


Je crois que la page d'index du forum s'est fait un nouveau copain : ils ne se séparent plus :D
Pour une montagne libre.
Avatar du membre
Claude Mauguier
Messages : 3349
Enregistré le : 16 févr. 2005, 01:00
Localisation : Isére

Re: membre "fantôme"

Message par Claude Mauguier »

On dirait qu'il s'est tiré...gonflé comme une sangsue. Quelqu'un a fait quelque chose dans le système ??
Avatar du membre
sly
Messages : 4631
Enregistré le : 29 févr. 2004, 17:59
Localisation : Chambéry - Savoie

Re: membre "fantôme"

Message par sly »

Je n'ai rien fais, mais rassurez vous, il est toujours là !
Le forum ne le détecte/indique plus (il s'est lassé !) mais le robot continue à visiter tout site :

Dernière visite il y a... 17 secondes :
47.128.42.225 [21/Sep/2023:09:29:29 +0200] "GET /forum/viewtopic.php?t=7189 "Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)"

Mais je qualifierais ses visites de "peu agressives" et le problème du 17/09 ne s'est pas reproduit, le serveur de refuges.info tournant convenablement depuis avec beaucoup de marge en ressources.
Avatar du membre
Claude Mauguier
Messages : 3349
Enregistré le : 16 févr. 2005, 01:00
Localisation : Isére

Re: membre "fantôme"

Message par Claude Mauguier »

Et si on l'utilisait pour y introduire un truc qui lui pourrirait la vie ? :twisted:
Avatar du membre
sly
Messages : 4631
Enregistré le : 29 févr. 2004, 17:59
Localisation : Chambéry - Savoie

Re: membre "fantôme"

Message par sly »

A mon avis, la meilleure réponse, c'est de l'ignorer. Si le serveur devient un jour saturé par des robots, ce qui n'est pas le cas, je saurais trouver mon bazooka
Avatar du membre
sly
Messages : 4631
Enregistré le : 29 févr. 2004, 17:59
Localisation : Chambéry - Savoie

Re: membre "fantôme"

Message par sly »

Claude Mauguier a écrit : 02 oct. 2023, 09:24 P.S. Bytespider traîne toujours en bas de page...
Je confirme, il continue, tous les jours à venir chercher entre 20000 et 30000 pages.

Il semble s'être pris d'affection pour notre icône de loupe : https://www.refuges.info/images/loupe.png
Qu'il vient chercher environ 10000 fois par jour. Elle est joli il faut le dire, mais je ne suis pas certain qu'elle change aussi souvent au point qu'il faille vérifier chaque seconde qu'elle est toujours là... quel gaspillage.
Sûrement un bug quelque part sur la chaîne, mais ça ne semble pas être de notre coté.

Pour le reste il parcours le forum et le site "gentillement", je doute finalement qu'il fût la cause de notre problème.
Avatar du membre
Pascal 74
Messages : 301
Enregistré le : 17 juin 2007, 16:37
Localisation : Annecy

Re: membre "fantôme"

Message par Pascal 74 »

Claude Mauguier a écrit : 11 oct. 2023, 18:09 ...P.S. Coucou ! Bytespider est encore là... si seulement on pouvait lui apprendre à modérer... :D :lol:
C'est vrai que pour un truc qui est sensé aspirer une page en une fraction de seconde... Peut-être fait-il le tour de l'hébergeur de fond en comble en prenant ses quartiers ici :twisted:
Ou il s'est pris les octets dans une boucle récursive et ne peut plus échapper aux mailles du filet.
En tout cas, je ne sais pas comment se comportent les autres bots, mais, son "omniprésence" est plutôt surprenante :o
Pour une montagne libre.
Avatar du membre
Dominique
Messages : 3385
Enregistré le : 08 avr. 2006, 21:58
Localisation : Chaville 92
Contact :

Re: membre "fantôme"

Message par Dominique »

Pascal 74 a écrit : 12 oct. 2023, 17:11 C'est vrai que pour un truc qui est sensé aspirer une page en une fraction de seconde... Peut-être fait-il le tour de l'hébergeur de fond en comble en prenant ses quartiers ici :twisted:
Ou il s'est pris les octets dans une boucle récursive et ne peut plus échapper aux mailles du filet.
En tout cas, je ne sais pas comment se comportent les autres bots, mais, son "omniprésence" est plutôt surprenante :o
Un conseil : ne regardez jamais un log de trafic, vous feriez des cauchemars
On nous bassine sur les mails avec des pièces attachées mais ce n'est pas eux qui font fondre la banquise à coup de datacenters
Et je ne parle pas des cryptomonaies, si modernes pour pas mal de politiques

Oubliez Bytespider qui n'est finalement qu'un petit bot pas bien fait mais bien identifié et qui ne se cache même pas.
Avatar du membre
Pascal 74
Messages : 301
Enregistré le : 17 juin 2007, 16:37
Localisation : Annecy

Re: membre "fantôme"

Message par Pascal 74 »

Dominique a écrit : 12 oct. 2023, 21:06 ...Oubliez Bytespider...
Mais ? on ne peut pas ! On s'est habitué, à force :lol:
Bytespider IP : 47.128.46.237 » Whois
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com) Page d’index 13 oct. 2023 00:09
Pour une montagne libre.
Avatar du membre
Dominique
Messages : 3385
Enregistré le : 08 avr. 2006, 21:58
Localisation : Chaville 92
Contact :

Re: membre "fantôme"

Message par Dominique »

Pascal 74 a écrit : 13 oct. 2023, 00:08 Mais ? on ne peut pas ! On s'est habitué, à force :lol:
Bytespider IP : 47.128.46.237 » Whois
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com) Page d’index 13 oct. 2023 00:09
Ha ! C'est un gros "noun :ours:"
Avatar du membre
sly
Messages : 4631
Enregistré le : 29 févr. 2004, 17:59
Localisation : Chambéry - Savoie

Re: membre "fantôme"

Message par sly »

Je m'étonnais aussi que seul ce Bytespider ne soit listé, laissant penser qu'il était presque le seul à venir nous voir, alors rassurez vous, je pense avoir réglé le problème. N'en faites surtout pas une jaunisse, mais j'ai ré-importé la liste de 55 robots visiteurs là où il n'y en avait que... 2 ! (ça dit quelque chose à quelqu'un le fait que seul Bytespider et Duckduckgo bot étaient présents ?)

Le résultat est immédiat, tout de suite, même à 2h du matin, je me sens moins seul.

Ce changement pourrait/devrait participer à réduire le trafic et peut-être les rares saturation que nous avons subit.
Avatar du membre
Pascal 74
Messages : 301
Enregistré le : 17 juin 2007, 16:37
Localisation : Annecy

Re: membre "fantôme"

Message par Pascal 74 »

sly a écrit : 25 oct. 2023, 01:49 ...j'ai ré-importé la liste de 55 robots visiteurs là où il n'y en avait que... 2 !
Chouette ! des nouveaux copains :D
Fichiers joints
Botsenligne.JPG
Botsenligne.JPG (28.16 Kio) Vu 349 fois
Pour une montagne libre.
Avatar du membre
Claude Mauguier
Messages : 3349
Enregistré le : 16 févr. 2005, 01:00
Localisation : Isére

Re: membre "fantôme"

Message par Claude Mauguier »

Dommage, je ne peux pas leur flanquer un coup de patte.
Le chômage me guette....
Répondre