Certains systèmes rencontrent des problèmes

Stickied Incidents

mardi 15 août 2023

nitter.fdn.fr Instance Nitter : erreur « Tweet not found »

Suite à de nouveaux changements côté Twitter (encore…), toutes les instances sont bloquées car la consultation des tweets nécessite à un compte. Le problème est identifié sur le Git de Nitter, ticket 983. La recherche ne fonctionne également pas.

L'équipe adminsys

  • Service arrêté définitivement...

  • Ça n'aura pas durée très longtemps (quelques jours voire heures), les comptes invités (guest accounts) ne peuvent plus être généré via l'API X/Twitter. En attente d'une nouvelle solution, s'il y en a une…

  • Depuis hier soir, suite une mise à jour vers Debian 12 afin d'utiliser Nim 1.6.10 et l'utilisation de la branche guest_accounts, Nitter est de nouveau fonctionnel ! À voir combien de temps ce sera fonctionnel car les jetons sont limités à 500 appels / 15 minutes et les jetons ne peuvent être générés depuis la même IP qu'une fois toutes les 24 heures avant que l'instance soit limitée par X/Twitter.

  • Maintenance Planifiée
    xDSL / FTTH : maintenance pour mise à jour du logiciel d'un équipement

    Chers adhérents, chères adhérentes,

    Ielo nous fait part de cette maintenance :

    • Caractéristiques de l'opération : Mise à jour du logiciel de l'équipement
    • Référence de la maintenance : #212854
    • Début (heure locale) : 2024-02-27 23:00:00 (CET / UTC+0100)
    • Fin (heure locale) : 2024-02-28 06:00:00 (CET / UTC+0100)
    • Temps de coupure : 1 heure
    • Impact : Coupure franche xDSL / FTTH collecté par Ielo

    À noter : la collecte xDSL/FTTH Ielo est redondée sur les deux datacenters Parisiens dans lesquels est présent FDN, il n'y aura donc, normalement, pas de coupure. Nos LNS feront en sorte que le second datacenter prenne le relais mais vous êtes prévenu, au cas où ;-).

    L'équipe adminsys

    Incidents antérieurs

    mardi 15 août 2023

    nitter.fdn.fr Instance Nitter : erreur « Tweet not found »

    Suite à de nouveaux changements côté Twitter (encore…), toutes les instances sont bloquées car la consultation des tweets nécessite à un compte. Le problème est identifié sur le Git de Nitter, ticket 983. La recherche ne fonctionne également pas.

    L'équipe adminsys

  • Service arrêté définitivement...

  • Ça n'aura pas durée très longtemps (quelques jours voire heures), les comptes invités (guest accounts) ne peuvent plus être généré via l'API X/Twitter. En attente d'une nouvelle solution, s'il y en a une…

  • Depuis hier soir, suite une mise à jour vers Debian 12 afin d'utiliser Nim 1.6.10 et l'utilisation de la branche guest_accounts, Nitter est de nouveau fonctionnel ! À voir combien de temps ce sera fonctionnel car les jetons sont limités à 500 appels / 15 minutes et les jetons ne peuvent être générés depuis la même IP qu'une fois toutes les 24 heures avant que l'instance soit limitée par X/Twitter.

  • dimanche 23 juillet 2023

    xDSL / FTTH : certaines destinations sont injoignables

    Certains adhérents nous ont remontés que certaines destinations pouvaient être injoignables, aussi bien en HTTP/HTTPS, Ping ou SSH. Exemples non exhaustifs : irc.geeknode.org, github.com, linuxfr.org, sa.debian.org…).

    Vers 23:30 le 23/07/2023 les quelques adhérents ayant le problèmes ont été exclu de l'accélération noyau L2TP.

    Le défaut semble se situer dans la gestion de la route retour entre les LNS. Exemple : routeur adh > LNS11 > GWx > LNS22. En désactivant l'accélération sur LNS22, le défaut disparaît.

    L'accélération noyau a été laissé active afin que le mainteneur L2TPNS puisse investiguer. Si vous rencontrez un problème similaire, n'hésitez pas à nous en faire part par e-mail via support (a) fdn.fr ou via les messageries instantanées IRC/Matrix.

    L'équipe adminsys

  • La supervision a été mise en place le 21/08 dans la nuit. Ainsi dans le cas où le nombre de tunnel pour chaque LNS vers les LAC Ielo n'est pas strictement 4, on recevra un e-mail pour agir.

    Un ajout de logs dans L2TPNS en cas de souci pour avoir plus de billes lors de la création des tunnels L2TP a été rajouté et une tentative de correction de ce bug hypothétique également.

    Nous soupçonnons de plus en plus un bug dans la gestion des tunnels L2TP au sein du cluster :

      1. Changement d'IP sans créer le tunnel L2TP sur le LNS secondaire
      1. Le tunnel est créé mais vers la mauvaise IP.

    Quelques anciens tunnels L2TP fantômes vus par le noyau mais pas par L2TPNS ont été constaté sur LNS22 (secondaire), ce qui est visiblement sans incidence mais peut-être également un bug.

    L'accélération a été réactivée sur les deux LNS pour tout le monde vers 14:30 en incluant les modifications indiqués plus haut.

    L'équipe adminsys FDN

    • 15/08/2023 00:33 : nouvelle coupure impactant certaines lignes. L'accélération noyau a de nouveau été coupée sur le LNS22 vers 07:48.

    Le problème semble aléatoire mais ne se produire que sur le LNS22 qui est le secondaire et avec l'accélération noyau Linux active sur les deux LNS. Nous avons de quoi mettre en place une supervision pour détecter et agir pour corriger, le temps de trouver l'origine de la panne.

    Hypothèses :

      1. un défaut dans la gestion du cluster entre les deux LNS lorsque l'accelération noyau est active dans L2TPNs ;
      1. un bug du noyau Linux.

    Dans le fonctionnement on a un mirroir dans le noyau Linux des tunnels l2tp du l2tpns et quand le problème se manifeste sur LNS22 toutes les sessions qui sont sur le tunnel en défaut sont à destination d'une des deux IP du LAC Ielo, ce qui ne devrait pas arriver. Chaque LNS a 4 tunnels : 1 tunnel vers chacun des deux IP des LAC Ielo et deux autre depuis l'IP de l'autre LNS.

    La supervision va être mise en place sous peu.

    L'équipe adminsys FDN

    • 25/07/2023 05:00 : de nouvelles traces ont été prises. Lors de la réactivation de l'accélération sur LNS22, une demie-douzaine d'IP d'adhérent ne répondaient plus au ping. RAS sur LNS11. Un tcpdump a permit de voir que lorsque ça ne fonctionne pas, les paquets sont envoyés au mauvais LAC Ielo.

    Il s'agit peut-être d'un bug dans L2TPNS ou dans le noyau Linux qui se manifeste parfois et pas pour tout le monde.

    Actuellement, l'accélération est désactivé sur LNS22 mais active sur LNS11 car aucune erreur n'a été constaté sur ce dernier.

    L'équipe adminsys

    • 24/07/2023 17:57 : désactivation de l'accélération noyau pour tout le monde suite à de nouvelles remontées

    L'accélération est uniquement active pour un adhérent afin de permettre de creuser et trouver la cause.

  • lundi 10 juillet 2023

    Coupure franche de la collecte FTTH Axione

    Chers adhérents, chères adhérentes,

    Nous subissons un incident qui impact les FTTH collectées via Axione.

    Nous n'avons pas plus d'information pour le moment.

    L'équipe adminsys

  • La panne a été corrigée par Axione vers 15:40, la cause est un script ayant mis la configuration BGP en défaut, d'où le problème d'annonce des routes.

  • 12:51 : dam64 a mis une rustine en place, en attendant qu'Axione fassent le nécessaire (Aquilenet ne recevait plus de routes de leur part). Suite à la rustine, les lignes FTTH sont remontées.