|
sculler Posting Into Infinity |
![](templates/subDream/images/offline.gif) |
|
![Posting Into Infinity Posting Into Infinity](images/rangs/dt/r12.gif) a monkey on a bike
Sexe: ![Sexe:Masculin Sexe:Masculin](templates/subDream/images/icon_minigender_male.gif) Inscrit le: 29 Avr 2002 Messages: 13364 Sujets: 220 Age: 47 Localisation: Grenoble ![france.gif](images/flags/france.gif)
|
|
![](templates/subDream/images/spacer.gif) |
![](templates/subDream/images/spacer.gif) |
|
|
![](templates/subDream/images/spacer.gif) |
|
|
|
![](templates/subDream/images/spacer.gif) |
|
![](templates/subDream/images/spacer.gif) le forum/site anasazi et le foum TDOE sontnhbergé au même endroit
voilà la raison du plantage / ramage :
Citation: |
Nous avons rencontré ce jour un incident important sur notre nouvelle plateforme
de stockage, et ce malgré les nombreux tests que nous avons effectué sur le système
pendant plusieurs semaines.
Cet incident majeur a engendré des perturbations importantes au niveau performances
et des indisponibilités sur les sites hébergés en offre mutualisée 'standard'.
Nos équipes sont restées mobilisées pendant toute la nuit et la journée afin de
rétablir la situation le plus rapidement possible.
Malgré tous nos efforts, nous avons finalement été contraint de rebasculer en
urgence vers nos anciennes plateformes de stockage, ce qui a pu faire revenir
certains comptes a une date antérieure.
Le différenciel de données n'est pas perdu et est actuellement en train de se
resynchroniser. Ceci va prendre plusieurs heures mais aucune donnée ne pourra
avoir été perdue.
Vous trouverez ci-dessous un recapitulatif du déroulement des opérations qui ont
été effectuées ce jour.
Compte tenu de la gravité de l'incident et surtout de sa durée, un geste commercial
sera effectué dans les prochains jours afin de comprenser la gene occasionnée.
Nos equipes de support se tiennent a votre disposition pour toute information
complémentaire.
Merci par avance de votre comprehension,
-----------------------
Détails de la journée :
- 21/02, 00h20 : nos systèmes de monitoring et d'alerte nous ont informé
d'une charge anormale sur la plateforme de stockage.
Nous sommes alors intervenus mais nous n'avons pas pu identifier < clairement >
le probleme. Nous n'avons pu que stabiliser la situation pour la nuit et nous
avons informé immédiatement Nexenta du dysfonctionnement.
Le service était néanmoins fonctionnel.
- 21/02, 09h00 : nous avons repris les investigations afin de comprendre
l'incident rencontré pendant la nuit. Sans raison apparente, les performances
générales de la plateforme restaient médiocres. Les investigations ont été
poursuivies par notre équipe et par les services de Nexenta US.
- 21/02, 12h00 : les performances ont continuées a se deteriorer.
Nous avons redemarré le daemon NFS, ce qui a en plus engendré des soucis
aléatoires et incompréhensibles de montage NFS. Ceci a engendré aléatoirement
des erreurs 403 sur une partie des sites hébergés. Seul un reboot de tous
les nodes a permis de remonter correctement les shares.
- 21/02, 14h00 : un reboot complet de la plateforme a été effectué.
Suite au reboot, les performances etaient toujours desastreuses et les soucis
intermitents etaient toujours présents.
- 21/02, 15h00 : les equipes de nexenta effectuaient des tests sur la plateforme
et analysaient les logs, le flux réseau et les stats diverses.
- 21/02, 17h00 : des erreurs de flux SCSI ont été trouvées et nous avons donc
procédé a des tests physiquement en salle serveurs afin d'eliminer la possibilitée
d'un soucis hardware.
Tests sans succès, ceci n'a pas permis de confirmer qu'il s'agissait d'un
soucis hardware.
La plateforme est donc pour le moment mise en attente afin d'etre expertisée
en détail et elle ne sera pas mise en production avant que l'origine précise
de ces soucis ne soit déterminée.
- 21/02, 18h00 : Nous avons décidé de lancer la bascule en sens 'inverse' afin
de pouvoir retablir le service en utilisant les anciennes plateformes de stockage.
- 21/02, 20h00 : nous avons lancé les scripts de resynchronisation afin d'éviter
toute perte de données.
|
Citation: |
|
_________________ http://www.anasazi-prog.com
![http://www.anasazi-prog.com/images/banniere.jpg](http://www.anasazi-prog.com/images/banniere.jpg)
|
|
|
![](templates/subDream/images/spacer.gif) |
|