Poster une réponse 
 
Note de cette discussion :
  • Moyenne : 0 (0 vote(s))
  • 1
  • 2
  • 3
  • 4
  • 5
Grappe RAID 5 Down
21-08-2019, 10:41:26 (Ce message a été modifié le : 21-08-2019 10:46:51 par Scavendoa2.)
Message : #11
RE: Grappe RAID 5 Down
Re-échange de mail avec le support.

J'ai éteins le serveur, débranché et rebranché successivement tous les diques, rallumé la machine, 3/8 disques gris, 5/8 disques verts.

=> Intervention (pour le moment silencieuse, j'ai pas eu de mail) du support. 2 disques qui étaient gris sont repassés en vert, le dernier (le /1 qui est neuf est en rouge) et la synchro de la grappe a été relancé vers 18h30. Ce matin elle est à 30% => croisons les doigts

Vous aussi le support doit intervenir une fois par an sur le NAS ou ça se passe bien ?

Je suis quand même pas rassuré quant à la pérennité de la situation. Le jour ou ça se produit et qu'ils ne sont pas (plus) là pour me dépanner, je peux m'asseoir sur mes données.
J'ai un backup de l'essentiel (photos, fiches de paies, etc.) dans du cloud, mais tout ce qui est série/films/manga/etc. , yen a pour un bon 15To, je peux pas vraiment le back-upé.
Et pourtant, ya des années de "boulot" en DL, encodage, rangement, calage de sous-titre, etc.

Je suis quand même tenté de bouger, parce que au délà de ça, ya quand même un autre truc qui me chagrine, Le proc n'est pas assez costaud
- En écriture, je plafonne à 30Mo/s grand max
- Quand je met un torrent en DL, étant donné que je suis fibré, je suis donc au taquet, mais ça prends tellement de ressource au proc que l'interface web ne répond quasi plus pendant toute la durée du torrent ...
- je suis obligé de déporter la partie serveur de Plex sur un autre pc, qui est donc contraint à être allumé en permanence

Je pourrais faire un upgrade vers un VX (en i3 ou i5) chez eux, mais la problématique de la pérennité reste là du coup ...

Pour ref, le QNAP qui m'intéresse est celui-ci (=800€ sur amazon), son proc est celui-ci, donc à priori un poil plus performant que le i3, mais moins que le i5.

Vous feriez quoi / me conseillez quoi à ma place ?

VHS-8 LS - Firmware: 6.1.4
Trouver tous les messages de cet utilisateur
Citer ce message dans une réponse
21-08-2019, 23:27:37
Message : #12
RE: Grappe RAID 5 Down
Bonsoir,

Citation :Vous aussi le support doit intervenir une fois par an sur le NAS ou ça se passe bien ?
==> Ca se passe bien de mon côté je dois dire: une seule intervention pour problème de disque depuis août 2015... Le support est intervenu une autre fois, mais c'était quand j'ai joué avec les containers LXC et que j'ai foiré des trucs: ma faute, aujourd'hui j'ai un peu de bouteille et sur ce coup-là je n'aurais plus besoin de lui (réinit. du système sans perte de données)... Wink

Tant qu'il intervient, essaie de pas maniper en même temps.

Pour ce qui est de tes 15To de données, mon avis est que, quel que soit le NAS que tu adoptes, tu n'es pas garanti d'être à l'abri d'un crash de disques ou du système et du matériel, quels qu'ils soient.
Et y a pas 36 solutions... Si un support est là pour éventuellement te donner un coup de main, y aura toujours un jour un cas où même lui ne pourra rien faire: sa présence et/ou sa compétence ne sont pas gages de préservation ! On l'a dit 1 000 fois ici et ailleurs: le RAID n'est pas une sauvegarde ! Rolleyes

Quant au matériel, c'est clair pour moi que le LS (avec ce processeur "modeste") est l'essence même du NAS de base: il stocke tes données et les rend accessibles sur le LAN - point, barre. Faire tourner des trucs en nombre, télécharger, transcoder, virtualiser, etc... c'est pas pour lui à mon sens (ou bien à la marge de temps en temps).

Et donc changer le matériel - et le socle logiciel au passage - me paraît une bonne idée pour les besoins tels que tu les décris: je dédierais ce nouveau matos à ces traitements un peu lourds dont tu parles (donc privilégier CPU et RAM), quitte à prendre un modèle avec moins de baies pour les disques. Ton VHS actuel retrouve alors un rôle qui lui ira mieux: source de données et éventuellement sauvegarde par synchro avec le nouveau.

Voilà, ce n'est qu'un avis rapide.
Comme d'habitude il s'agit d'un vaste compromis entre consommation, bruit, capacités de stockage et performances dans les traitements, et ... coût !

Bonne réflexion !

[Image: logo-forum.png]
Trouver tous les messages de cet utilisateur
Citer ce message dans une réponse
22-08-2019, 12:18:30 (Ce message a été modifié le : 23-08-2019 00:23:49 par Scavendoa2.)
Message : #13
RE: Grappe RAID 5 Down
Justement, mon VHS, actuellement, c'est simplement une source de données. Il ne fait absolument rien d'autre que stocker et exposer en samba, et DL un torrent de temps en temps.

Les DL, je les mets directement sur transmission sur le NAS à cause du taux en écriture qui est trop faible. Quand je balance un torrent de 20Go, même si ça va beaucoup plus vite sur le pc, le temps de le transférer ensuite sur le NAS, ça vaut pas le coup puisque je transfère ensuite le fichier à la même vitesse que si le NAS avait le fait le boulot de DL direct.

Les opérations d'encoding, je les fait toujours sur ma machine principale (avec HandBrake, très bon soft au passage).

J'ai d'ailleurs demandé au support de confirmer/intervenir là dessus, parce qu'il ont fait des tests de leur côté dessus, et ils sont aussi étonnés par les taux. La re-synchro ne dépasse pas non plus ces 30Mo/s alors que la lecture de la grappe dépasse les 130Mo/s selon leurs tests, donc quelque-chose cloche.

Equipe Support a écrit :Bonjour,

Tous les disques sont bien détectés. La synchronisation du disque 1 est en cours depuis hier et en est à environ 1/3. Pour le moment je n'ai reçu aucun message d'erreur du système. La synchro se fait à environ 25Mo/s ce qui est relativement lent mais il semble qu'il y ait pas mal d'activité sur le serveur. En particulier si vous avez des navigateur qui affiche le portail en ce moment et que vous pouvez les fermer cela pourrait accélérer la synchro.

sinon la vitesse max du RAID est géré directement par device RAID au travers de /sys/block/mdx/md/... Donc si vous modifiez votre valeur, elle sera écrasée par celle que nous utilisons. Pour information nos paramètres ne place pas de limitation sur la vitesse du RAID. Celle-ci est limitée par la performance des disques en interne et du réseau en externe. La synchronisation ne peut jamais utiliser plus que la disponibilité des disques. La synchro étant le processus le moins prioritaire sur tout accès disque. Néanmoins nous fixons une sync_speed_min à 200Mo/s (Qui est encore bien supérieur à ce que peuvent atteindre les disques actuels) afin de vraiment utiliser toute la partie idle des disque mais sur un système qui ne fait rien on ne dépasse pratiquement jamais 110Mo/s même avec les gros disques actuels.

Effectivement, même en désactivant les service on ne dépasse pas 30Mo/s en synchronisation. bien que la grappe RAID atteigne en interne plus de 130Mo/s en lecture.

Nous avons redémarré le serveur, donc merci de ne pas tenir compte des messages d'alertes sur les disques ni du status des disques (rouge) qui est normal vu qu'une synchronisation est en cours.

Nous referons des essais à la fin de la synchro.

L'idée n'est (était) pas de conserver les deux NAS, mais de réaliser un upgrade du matériel, soit en changeant de NAS et en revendant le premier une fois les données transférées, soit en faisant une MAJ vers un VX avec Ve-hotech et en passant de 8*4To vers 4*10To et en leur demandant s'ils peuvent réaliser le transfert eux-même. Claquer 2500€ en plus dans une nouvelle machine pour stocker des films/série/manga, j'ai un peu le sentiment d'un gros gâchis quand même.

La target finale est d'avoir plus de performance et de stabilité, avec un budget non extensible à l'infini. Mais visiblement, pour le côté perf, à priori yaurai peut être un truc qui tourne pas rond sur mon LS ... Du coup, ça change un peu la donne si je peux l'obtenir. Du coup, affaire à suivre !

Pour ce qui est du RAID et de la sauvegarde, je suis actuellement sur un RAID5, et je songeais aussi à passer sur un RAID6 pour plus de sécu, mais quand je leur en avait parlé, il me l'avait déconseillé sur un LS, trop gourmand en ressource.

Faudrait que je leur fasse faire un devis pour réaliser les opérations dont j'ai parlé plus haut et comparer aux 2500€ que me couterait un nouveau NAS avec 4*10To - le prix de revente du LS en occasion.

Merci pour ton retour en tout cas.

VHS-8 LS - Firmware: 6.1.4
Trouver tous les messages de cet utilisateur
Citer ce message dans une réponse
22-08-2019, 22:51:57
Message : #14
RE: Grappe RAID 5 Down
Bonsoir,

J'avais pas percuté que tu faisais tes traitements ailleurs, et que s'ajoutaient des problèmes de performances en lecture/écriture sur les disques, "historiques" et antérieurs à tes problème de grappe...

En effet, ça rebat quelque peu les cartes !

Esperons que le support diagnostique quelque chose.

@suivre en effet, tiens-nous informés.
Merci

[Image: logo-forum.png]
Trouver tous les messages de cet utilisateur
Citer ce message dans une réponse
28-08-2019, 22:12:32
Message : #15
RE: Grappe RAID 5 Down
Bonsoir,

Des nouvelle du support ?
Ou bien c'est mort Huh

@+

[Image: logo-forum.png]
Trouver tous les messages de cet utilisateur
Citer ce message dans une réponse
29-08-2019, 10:46:36 (Ce message a été modifié le : 29-08-2019 10:47:43 par Scavendoa2.)
Message : #16
RE: Grappe RAID 5 Down
Hello,

oui j'ai eu un mail du support lundi en fin de matinée :

Équipe Support a écrit :Bonjour,

Nous avons effectué quelques vérification sur votre serveur ce matin.

La grappe RAID est bien synchronisé et il n'y a pas eu de message d'erreur donc tout va bien de ce côté là.

Concernant la vitesse de synchronisation limitée à 30Mo/s que j'ai observé, en fait elle est normal.

Lors de la synchro le serveur lit toutes les données, calcul une parité et réécrit de façon cyclique sur les disques.

Hors sur la gamme LS, les contrôleur SATA interne à la carte mère et supplémentaire sont raccordé sur une ligne PCIexpress limité à 250Mo/s.

Chaque contrôleur gère donc 4 disques. Lors de la synchro le serveur lit les 4 disques en // soit 4x30Mo/s soit 120Mo/s effectue les calculs et réécrit les données soit à nouveau 4x30Mo/s soit un total de 240Mo/s ce qui est donc environ la limite de la bande passante du bus.

Par contre en lecture seul et en interne nous avons bien un débit correct de plus de 200Mo/s ce qui est normal.

Nous avons également vérifier les débits réseau et nous avons bien 125Mo/s. Donc si vous avez une limitation à 30Mo/s en lecture ou écriture sur le serveur il faut chercher la cause sur les équipements à l'extérieur au serveur. Il n'y a aucune raison que votre serveur plafonne à cette valeur.

Du coup, j'ai passé ma soirée de mardi quasi entière à faire des tests de mon côté et leur ai envoyé le résultat de mes expérimentations :

Citation :Bonsoir,

merci pour votre retour et vos différents tests.

Je me suis donc lancé dans quelques tests de mon côté et vais vous faire part de mes observations.

J'ai deux pcs et le serveur. Ces 3 machines sont connectés entre-elle via un switch gigabit et la box (sfr) qui est aussi gigabit.

Le pc qui est dans mon salon (pc-salon) tourne uniquement sous windows 10 avec un SSD, le pc qui est dans mon bureau (pc-bureau) possède un dual boot Windows 10 et Ubuntu Budgie, installés chacun sur leur SSD respectif et identique

Lorsque je réalise des transferts de fichiers entre mes deux pcs, avec les deux sous windows, la vitesse de copie, quelque soit le sens de transfert ou la machine qui initie la copie, tourne autour de 105/110Mo par seconde.
Lorsque je pousse ou rapatrie des fichiers depuis pc-salon vers pc-bureau sous ubuntu, les vitesses sont du même ordre (copie effectuée depuis pc-salon)
Par contre
Lorsque je pousse un fichier de pc-bureau vers pc-salon, mon Ubuntu me remonte une vitesse de transfert en up d'environ 70Mo/sec

Bilan partiel : Pour une même machine, selon qu'elle a booté sur Ubuntu ou Windows, avec des SSD identiques, on perd environ 33% de vitesse de transfert (j'en suis moi même étonné Oo) quand on effectue les copies à partir de Ubuntu

Maintenant,

Quand je rapatrie un fichier depuis le NAS vers pc-salon ou pc-bureau sous windows, le transfert plafonne autour des 80Mo/s
Quand je pousse un fichier depuis pc-salon ou pc-bureau sous windows vers le NAS, la copie plafonne autour de 45Mo/s
Quand je pousse un fichier depuis pc-bureau sous ubuntu vers le NAS, la copie plafonne autour de 30Mo/sec en smb, 22Mo/sec en sftp
Quand un ou plusieurs torrent(s) ont une vitesse de téléchargement cumulée qui atteint environ 30Mo/s, celle-ci n'augmentera plus, et l'interface de Transmission a beaucoup de mal à répondre, et je pense que c'est principalement une limitation processeur.

Bilan : la limite réelle que j'ai en up de fichier sur le NAS depuis une autre machine est plutôt d'environ 45Mo/s (je n'ai pas essayé avec un MAC, je n'en ai pas)

Encore une fois, merci pour votre support, votre aide et votre patience, et malgré le fait que j'apprécie nos échanges et toute l'estime que je leur porte, j'espère ne pas avoir besoin de faire appel à vos doigts de fée dans un avenir trop proche Smile

Geekement,

Julien

Du coup au final je suis pas beaucoup plus avancé ...

Je vais peut-être quand même finir par migrer sur du QNAP ou ASUSTOR (Synology est un peut trop présent à mon gout sur le marché, et j'aime bien sortir un peu des sentiers battus, mais pas trop quand même Tongue)

VHS-8 LS - Firmware: 6.1.4
Trouver tous les messages de cet utilisateur
Citer ce message dans une réponse
30-08-2019, 00:13:38
Message : #17
RE: Grappe RAID 5 Down
Bonsoir,

Bon, on dirait que c'est reparti... pour la grappe au moins.
J'avoue n'avoir jamais mesurer les perf !

Question de béotien: est-il possible qu'un switch fasse "perdre du temp", éventuellement selon une config. mal gôlée ? Genre les trames font 3 fois le tours avant d'être choppées par la bonne cible ?

Je suis comme toi surpris par les écarts entre Windows et Ubuntu ! J'ai réglé le problème: plus de Windows Tongue

Pareil aussi pour Syno, et j'avoue que Asustor ne m'"inspire" pas (avec absolument aucun "argument" à la clé, d'ailleurs Rolleyes )
Le prochain, quand les miens seront morts, sera sans doute un QNap avec d'emblée un bon CPU et un max de RAM (ou même une fabrication maison si je me sens). Pas pour tout de suite...

Je suis en train de tester FreeNAS sur le "petit" VHS. La courbe d'apprentissage est un peu raide pour moi avec FreeBDS, néanmoins la boîte qu'il y a derrière propose des machines (https://www.ixsystems.com/freenas-mini/): je ne sais pas ce que ça vaut, mais là c'est en dehors des sentiers battus !

Merci pour le retour, @+

[Image: logo-forum.png]
Trouver tous les messages de cet utilisateur
Citer ce message dans une réponse
31-08-2019, 10:34:22 (Ce message a été modifié le : 31-08-2019 10:34:44 par Epy.)
Message : #18
RE: Grappe RAID 5 Down
(29-08-2019 10:46:36)Scavendoa2 a écrit :  Du coup au final je suis pas beaucoup plus avancé ...

Je vais peut-être quand même finir par migrer sur du QNAP ou ASUSTOR (Synology est un peut trop présent à mon gout sur le marché, et j'aime bien sortir un peu des sentiers battus, mais pas trop quand même Tongue)

Méfies toi que si certains ne remportent pas beaucoup de places de marché c'est ptet aussi parce que leur soft (ou support) est pourri Big Grin
J'ai vu des UI bien nazes et des bien perfectibles qui donnent pas envie ou empêchent de faire tout ce que tu devrais pouvoir faire avec

La CLI c'est la vie Big Grin

VHS4 Xtreme II - AMD Athlon II X2 240e
OS: v6.1.3 / RAM: 6 Go / Stockage: 1x 2To

[Image: wiki:favicon-32.png]Wiki madovi.xyz
Trouver tous les messages de cet utilisateur
Citer ce message dans une réponse
01-09-2019, 10:32:31 (Ce message a été modifié le : 01-09-2019 10:33:32 par Scavendoa2.)
Message : #19
RE: Grappe RAID 5 Down
(30-08-2019 00:13:38)Cram28 a écrit :  Bonsoir,

Bon, on dirait que c'est reparti... pour la grappe au moins.

Oui, ouf !

(30-08-2019 00:13:38)Cram28 a écrit :  J'avoue n'avoir jamais mesurer les perf !

C'est toujours intéressant je trouve, ça permet de se faire une idée du temps que ça prendrait si jamais on devait faire un backup complet

(30-08-2019 00:13:38)Cram28 a écrit :  Question de béotien: est-il possible qu'un switch fasse "perdre du temp", éventuellement selon une config. mal gôlée ? Genre les trames font 3 fois le tours avant d'être choppées par la bonne cible ?

Je ne pense pas. Encore que avec une mauvaise configuration sur un switch administrable, peut-être. Mais pas sur un switch basique. L'époque des HUB RJ45 est quand même assez loin maintenant Tongue

(30-08-2019 00:13:38)Cram28 a écrit :  Je suis comme toi surpris par les écarts entre Windows et Ubuntu ! J'ai réglé le problème: plus de Windows Tongue

La différence de perf réside probablement dans les drivers utilisés, ou l'implémentation des protocoles qui doit probablement être différente entre linux et windows.
Et puis ya encore des trucs que j'ai pas trouvé comment faire facilement sous Ubuntu. Et d'autres que j'ai pas trouvé comment faire du tout ...
Sans parler du soft fourni avec ma caméra panasonic qui n'existe que sous windows.
J'ai aussi très souvent des problèmes avec les noms de fichiers sous ubuntu, et quand je fais des transferts sur le NAS. ça se plante lamenetablement alors que sous windows, RAS.
Et j'ai toujours pas trouvé de gestionnaire de copie satisfaisant comme SuperCopier sous windows. Il m'arrive encore aussi de jouer un tout petit peu.
Bref, du coup, impossible de me passer de windows pour le moment.

(30-08-2019 00:13:38)Cram28 a écrit :  Pareil aussi pour Syno, et j'avoue que Asustor ne m'"inspire" pas (avec absolument aucun "argument" à la clé, d'ailleurs Rolleyes )
Le prochain, quand les miens seront morts, sera sans doute un QNap avec d'emblée un bon CPU et un max de RAM (ou même une fabrication maison si je me sens). Pas pour tout de suite...

Bah normalement, ASUSTOR c'est une filiale de ASUS, donc ça reste du sérieux quand même, du coup j'ai confiance (peut-être à tort ...)

(30-08-2019 00:13:38)Cram28 a écrit :  Je suis en train de tester FreeNAS sur le "petit" VHS. La courbe d'apprentissage est un peu raide pour moi avec FreeBDS, néanmoins la boîte qu'il y a derrière propose des machines (https://www.ixsystems.com/freenas-mini/): je ne sais pas ce que ça vaut, mais là c'est en dehors des sentiers battus !

J'ai jeté un oeil, effectivement, ça sors des sentiers battu, et probablement trop pour moi. J'ai pas grand chose en connaissance linux, et absolument pas le temps d'apprendre à la maison, avec les enfants ...
Donc faut que ça reste globalement plug'n play. J'ai jeté un oeil à leur config, à prix équivalents, les processeurs proposés sont quand même moins costaud que chez QNAP

(30-08-2019 00:13:38)Cram28 a écrit :  Merci pour le retour, @+

Avec plaisir


(31-08-2019 10:34:22)Epy a écrit :  Méfies toi que si certains ne remportent pas beaucoup de places de marché c'est ptet aussi parce que leur soft (ou support) est pourri Big Grin
J'ai vu des UI bien nazes et des bien perfectibles qui donnent pas envie ou empêchent de faire tout ce que tu devrais pouvoir faire avec
La CLI c'est la vie Big Grin

QNAP proposent de tester leur interface en ligne, et je l'ai trouvé plutôt agréable. En plus, ils proposent des plateformes AMD, et vu que j'ai toujours eu du AMD à la maison, ça me va bien Smile
J'ai du configurer deux Synology aussi chez des potes, et c'est plutôt correct, mais trop "fortement implanté".
Asustor, pas eu l'occasion pour le moment.
Netgear et D-link, c'est un peu trop grand public à mon gout
Il reste Buffalo, mais ça m'inspire pas vraiment confiance, et Western D, mais je suis pas convaincu non plus ... (même si la totalité des DD de mon NAS sont des WD)

VHS-8 LS - Firmware: 6.1.4
Trouver tous les messages de cet utilisateur
Citer ce message dans une réponse
02-09-2019, 11:42:57
Message : #20
RE: Grappe RAID 5 Down
Les tests de débit, sont aussi influencés par la machine, d'où l’intérêt d'avoir un SSD, cependant un anti-virus peut aussi ralentir fortement les débits.
Avec mon D525 et 4 disques j'avais un débit moyen (petits et gros fichiers) de 65Mo/s (40Mo/s et 85Mo/s).

Avec le 3770S et 4 disques j'ai 90Mo/s en moyenne en le sollicitant avec un PC à SSD, mais en attaquant avec 2 PC SSD cela monte à 120Mo/s (en désactivant les anti-virus).

VHS-4 Home 1 - Intel Atom D525 Dual core à 1,8GHz - SSD 4Go
Firmware: 6.1.3
Dram: 4Go
HDD: 4 x 1To Raid5 - Western Digital WD40EFRX

VHS-4 Xtreme 3 - i7 3770S à 3,1GHz - clef USB 4Go
Firmware: 6.1.4
Dram: 2 x 8Go
HDD: 4 x 6To Raid 5 - WD60EFRX
1 VM Ubuntu Server 14.04 avec rsync pour backup sur DNS-323 de 2 x 1To
2 VM Windows 7, 1HD et 1 Virtio, 1 VM W10
Trouver tous les messages de cet utilisateur
Citer ce message dans une réponse
Poster une réponse 


Aller à :




Contact | Ve-hotech | Retourner en haut | Retourner au contenu | Version bas-débit (Archivé) | Syndication RSS