Poster une réponse 
 
Note de cette discussion :
  • Moyenne : 0 (0 vote(s))
  • 1
  • 2
  • 3
  • 4
  • 5
VHS "mise au point/sauvegarde": RAID ou JBOD ?
11-06-2018, 21:39:17 (Ce message a été modifié le : 11-06-2018 22:10:27 par Cram28.)
Message : #1
Lightbulb VHS "mise au point/sauvegarde": RAID ou JBOD ?
Bonsoir le forum,

J'aurais une question ... technico-fonctionnelle ... gare à ce coup-là ! Wink

Comme l'indique ma signature, j'ai deux VHS:
  • "sesame": c'est le plus puissant (CPU & espace disque); il est destiné à ce pourquoi il est fait Sleepy : un serveur multimédia, services web, VMs et containers/applications utiles au quotidien et stabilisés, etc... Tout ce qui est "pérenne" quoi !
  • "wasabi": son objectif à lui est double: il est là pour "tester et mettre au point" (containers LXC par exemple en ce moment) et aussi comme espace de sauvegarde du premier.

Je souhaite ajouter de l'espace disque à "wasabi" pour qu'il remplisse son rôle de sauvegarde (dont il faudra mettre la procédure au point...).

Dans ce contexte ma question est la suivante: JBOD ou RAID pour "wasabi" ?

J'aurais tendance à dire JBOD. Avec comme "arguments":
- pas de redondance vraiment nécessaire: économie en espace occupé;
- je fais a priori plus d'écritures (la lecture c'est plutôt sur "sesame" que ça se passe): économie en sollicitations des disques, dans la redondance des données propre au RAID en particulier;
- je peux jongler avec les tailles de disques sans contraintes particulières: la somme des espaces unitaires est disponible.


Bref: sur "sesame" essentiellement lecture (après dépôt préalable) et disponibilité des données sont priorisés => RAID5.
Contrairement à "wasabi", serveur fourre-tout sur lequel écritures, ajouts et mises à jour (rsync prévu pour les sauvegardes), suppressions (VM, applis, etc...) sont l'essentiel, plus dynamique on va dire => JBOD.

On n'a pas tellement d'autres options, en même temps ...Huh
D'autant que si je veux mettre au point sur "wasabi" dans l'objectif de déployer sur "sesame", les deux serveurs doivent rester proches...
Il est pas vraiment question de changer d'os, quoi !

Enfin tout ça si j'ai bien compris comment ça marche Wink

Merci pour vos zavis zéclairés.

VHS-4 VX "sesame"
* Intel® Core i7 4770s Haswell @ 3.9 GHz | 16 Go DDR3
* 4x4To WD40EFRX - RAID 5 | OS VHT v 6.1.4

VHS-4 VX "wasabi" > Test ub-2-deb
* Intel® Core i5 2405s @ 2.5 GHz | 16 Go DDR3
Trouver tous les messages de cet utilisateur
Citer ce message dans une réponse
12-06-2018, 07:16:41
Message : #2
RE: VHS "mise au point/sauvegarde": RAID ou JBOD ?
Je dirais que si tu as besoin de rajouter 4To de sauvegarde, tu as donc le choix entre 1 ou 2 disques de 4To suivant JBOD ou RAID5. Ah, Ah j'avais écris JBAD.Big Grin, mais cela ne doit pas nous influencer dans le raisonnement.Angel

Dans le cas du RAID cela fait un budget double mais en terme de prix c'est peut-être supportable?Blush

L'autre point, c'est imaginons qu'il y ait un pb sur un disque en JBOD, tu perds tous ce qui était en cours, ce n’est pas grave en soit en terme de données mais en terme de travail en cours, n'est-ce pas gênant? Ou vraiment très pénible et décourageant?Tongue

Voilà, à toi de décider.Angel

VHS-4 Home 1 - Intel Atom D525 Dual core à 1,8GHz - SSD 4Go
Firmware: 6.1.3
Dram: 4Go
HDD: 4 x 1To Raid5 - Western Digital WD40EFRX

VHS-4 Xtreme 3 - i7 3770S à 3,1GHz - clef USB 4Go
Firmware: 6.1.4
Dram: 2 x 8Go
HDD: 4 x 6To Raid 5 - WD60EFRX
1 VM Ubuntu Server 14.04 avec rsync pour backup sur DNS-323 de 2 x 1To
2 VM Windows 7, 1HD et 1 Virtio, 1 VM W10
Trouver tous les messages de cet utilisateur
Citer ce message dans une réponse
12-06-2018, 11:12:16
Message : #3
RE: VHS "mise au point/sauvegarde": RAID ou JBOD ?
Hmm, je vais ressortir mon lien favori ^^ le RAID 5 ou 6 sont plus dangeureux qu'utiles, donc je suis convaincu qu'il est préférable de faire du JBOD pour un backup et avec des backups à des endroits différents tu limites les pertes si un disque lâche sur l'un des serveurs

Pour le backup distant il suffit d'une RPI avec un HDD externe posé chez un pote, chiffré et hop Smile Avec un backup (image raw) de l'OS de la RPI quelque part aussi pour repartir plus vite si nécessaire

La sur sollicitation des disques en RAID + il ne faut pas oublier ce cher outil d'indexation du VHS qui ne peut être interrompu .. et qui rescanne tout un répertoire quand ça change un peu à l'intérieur ..

Je voulais mettre le VHS avec son OS d'origine en backup, je ne vais pas pouvoir, entre mes photos et celles de ma mère (environ 5000 photos pour chaque mois depuis 3 ans et j'exagère pas) "l'indexation Ve-Hotech" me fait planter le VHS régulièrement et fout un sacré coup de mou aux débits quand ça ne plante pas.. Pas étonnant la durée de vie pourrie que j'ai sur mes HDD dans mon cas.

Il vaut mieux plein de backups en JBOD qu'un seul backup en RAID (sauf avec du hardware plus professionnel et un RAID ZFS adéquat)

VHS4 Xtreme II - AMD Athlon II X2 240e
OS: v6.1.3 / RAM: 6 Go / Stockage: 4x 3 To

Wiki de la COMMUNAUTÉ
Qu'est-ce que GNU/Linux
Trouver tous les messages de cet utilisateur
Citer ce message dans une réponse
12-06-2018, 23:19:45 (Ce message a été modifié le : 12-06-2018 23:57:10 par Cram28.)
Message : #4
RE: VHS "mise au point/sauvegarde": RAID ou JBOD ?
Bonsoir,

(12-06-2018 07:16:41)astrix64 a écrit :  [...] Ah, Ah j'avais écris JBAD.Big Grin, mais cela ne doit pas nous influencer dans le raisonnement.Angel
Oulà, ton inconscient te travaille astrix ... et de bon matin !! Tongue

Pour palier le boulot perdu avec un disque HS en JBOD, j'essaie tant que faire se peut de scripter mes manip.: en d'autres termes, je m'efforce de garder ces recettes (y compris les travaux en cours) sous formes de programmes, en shell, en python ou autre.
L'intérêt est de pouvoir rejouer rapidement sans tout réinventer, et de le faire pour n'importe quelle cible (un serveur VHS - "sesame" pour le déploiement quand c'est au point - ou un PC ou ...).
Ainsi, et dans la mesure où ces scripts sont stockés sur un serveur GitLab (un container LXC sur "sesame" en fait), je peux retrouver mes travaux, même en cours, en cas de "désastre" sur "wasabi".

En cible je compte remplir les emplacements du NAS "wasabi" (en 4To, +gros ça m'inspire pas mais on en a déjà parlé...).
4 x 4To en RAID 5, çà fait ~12To utiles (10.6 en fait); en JBOD ben çà fait ~16To (pour ~12To de sauvegarde "sesame" quand il sera plein), avec une durée de vie espérée des disques plus élevée qu'en RAID. Ça mérite réflexion...
Car ça me laisse pas mal d'espace pour "jouer" (une seule sauvegarde "pleine" et quelque deltas hebdomadaires d'un "sesame" qui ne bouge pas tous les matins).
Je veux bien que vous me corrigiez si je me suis grossièrement planté dans mes volumes... ma réputation est faite, je le crains Wink

(12-06-2018 11:12:16)Epy a écrit :  il ne faut pas oublier ce cher outil d'indexation du VHS qui ne peut être interrompu
Bien vu, j'l'avais zappé celui-là !! Est-ce à dire qu'en JBOD il n'intervient plus ? Ou bien plutôt qu'il est moins ... "lourd" parce que JBOD (sollicitations des disques plus forte en RAID) ?

Vous confirmez:
- Une sauvegarde via rsync ne créé qu'un fichier quelque soit le volume de la sauvegarde, et le FTS (File Tracking System / indexation) ne voit qu'un fichier quand il intervient ?
- Par ailleurs: en JBOD, on ne voit qu'un espace et on ne sait pas sur quel disque est stocké tel fichier ?

Réflexion intense en cours pour le choix voyez...
Car j'ai 2 IronWolf 4To (promo récente) sur les starting-blocks pour "wasabi"...
Mais .... heu ... "promo": les deux ont déjà fait un aller/retour sous garantie. Le premier illisible, le second d'emblée "à surveiller"...
Mais pas de généralité et d'avis pré-conçu: c'est comme ça pour moi et pis c'est tout, et garantie nickelle via le site de gestion des retours Seagate.

Merci à vous deux !
@+

PS: Les sauvegardes distantes (RPi ou pas), c'est pas pour moi: satellite et quota... Sad

VHS-4 VX "sesame"
* Intel® Core i7 4770s Haswell @ 3.9 GHz | 16 Go DDR3
* 4x4To WD40EFRX - RAID 5 | OS VHT v 6.1.4

VHS-4 VX "wasabi" > Test ub-2-deb
* Intel® Core i5 2405s @ 2.5 GHz | 16 Go DDR3
Trouver tous les messages de cet utilisateur
Citer ce message dans une réponse
13-06-2018, 10:04:25 (Ce message a été modifié le : 13-06-2018 10:05:11 par astrix64.)
Message : #5
RE: VHS "mise au point/sauvegarde": RAID ou JBOD ?
(12-06-2018 23:19:45)Cram28 a écrit :  
(12-06-2018 11:12:16)Epy a écrit :  il ne faut pas oublier ce cher outil d'indexation du VHS qui ne peut être interrompu
Bien vu, j'l'avais zappé celui-là !! Est-ce à dire qu'en JBOD il n'intervient plus ? Ou bien plutôt qu'il est moins ... "lourd" parce que JBOD (sollicitations des disques plus forte en RAID) ?
En fait comme l'indexation est toujours présente, en JBOD, il n'y a pas moins d'accès sur les disques.
Globalement, cela ne change rien, les fichiers en RAID5 prennent 1/4 d'espace en plus, donc l'indexation viens lire 1/4 d'espace en plus, donc bilan nul car l'espace disponible fait aussi 1/4 de moins.Sleepy

VHS-4 Home 1 - Intel Atom D525 Dual core à 1,8GHz - SSD 4Go
Firmware: 6.1.3
Dram: 4Go
HDD: 4 x 1To Raid5 - Western Digital WD40EFRX

VHS-4 Xtreme 3 - i7 3770S à 3,1GHz - clef USB 4Go
Firmware: 6.1.4
Dram: 2 x 8Go
HDD: 4 x 6To Raid 5 - WD60EFRX
1 VM Ubuntu Server 14.04 avec rsync pour backup sur DNS-323 de 2 x 1To
2 VM Windows 7, 1HD et 1 Virtio, 1 VM W10
Trouver tous les messages de cet utilisateur
Citer ce message dans une réponse
13-06-2018, 13:32:43
Message : #6
RE: VHS "mise au point/sauvegarde": RAID ou JBOD ?
(13-06-2018 10:04:25)astrix64 a écrit :  En fait comme l'indexation est toujours présente, en JBOD, il n'y a pas moins d'accès sur les disques.
Globalement, cela ne change rien, les fichiers en RAID5 prennent 1/4 d'espace en plus, donc l'indexation viens lire 1/4 d'espace en plus, donc bilan nul car l'espace disponible fait aussi 1/4 de moins.Sleepy

Disons que tu as l'activité de synchro raid en moins avec le JBOD, donc à mes yeux c'est "moins pire"

Et je te confirme Cram, que ça tourne quoi qu'il arrive, quand j'ai réinstallé le VHS pour tester ton tuto LXC je n'ai mis qu'un seul disque. En voulant en profiter pour backuper quelques données il a saturé ses accès disques dès que j'ai mis plein de petits fichiers, et a continué à chaque fois que j'ai refait un rsync (une fois par semaine)
Tout étant "désindexé" dans l'interface web bien sûr, comme avant

Je pense que je ne vais plus envisager de le garder en OS VHT même pour jouer avec LXC

VHS4 Xtreme II - AMD Athlon II X2 240e
OS: v6.1.3 / RAM: 6 Go / Stockage: 4x 3 To

Wiki de la COMMUNAUTÉ
Qu'est-ce que GNU/Linux
Trouver tous les messages de cet utilisateur
Citer ce message dans une réponse
14-06-2018, 00:14:17 (Ce message a été modifié le : 14-06-2018 00:20:22 par Cram28.)
Message : #7
RE: VHS "mise au point/sauvegarde": RAID ou JBOD ?
Bonsoir,

Bon, je vais me tenter un JBOD ce week-end.
On verra bien: si je n'obtiens pas quelque chose de souple, je reviendrais au RAID.

En tous les cas, j'ai d'autant plus facilement oublié l'indexation qu'elle ne m'embête pas, sur aucun des serveurs...
Ça vaut peut-être le coup de tenter une réinstallation complète du système Epy: J'ai regardé un peu la base mysql système qu'à mon sens VHT utilise pour çà (mon côté enquêteur sans doute Wink: instance "mysql-sys" sur port 3308). Il existe en effet une table dedans dans laquelle je retrouve mes répertoires pour les VM et pour les LXC que j'ai désindexé via le portail. Elle est peut-être foiré chez toi ? gece nous a montré que c'était possible ...

Tu peux peut-être aller y jeter un œil: Il faut ouvrir les accès réseau d'abord.
- commenter la ligne "bind-address" avec : $ sudo nano /opt/vht/etc/mysql-sys/my.cnf
- redémarrer le service: $ sudo service mysql restart
- récupérer le mot de passe 'root': $ $ sudo cat /opt/vht/etc/db/mysql-sys.ini
- et là, tu peux te connecter et naviguer (adapte "sesame"...):
Code :
admin@sesame:~$ mysql -h sesame -P 3308 -u root -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 17
Server version: 5.5.41-0ubuntu0.14.04.1 (Ubuntu)

Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| vhtindexer         |
+--------------------+
4 rows in set (0.00 sec)

mysql> use vhtindexer;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> show tables;
+----------------------+
| Tables_in_vhtindexer |
+----------------------+
| Album                |
| AlbumFile            |
| AlbumUser            |
| Category             |
| Dir                  |
| DirStatus            |
| File                 |
| FriendAlbum          |
| Grab                 |
| MediaCategory        |
| MediaPerson          |
| Mount                |
| MusicAlbum           |
| MusicAlbumFile       |
| Person               |
| Properties           |
| Property             |
| Saga                 |
| SagaFile             |
| Season               |
| SeasonFile           |
| Serie                |
| Share                |
| User                 |
| UserPropertiesFile   |
| VirtualFolder        |
| VirtualFolderFile    |
| auspex_link          |
| muswfm_playlist      |
| muswfm_track         |
+----------------------+
30 rows in set (0.00 sec)

mysql>  select * from DirStatus;
+--------------------------------------------+-----------+
| dirname                                    | status    |
+--------------------------------------------+-----------+
| /mnt/data/data/datausr/users/admin/envm/   | DEINDEXED |
| /mnt/data/data/datausr/users/admin/envlxc/ | DEINDEXED |
+--------------------------------------------+-----------+
2 rows in set (0.00 sec)

mysql>

Ça mange pas de pain d'aller voir, d'autant moins si tu ne comptes pas le garder Rolleyes
En attendant, remet ton "bind-address"...

Merci pour vos indications.
@+

VHS-4 VX "sesame"
* Intel® Core i7 4770s Haswell @ 3.9 GHz | 16 Go DDR3
* 4x4To WD40EFRX - RAID 5 | OS VHT v 6.1.4

VHS-4 VX "wasabi" > Test ub-2-deb
* Intel® Core i5 2405s @ 2.5 GHz | 16 Go DDR3
Trouver tous les messages de cet utilisateur
Citer ce message dans une réponse
14-06-2018, 15:11:32
Message : #8
RE: VHS "mise au point/sauvegarde": RAID ou JBOD ?
Je l'ai déjà réinstallé dans mon cas, j'ai le même souci après la réinstall qu'avant à ce niveau. Probablement parce que j'ai énormément de petits fichiers (photos).
Lorsque je fais un renommage de dossier j'ai parfois jusqu'à 80k de fichiers "resynchronisés" alors forcément le mysql derrière ne doit pas aimer.. et tout le serveur souffre
C'est pour cela que je ne le met plus comme mon serveur principal dans tous les cas

VHS4 Xtreme II - AMD Athlon II X2 240e
OS: v6.1.3 / RAM: 6 Go / Stockage: 4x 3 To

Wiki de la COMMUNAUTÉ
Qu'est-ce que GNU/Linux
Trouver tous les messages de cet utilisateur
Citer ce message dans une réponse
16-06-2018, 00:14:15 (Ce message a été modifié le : 16-06-2018 01:09:31 par Cram28.)
Message : #9
RE: VHS "mise au point/sauvegarde": RAID ou JBOD ?
Bonsoir,

Bon, raté Angry

====
EDIT
T'as plus qu'a mettre tes photos dans un dossier sous "partage": Il me semble qu'il n'est pas indexé ce répertoire-là ...
Ah ben non, c'est une bêtise Blush    
====
re-EDIT Ben p'têt que si quand même... Bon je sais plus, j'arrête de déblatérer...
    Au moins je trouve des gif marrants ...
===
J'ai trouvé un autre avantage au JBOD: L'installation est super rapide Big Grin

Merci, @+

VHS-4 VX "sesame"
* Intel® Core i7 4770s Haswell @ 3.9 GHz | 16 Go DDR3
* 4x4To WD40EFRX - RAID 5 | OS VHT v 6.1.4

VHS-4 VX "wasabi" > Test ub-2-deb
* Intel® Core i5 2405s @ 2.5 GHz | 16 Go DDR3
Trouver tous les messages de cet utilisateur
Citer ce message dans une réponse
25-10-2018, 12:18:48
Message : #10
RE: VHS "mise au point/sauvegarde": RAID ou JBOD ?
Hello
Comme il n'y a que les cons qui ne changent pas d'avis je lis toujours ce que je trouve sur les sujets surlesquels j'ai un avis ^^
Je n'ai pas encore changé d'avis sur celui ci, il faudrait que je relise cet article au calme:
https://storagemojo.com/2010/02/27/does-...g-in-2019/
Il semble que les articles que je partage souvent sur les dangers du RAID 5 et 6 ne soient pas totalement dans le vrai, notemment parce que la technologie a beaucoup évolué sur les HDD. Mais bon l'article qui le contredit date de 2010 quand même..

Je vous donne l'info, à vous de vous faire votre avis Smile Pour le moment je reste comme je suis parti, en JBOD + backups même si j'aime beaucoup le principe du RAID.
Je suppose que je vais pencher du coté de ZFS (sur du BSD pas du Linux!) ou Btrfs s'il permet un équivalent au RAID Z

VHS4 Xtreme II - AMD Athlon II X2 240e
OS: v6.1.3 / RAM: 6 Go / Stockage: 4x 3 To

Wiki de la COMMUNAUTÉ
Qu'est-ce que GNU/Linux
Trouver tous les messages de cet utilisateur
Citer ce message dans une réponse
Poster une réponse 


Aller à :




Contact | Ve-hotech | Retourner en haut | Retourner au contenu | Version bas-débit (Archivé) | Syndication RSS