Logo GNT
Actualités Tests & Guides Bons Plans
Twitter iPhone pliant OnePlus 11 PS5 Disney+ Orange Livebox Windows 11
Entraide Matériel Ordinateur Stockage SERVEURS DE STOCKAGE LINUX HELP

SERVEURS DE STOCKAGE LINUX HELP

7 réponses
Avatar
Imochon
Bonjour,

J'aimerai avoir un peu d'aide sur la notion de cluster afin de savoir si
elle convient ou pas au type d'architechture que je souhaite concevoir.

Je dois mettre en place un très gros espace de stockage avec une tres haute
disponibilité.

Pour cela je vais prendre des serveurs linux (deux dans un premier temps) en
RAID 5.

Mon idée à la base était de prendre 2 serveurs identiques synchronisé toutes
les 15 min via rsync et dans le cas où un serveur plante, on transfert les
utilisateur sur le second serveur le temps de réparer le premier.

Au fur et a mesure que j'ai besoin d'espace de stockage, j'ajoute des
serveurs (toujours par deux).

Cette solution me semble un peu lourde à terme.Ensuite m'est venu l'idée du
cluster (qui est d'ailleur très flou pour moi).

Je prends mes deux serveurs au départ, et au fur et à mesure j'ajoute des
machines au cluster.

Ma question est la suivante :
Les machines (en raid 5) que j'ajoute au cluster sont (pour grossir
énormément la chose) comme si j'ajoutais des nouveaux HDD dans la machine
maitresse ?
Si une machine crache comlètement, que se passe t-il avec les data qu'il y a
dessus ? Si le maître crash que se passe t-il ?
Si j'ai 5 machine avec un espace de stockage de 200 Go chacune, au final
j'aurait 1 To ?

J'avoue que je suis un peu dans le flou sur une solution à adopter et qui
aurait le meilleur rapport qualité/prix.

Merci d'avance pour vos réponses et pour vos conseils.
Signaler un problème avec ce contenu

7 réponses

Supprimer
Cette action est irreversible, confirmez la suppression du commentaire ?
Signaler le commentaire

Veuillez sélectionner un problème

Nudité
Violence
Harcèlement
Fraude
Vente illégale
Discours haineux
Terrorisme
Autre
Avatar
Francois Petillon
On Wed, 05 May 2004 11:59:52 +0000, Loic Tortay wrote:
GFS a ou avait besoin de matériel avec des fonctionnalités SCSI
particulières de gestion distribuée des locks).


SCSI ou FC ? J'ai bien vu du matos qui faisant ce genre de conneries pour
systemes de fichiers distribués mais ça semblait plutot être du FC.

François

Avatar
Didier G
Le Wed, 5 May 2004 12:21:45 +0200, "Imochon" a
écrit:

Bonjour,

J'aimerai avoir un peu d'aide sur la notion de cluster afin de savoir si
elle convient ou pas au type d'architechture que je souhaite concevoir.

Je dois mettre en place un très gros espace de stockage avec une tres haute
disponibilité.



Bonjour,

C'est quoi très gros ? Ca s'exprime en GB, en TB, en PB ?

Quels types de fichier vont être stockés sur cet espace ? Des ficheirs
de quelques KB ? De plusieurs centaines de MB ?

Quels vont être les clients de cet espace de stockage ? Des serveurs ?
Des stations ? Combien simultanément ?

Quelles sont les performances attendues ?

Comment vont être accéder ces fichiers ? En NFS ? En CIFS ?

Pour pouvoir monter une architecture, il faut quelques précisions
supplémentaires qui ne figurent pas dans le message initial ?

Cordialement. Didier.

Avatar
yobogs
Merci pour les réponses ...
Je me permet de répondre aux questions car je connais le projet :

C'est quoi très gros ? Ca s'exprime en GB, en TB, en PB ?
ça s'exprime en TB. De base nous allons partir sur 1,5 To d'espace pour

grossir ensuite

Quels types de fichier vont être stockés sur cet espace ? Des ficheirs
de quelques KB ? De plusieurs centaines de MB ?
Les fichiers iront de quelque KB (fichiers textes par exmple) a plusieurs

100 aine de MB (plan, base données)

Quels vont être les clients de cet espace de stockage ? Des serveurs ?
Des stations ? Combien simultanément ?
Les clients vont être des stations. jusqu'à 150 simultanément.


Quelles sont les performances attendues ?
Au nivo du système en général : très haute disponiblité

Au nivo des serveurs, acces rapide (incapable de dire réelement combien) en
ecriture sur les disques.
La rapidité dépendra aussi du réseau en lui même

Comment vont être accéder ces fichiers ? En NFS ? En CIFS ?
En FTP avec ssl encrytion (la société qui utilisera le système a un soft

pour et ne souhaite pas le changer ... on doit faire avec les exigences ;))

Pour pouvoir monter une architecture, il faut quelques précisions
supplémentaires qui ne figurent pas dans le message initial ?


J'espère que ça précise un peu plus les besoins ...

Merci pour l'aide

Cordialement. Yoram

"Didier G" a écrit dans le message de
news:
Le Wed, 5 May 2004 12:21:45 +0200, "Imochon" a
écrit:

Bonjour,

J'aimerai avoir un peu d'aide sur la notion de cluster afin de savoir si
elle convient ou pas au type d'architechture que je souhaite concevoir.

Je dois mettre en place un très gros espace de stockage avec une tres
haute


disponibilité.



Bonjour,

C'est quoi très gros ? Ca s'exprime en GB, en TB, en PB ?

Quels types de fichier vont être stockés sur cet espace ? Des ficheirs
de quelques KB ? De plusieurs centaines de MB ?

Quels vont être les clients de cet espace de stockage ? Des serveurs ?
Des stations ? Combien simultanément ?

Quelles sont les performances attendues ?

Comment vont être accéder ces fichiers ? En NFS ? En CIFS ?

Pour pouvoir monter une architecture, il faut quelques précisions
supplémentaires qui ne figurent pas dans le message initial ?

Cordialement. Didier.




Avatar
Didier G
Bonjour,

Il s'agit donc de mettre en place un serveur FTP accédé par 150
stations et offrant une capacité de stockage de 1,5 TB extensible...

Pour une telle capacité, personnellement je monterais une solution
basée sur un seul serveur Linux connecté à une baie FC d'un grand
fabricant quelconque.

Pour le serveur, je choisirais un serveur rackable bi ou quadri
processseurs de marque type DELL, HP ou IBM avec alimentation
redondante et tout ce qui va bien pour la fiabilité. Je connecterais
ce serveur par deux fibres à la baie de disque en utilisant des cartes
HBA disposant d'un driver avec une fonctionnalité failover permettant
de continuer de travailler sur une seule voir en cas de problème
(Carte HBA QLogic par exemple)

Lors de l'installation de Linux, il faut veiller à installer juste le
minimum nécessaire et à ne démarrer que les services indispensables :
FTP, HTTP, NFS et SMB dans le plus souvent..

Par ailleurs, lors de la mise en carte des cartes de connexion HBA et
des cartes réseau, il faut veiller à bien les répartir sur les
différents bus PCI du serveur.

Il faut également ne pas lésiner sur la mémoire de ce serveur.

Pour la baie, je choisirais une baie modulaire de marque type HP, IBM
ou StorageTek, etc... Ce type de baie dispose de toutes les
fonctionnalités garantissant une fiabilité maximum : alimentations
redondantes, voies internes redondantes, Raid5, disques de spare,
etc... Ce type de baie est extensible et supporte aisément jusqu'à 15
ou 20 TB voir plus...

Côté réseau, pour améliorer les performances, il est possible
d'utiliser une carte type Alacritech TCP/IP Offload Engine ou
équivalente. Ce type de carte décharge les processeurs du serveur de
la gestion du stack TCP/IP (Attention à la compatibilité de la carte
retenue avec la version de Linux).

Dans le cas où l'on n'utilise pas ce type de carte et où ce sont donc
les processeurs qui gèrent le stack TCP/IP, il faut prévoir 1 GHz de
processeur pour 1 Gbits de connexion réseau.

Ce type de configuration fonctionne de manière satisfaisante sur de
nombreux sites.

Enfin et pour terminer, il est toujours possible de faire appel à un
constructeur ou à un intégrateur spécialisé dans les solutions de
stockage pour mettre ne place une telle solution.

Cordialement.

Didier.







Le Thu, 6 May 2004 03:23:05 +0200, "yobogs" a
écrit:

Merci pour les réponses ...
Je me permet de répondre aux questions car je connais le projet :

C'est quoi très gros ? Ca s'exprime en GB, en TB, en PB ?
ça s'exprime en TB. De base nous allons partir sur 1,5 To d'espace pour

grossir ensuite

Quels types de fichier vont être stockés sur cet espace ? Des ficheirs
de quelques KB ? De plusieurs centaines de MB ?
Les fichiers iront de quelque KB (fichiers textes par exmple) a plusieurs

100 aine de MB (plan, base données)

Quels vont être les clients de cet espace de stockage ? Des serveurs ?
Des stations ? Combien simultanément ?
Les clients vont être des stations. jusqu'à 150 simultanément.


Quelles sont les performances attendues ?
Au nivo du système en général : très haute disponiblité

Au nivo des serveurs, acces rapide (incapable de dire réelement combien) en
ecriture sur les disques.
La rapidité dépendra aussi du réseau en lui même

Comment vont être accéder ces fichiers ? En NFS ? En CIFS ?
En FTP avec ssl encrytion (la société qui utilisera le système a un soft

pour et ne souhaite pas le changer ... on doit faire avec les exigences ;))

Pour pouvoir monter une architecture, il faut quelques précisions
supplémentaires qui ne figurent pas dans le message initial ?


J'espère que ça précise un peu plus les besoins ...

Merci pour l'aide

Cordialement. Yoram

"Didier G" a écrit dans le message de
news:
Le Wed, 5 May 2004 12:21:45 +0200, "Imochon" a
écrit:

Bonjour,

J'aimerai avoir un peu d'aide sur la notion de cluster afin de savoir si
elle convient ou pas au type d'architechture que je souhaite concevoir.

Je dois mettre en place un très gros espace de stockage avec une tres
haute


disponibilité.



Bonjour,

C'est quoi très gros ? Ca s'exprime en GB, en TB, en PB ?

Quels types de fichier vont être stockés sur cet espace ? Des ficheirs
de quelques KB ? De plusieurs centaines de MB ?

Quels vont être les clients de cet espace de stockage ? Des serveurs ?
Des stations ? Combien simultanément ?

Quelles sont les performances attendues ?

Comment vont être accéder ces fichiers ? En NFS ? En CIFS ?

Pour pouvoir monter une architecture, il faut quelques précisions
supplémentaires qui ne figurent pas dans le message initial ?

Cordialement. Didier.







Avatar
Didier G
Le Fri, 7 May 2004 09:04:19 +0000 (UTC), Loic Tortay
a écrit:

Bonjour Didier G.


Bonjour Loic

Si l'accès aux données se fait par FTP, les autres services ne sont pas
indispensables (a fortiori NFS et SMB).


Exact, c'est pour cela que je disais :

<< Lors de l'installation de Linux, il faut veiller à installer juste
le minimum nécessaire et à ne démarrer que les services indispensables
: FTP, HTTP, NFS et SMB dans le plus souvent.. >>

en laissant le choix en fonction des besoins réels. Il est évident que
si les données ne sont accéder qu'uniquement en FTP, seul le daemon
FTP doit être démarrer.

Pour la baie, je choisirais une baie modulaire de marque type HP, IBM
ou StorageTek, etc...

Ah ben oui, évidement. :-)



J'ai cité trois constructeurs par ordre alphabétque...

Je pense que tu oublies l'aspect augmentation de l'espace servi.

C'est bien joli de rajouter des disques (et des serveurs), mais FTP ne va
pas savoir où sont les données de manière magique (d'où le besoin d'un
moyen d'avoir des méta-données plus ou moins centralisées, donc d'un
système de fichiers distribué ou équivalent).


Il semble que le soft accédant aux fichiers en FTP existe déjà..

On peux donc penser que ce soft soit dispose d'une database pour
stocker des meta-données soit qu'il utilise la structure de
l'arboresence pour localiser les fichiers.

Si j'ai bien compris le projet, cette partie est hors périmètre.

[Alacritech]

Il n'y a pas de driver Linux libre utile (qui gère le TOE) pour les cartes

Alacritech. Le driver non libre n'est disponible qu'en OEM (ce qui pose
plein de problèmes de support de version de noyaux, donc de matériel ou
de système de fichiers supportés et même, potentiellement, de sécurité).


J'insistais sur le fait qu'il fallait vérifier l'existence d'un driver
pour Linux car quand j'ai utilisé ce type de carte, c'était toujours
dans une appliance.

Il semble qu'Adaptec propose des cartes TOE Copper et Fiber
compatibles Linux. Les as tu déjà testé ?

Ce type de configuration fonctionne de manière satisfaisante sur de
nombreux sites.

D'autres types de configurations qui marchent de manière satisfaisantes sur

de nombreux sites, sont des serveurs Linux avec des cartes RAID PCI (type
3ware ou Adaptec), qui gèrent des disques de spare, du RAID5 si on le
souhaite et les alimentations redondantes des serveurs.

L'intérêt majeur est que cela coûte sensiblement moins cher que des baies
de disques FC (et que, d'expérience, les performances sont dans certains
cas meilleures puiqu'on est pas limité par les 2 Gbps de FC-2).


Je n'en doute pas mais je connais moins bien ce type de configuration
et pour cause...

Enfin et pour terminer, il est toujours possible de faire appel à un
constructeur ou à un intégrateur spécialisé dans les solutions de
stockage pour mettre ne place une telle solution.


Un décret-loi de 1936 autorise certaines personnes à effectuer des
missions de consultance il me semble... Ca peut être une
alternative...

Cordialement.

Didier G.


Avatar
fx
Loic Tortay wrote:

...
Ces solutions sont assez variées, certaines requièrent d'avoir des serveurs
spécifiques et/ou qui ne fonctionnent pas sous Linux (Xsan et ADIC?,


Non. StorNext FS tourne sous Linux, Windows, AIX, IRIX, Solaris. Le FSS
(FS Server, le serveur qui a un instant t gère l'accès au FS) peut
tourner sous n'importe lequel des ces OS. Par contre, si on y ajoute
la couche Storage Manager (gestion de l'emplacement de la donnée, HSM
like en quelque sorte), alors le FSS doit tourner sous Linux, Solaris
ou IRIX - à l'heure actuelle, la liste va s'agrandir avant la fin de
l'année.

Sinon, je ne connais pas tous les produits/solutions citées, mais il me
semble distingeur deux familles : des produits comme StorNext, DMF ou
Xsan s'appuie sur un SAN FC, alors qu'AFS à ma connaissance ne s'appuie
que sur IP.

Pour la résistance au carsh, c'est spécifique au produit. StorNext a
une gestion interne du failover, ce qui permet en cas de crash du FSS
d'avoir un client qui est promu à la volée en FSS, de sorte que les
clients continuent à accéder aux données.

-- fx

Avatar
fx
Loic Tortay wrote:


On Wed, 05 May 2004 11:59:52 +0000, Loic Tortay wrote:

GFS a ou avait besoin de matériel avec des fonctionnalités SCSI
particulières de gestion distribuée des locks).


SCSI ou FC ? J'ai bien vu du matos qui faisant ce genre de conneries po ur
systemes de fichiers distribués mais ça semblait plutot être du F C.



Les deux ?

Je me souviens que GFS avait besoin d'une extension de SCSI en cours de
normalisation (au moment où je m'y suis interessé), dans la plupart des
cas, on fait en fait du SCSI sur FC (même si on ne le sait pas toujou rs).


Effectivement, ce que appelle généralement SAN est en fait du SCSI
encapsulé dans du protocole FC. Le SCSI reste utilisé pour l'accès
au stockage (disque ou bande).

-- fx