SERVEURS DE STOCKAGE LINUX HELP
Le
Imochon
Bonjour,
J'aimerai avoir un peu d'aide sur la notion de cluster afin de savoir si
elle convient ou pas au type d'architechture que je souhaite concevoir.
Je dois mettre en place un très gros espace de stockage avec une tres haute
disponibilité.
Pour cela je vais prendre des serveurs linux (deux dans un premier temps) en
RAID 5.
Mon idée à la base était de prendre 2 serveurs identiques synchronisé toutes
les 15 min via rsync et dans le cas où un serveur plante, on transfert les
utilisateur sur le second serveur le temps de réparer le premier.
Au fur et a mesure que j'ai besoin d'espace de stockage, j'ajoute des
serveurs (toujours par deux).
Cette solution me semble un peu lourde à terme.Ensuite m'est venu l'idée du
cluster (qui est d'ailleur très flou pour moi).
Je prends mes deux serveurs au départ, et au fur et à mesure j'ajoute des
machines au cluster.
Ma question est la suivante :
Les machines (en raid 5) que j'ajoute au cluster sont (pour grossir
énormément la chose) comme si j'ajoutais des nouveaux HDD dans la machine
maitresse ?
Si une machine crache comlètement, que se passe t-il avec les data qu'il y a
dessus ? Si le maître crash que se passe t-il ?
Si j'ai 5 machine avec un espace de stockage de 200 Go chacune, au final
j'aurait 1 To ?
J'avoue que je suis un peu dans le flou sur une solution à adopter et qui
aurait le meilleur rapport qualité/prix.
Merci d'avance pour vos réponses et pour vos conseils.
J'aimerai avoir un peu d'aide sur la notion de cluster afin de savoir si
elle convient ou pas au type d'architechture que je souhaite concevoir.
Je dois mettre en place un très gros espace de stockage avec une tres haute
disponibilité.
Pour cela je vais prendre des serveurs linux (deux dans un premier temps) en
RAID 5.
Mon idée à la base était de prendre 2 serveurs identiques synchronisé toutes
les 15 min via rsync et dans le cas où un serveur plante, on transfert les
utilisateur sur le second serveur le temps de réparer le premier.
Au fur et a mesure que j'ai besoin d'espace de stockage, j'ajoute des
serveurs (toujours par deux).
Cette solution me semble un peu lourde à terme.Ensuite m'est venu l'idée du
cluster (qui est d'ailleur très flou pour moi).
Je prends mes deux serveurs au départ, et au fur et à mesure j'ajoute des
machines au cluster.
Ma question est la suivante :
Les machines (en raid 5) que j'ajoute au cluster sont (pour grossir
énormément la chose) comme si j'ajoutais des nouveaux HDD dans la machine
maitresse ?
Si une machine crache comlètement, que se passe t-il avec les data qu'il y a
dessus ? Si le maître crash que se passe t-il ?
Si j'ai 5 machine avec un espace de stockage de 200 Go chacune, au final
j'aurait 1 To ?
J'avoue que je suis un peu dans le flou sur une solution à adopter et qui
aurait le meilleur rapport qualité/prix.
Merci d'avance pour vos réponses et pour vos conseils.
SCSI ou FC ? J'ai bien vu du matos qui faisant ce genre de conneries pour
systemes de fichiers distribués mais ça semblait plutot être du FC.
François
Bonjour,
C'est quoi très gros ? Ca s'exprime en GB, en TB, en PB ?
Quels types de fichier vont être stockés sur cet espace ? Des ficheirs
de quelques KB ? De plusieurs centaines de MB ?
Quels vont être les clients de cet espace de stockage ? Des serveurs ?
Des stations ? Combien simultanément ?
Quelles sont les performances attendues ?
Comment vont être accéder ces fichiers ? En NFS ? En CIFS ?
Pour pouvoir monter une architecture, il faut quelques précisions
supplémentaires qui ne figurent pas dans le message initial ?
Cordialement. Didier.
Je me permet de répondre aux questions car je connais le projet :
grossir ensuite
100 aine de MB (plan, base données)
Au nivo des serveurs, acces rapide (incapable de dire réelement combien) en
ecriture sur les disques.
La rapidité dépendra aussi du réseau en lui même
pour et ne souhaite pas le changer ... on doit faire avec les exigences ;))
J'espère que ça précise un peu plus les besoins ...
Merci pour l'aide
Cordialement. Yoram
"Didier G" news:
Il s'agit donc de mettre en place un serveur FTP accédé par 150
stations et offrant une capacité de stockage de 1,5 TB extensible...
Pour une telle capacité, personnellement je monterais une solution
basée sur un seul serveur Linux connecté à une baie FC d'un grand
fabricant quelconque.
Pour le serveur, je choisirais un serveur rackable bi ou quadri
processseurs de marque type DELL, HP ou IBM avec alimentation
redondante et tout ce qui va bien pour la fiabilité. Je connecterais
ce serveur par deux fibres à la baie de disque en utilisant des cartes
HBA disposant d'un driver avec une fonctionnalité failover permettant
de continuer de travailler sur une seule voir en cas de problème
(Carte HBA QLogic par exemple)
Lors de l'installation de Linux, il faut veiller à installer juste le
minimum nécessaire et à ne démarrer que les services indispensables :
FTP, HTTP, NFS et SMB dans le plus souvent..
Par ailleurs, lors de la mise en carte des cartes de connexion HBA et
des cartes réseau, il faut veiller à bien les répartir sur les
différents bus PCI du serveur.
Il faut également ne pas lésiner sur la mémoire de ce serveur.
Pour la baie, je choisirais une baie modulaire de marque type HP, IBM
ou StorageTek, etc... Ce type de baie dispose de toutes les
fonctionnalités garantissant une fiabilité maximum : alimentations
redondantes, voies internes redondantes, Raid5, disques de spare,
etc... Ce type de baie est extensible et supporte aisément jusqu'à 15
ou 20 TB voir plus...
Côté réseau, pour améliorer les performances, il est possible
d'utiliser une carte type Alacritech TCP/IP Offload Engine ou
équivalente. Ce type de carte décharge les processeurs du serveur de
la gestion du stack TCP/IP (Attention à la compatibilité de la carte
retenue avec la version de Linux).
Dans le cas où l'on n'utilise pas ce type de carte et où ce sont donc
les processeurs qui gèrent le stack TCP/IP, il faut prévoir 1 GHz de
processeur pour 1 Gbits de connexion réseau.
Ce type de configuration fonctionne de manière satisfaisante sur de
nombreux sites.
Enfin et pour terminer, il est toujours possible de faire appel à un
constructeur ou à un intégrateur spécialisé dans les solutions de
stockage pour mettre ne place une telle solution.
Cordialement.
Didier.
Le Thu, 6 May 2004 03:23:05 +0200, "yobogs" écrit:
Bonjour Loic
Exact, c'est pour cela que je disais :
<< Lors de l'installation de Linux, il faut veiller à installer juste
le minimum nécessaire et à ne démarrer que les services indispensables
: FTP, HTTP, NFS et SMB dans le plus souvent.. >>
en laissant le choix en fonction des besoins réels. Il est évident que
si les données ne sont accéder qu'uniquement en FTP, seul le daemon
FTP doit être démarrer.
J'ai cité trois constructeurs par ordre alphabétque...
Il semble que le soft accédant aux fichiers en FTP existe déjà..
On peux donc penser que ce soft soit dispose d'une database pour
stocker des meta-données soit qu'il utilise la structure de
l'arboresence pour localiser les fichiers.
Si j'ai bien compris le projet, cette partie est hors périmètre.
J'insistais sur le fait qu'il fallait vérifier l'existence d'un driver
pour Linux car quand j'ai utilisé ce type de carte, c'était toujours
dans une appliance.
Il semble qu'Adaptec propose des cartes TOE Copper et Fiber
compatibles Linux. Les as tu déjà testé ?
Je n'en doute pas mais je connais moins bien ce type de configuration
et pour cause...
Un décret-loi de 1936 autorise certaines personnes à effectuer des
missions de consultance il me semble... Ca peut être une
alternative...
Cordialement.
Didier G.
...
Non. StorNext FS tourne sous Linux, Windows, AIX, IRIX, Solaris. Le FSS
(FS Server, le serveur qui a un instant t gère l'accès au FS) peut
tourner sous n'importe lequel des ces OS. Par contre, si on y ajoute
la couche Storage Manager (gestion de l'emplacement de la donnée, HSM
like en quelque sorte), alors le FSS doit tourner sous Linux, Solaris
ou IRIX - à l'heure actuelle, la liste va s'agrandir avant la fin de
l'année.
Sinon, je ne connais pas tous les produits/solutions citées, mais il me
semble distingeur deux familles : des produits comme StorNext, DMF ou
Xsan s'appuie sur un SAN FC, alors qu'AFS à ma connaissance ne s'appuie
que sur IP.
Pour la résistance au carsh, c'est spécifique au produit. StorNext a
une gestion interne du failover, ce qui permet en cas de crash du FSS
d'avoir un client qui est promu à la volée en FSS, de sorte que les
clients continuent à accéder aux données.
-- fx
Effectivement, ce que appelle généralement SAN est en fait du SCSI
encapsulé dans du protocole FC. Le SCSI reste utilisé pour l'accès
au stockage (disque ou bande).
-- fx