Explication du stockage – Comment configurer les avantages et les inconvénients du RAID et du système de fichiers – Les meilleures astuces pour son serveur

Le stockage multimédia peut être déroutant. Ce guide vous aidera à optimiser les performances, la redondance et la sécurité.

En ce qui concerne les disques durs et le stockage, il est facile de se laisser submerger. Les erreurs peuvent être coûteuses lorsque vos données sont en danger. J'ai rassemblé ce guide pour vous aider à naviguer dans le paysage du stockage multimédia armé de connaissances de base. Cet article couvrira les disques externes directement connectés, les matrices RAID de bureau et les matrices RAID internes. Je ne touche pas au NAS ou aux réseaux dans ce post.

Dupliquez vos données!

Ça va sans dire. Dupliquez toujours vos données sur au moins deux disques physiques distincts. Cela commence lorsque vous déchargez la carte de l'appareil photo sur le kit et continue jusqu'à l'espace de stockage que vous utilisez pour la post-production.

Les fichiers de projet sont généralement petits et peuvent être facilement sauvegardés, même dans le cloud. De nombreux autres types de fichiers temporaires peuvent être recréés, tels que les fichiers de cache NLE et même les supports transcodés. Il est extrêmement important de toujours conserver plus d'une copie du support d'origine de l'appareil photo.

Sur le plateau

Les petits SSD externes ou les disques durs alimentés par bus sont souvent utilisés sur les kits pour décharger quotidiennement les cartes de caméra et peuvent ensuite être utilisés pour basculer le support de la caméra vers un stockage plus important ou un stockage partagé sur ou hors site. Pour les productions plus importantes, DIT peut également utiliser des baies RAID directement connectées beaucoup plus grandes sur site. Quel que soit le workflow de violation de données que vous soyez, il est important de toujours conserver des doublons à toutes les étapes du workflow. Idéalement, un jeu de supports de caméra en double doit être conservé à sa place, dans un bureau de production, à votre bureau de poste ou même à la maison.

Définir le taux de transfert

À ce stade, je tiens à mentionner un aspect souvent négligé du flux de travail informatique lors du choix des disques durs externes. Définir le temps est critique et plus vous pouvez télécharger rapidement (idéalement la duplication de disques simultanément), confirmer et tourner les cartes d'appareil photo, mieux c'est. Le support de l'appareil photo est, bien sûr, très rapide, mais l'utilisation de disques durs externes lents et bon marché sur une interface lente rend le soulagement des cartes d'appareil photo beaucoup plus lent qu'il ne devrait l'être. Un disque dur sur un seul disque en rotation ne vous donnera que des vitesses de lecture / écriture soutenues allant jusqu'à 80 Mo / s. Il n'y a rien de pire que de suspendre une production entière et d'attendre le transfert de données à partir de cartes d'appareil photo. Il peut être très coûteux d'essayer d'économiser de l'argent sur les disques durs ici.

Le Blackmagic Design MultiDock dispose d'un espace pour quatre disques SSD qui peuvent être configurés en tant que matrice RAID 0. Il s'agit d'un logiciel RAID géré par le système d'exploitation hôte. Crédit d'image: Jeff Loch

Post-production

Il est également important de dupliquer les supports de caméra et les fichiers de projet critiques lors de la post-production. Ceci est important même si vous utilisez un stockage partagé de classe entreprise configuré avec un haut niveau de redondance, et certainement si vous utilisez un RAID de bureau directement connecté, ou d'autres disques directement connectés que vous pouvez couper. Quel que soit le stockage à partir duquel vous travaillez, il est important de conserver un double de tous les supports de caméra sur un autre RAID de bureau, ou un lecteur séparé qui se trouve quelque part sur une étagère, ou même à sa place, sauf si nécessaire.

Disques durs externes individuels

Les disques durs externes sont disponibles en plusieurs versions. Ce ne sont pas les mêmes, et la clé USB standard que vous trouvez dans les supermarchés peut être bonne pour sauvegarder des photos et des documents, mais elle n'est pas susceptible de bien s'adapter au flux de travail de votre vidéo. Lorsque vous regardez des disques durs externes, il est important de considérer le type de disque à l'intérieur et le type d'interface avec le monde extérieur.

Un disque dur externe doté d'une interface rapide, telle qu'une connexion Thunderbolt, peut tout de même contenir un disque dur lent. Ce qui compte vraiment, c'est la vitesse de lecture et d'écriture maximale sur le disque dur interne lui-même. Idéalement, envisagez d'utiliser des SSD externes pour la plupart des vidéos, que vous téléchargiez des cartes d'appareil photo sur le kit ou que vous les utilisiez pour éditer avec depuis votre ordinateur portable. Cependant, les SSD sont plus chers et offrent beaucoup moins de capacité. Selon la quantité de données dont vous avez besoin, même un seul disque dur à 7200 tr / min peut suffire. Le choix dépend vraiment de la façon dont vous comptez l'utiliser et du type de média avec lequel vous prévoyez de travailler.

Disque dur (HDD)

Les disques durs traditionnels à disque rotatif ont augmenté rapidement en capacité ces dernières années, avec 14 To de disques durs simples disponibles. Ces disques durs peuvent aller de 2 To à 14 To et sont disponibles dans des tailles physiques de 2,5 "et 3,5". Les disques internes tournent à 5200 tr / min ou 7200 tr / min, selon le lecteur, et il existe des disques d'entreprise tournant à 15000 tr / min, mais ce ne sont pas des lecteurs que vous trouverez dans un boîtier de disque dur externe typique. Vous ne pouvez vous attendre qu'à environ 80 Mo / s de vitesse de lecture / écriture soutenue à partir d'un seul disque dur en rotation, donc le goulot d'étranglement est le disque dur lui-même que l'interface de l'ordinateur.

J'ai testé un disque dur externe WD Passport pas cher et standard (à gauche) pour fournir plus de 80 Mo / sec en moyenne sur USB 3.2 gen 1 (130 Mo / sec annoncé) et ne fournir que le câble USB-A. G-Drive Mobile (à droite) peut fournir un débit similaire et est livré avec des câbles adaptateurs pour les connecteurs USB-A et USB-C. Crédit d'image: Western Digital et G-Technology

Un disque dur à 5200 tr / min peut généralement maintenir une vitesse de lecture et d'écriture de 100 à 110 Mo / s en moyenne, tandis qu'un disque dur à 7 200 tr / min affiche une moyenne de 120 à 130 Mo / s.

Disque SSD (SSD)

Un SSD ou Solid State Drive utilise une mémoire flash NAND pour stocker des données et est capable d'un débit de données extrêmement élevé. Un SSD externe USB 3 typique peut maintenir bien plus de 500 Mo / s en lecture et en écriture, et même cela est limité par l'interface SATA3.0 plutôt que par la mémoire elle-même. Un SSD NVMe typique sur une interface PCIe peut prendre en charge bien plus de 3000 Mo / s. Les disques SSD externes avec une interface Thunderbolt prendront en charge jusqu'à 2800 Mo / sec.

Le SSD G-Drive Mobile (à gauche) utilise un connecteur USB-C et fournit jusqu'à 560 Mo / s sur USB 3.2 Gen 2. Le SSD G-Drive Mobile Pro (à droite) utilise également un connecteur USB-C, mais fournit jusqu'à 2800 Mo / sec sur Thunderbolt 3. Crédit d'image: G-Technology

Le SSD est le meilleur choix pour les médias professionnels car ces débits de données accélèrent le chargement des données de la carte caméra, permettant la lecture en temps réel de plusieurs flux de médias haute résolution à partir de disques externes compacts et portables.

interfaces

De nombreux fabricants de disques durs USB externes induisent en erreur la quantité maximale de données sur les disques durs externes. Les consommateurs ne comprennent pas les détails techniques, et de plus grands nombres sur la boîte doivent être meilleurs, non?

L'interface utilisée pour connecter un disque dur externe à un ordinateur est aussi importante que le type et la vitesse du disque à l'intérieur. Cela dit, les interfaces les plus courantes sont des versions d'USB 3 et Thunderbolt sont toutes assez rapides pour fournir un flux unique des codecs et formats vidéo les plus courants, et même plusieurs flux de bon nombre d'entre eux.

Voici les connecteurs USB les plus courants du moment. L'USB Type A d'origine est fourni à titre de référence uniquement et a été largement remplacé par l'USB Type A SuperSpeed. De nombreux disques durs portables ont le connecteur USB Type Micro B SuperSpeed ​​sur le boîtier et un câble pour USB Type A SuperSpeed ​​ou USB Type C.

USB 3.x

La convention de dénomination USB est devenue très compliquée. Voici comment ça se décompose.

• USB 3.2 Gen 1, est USB 3.0. Il a un débit maximum de 5 Go. Ceci est également connu comme SuperSpeed ​​USB.
• USB 3.2 Gen 2, est USB 3.1. Il a un débit maximum de 10 Gbps. Ceci est également connu comme SuperSpeed ​​USB 10Gbps.
• USB 3.2 Gen 2 × 2, est USB 3.2. Il a un débit maximum de 20 Go. Ceci est également connu sous le nom de SuperSpeed ​​USB 20 Gbps.

Vous pouvez également entendre USB discuté pour le type de connecteur. Les types USB, tels que A, B et C, vous indiquent la forme du port et du connecteur, mais pas le taux de transfert de données.

L'USB-C est le dernier type de connecteur, et est généralement associé à USB 3.2 Gen 2, mais pas nécessairement, il peut également s'agir d'USB 3.2 Gen 1, ou il peut ne pas être du tout USB.

Thunderbolt 2 & 3

Pour encore plus de confusion, le connecteur USB-C est également utilisé pour Thunderbolt 3. Thunderbolt 3 offre des vitesses de transfert de données allant jusqu'à 40 Go / s, soit quatre fois la taille de l'USB 3.2 Gen 2.

• Thunderbolt 2 a un débit maximum de 20 Go / sec
• Thunderbolt 3 a un débit maximum de 40 Go / sec

Puissance

L'USB et le Thunderbolt peuvent être alimentés, et de nombreux petits disques durs externes peuvent être pilotés par bus, ce qui est quelque chose à garder à l'esprit si vous devez les utiliser avec un ordinateur portable qui est débranché.

bande passante multimédia

Lorsque vous envisagez toute forme de stockage, la première chose à retenir est la bande passante requise pour lire des médias en temps réel. Voici quelques exemples. Ces débits de données sont approximatifs pour comparaison.

• 4K XAVC (H.264) – 50 Mo / sec (Mo pas Mb / sec… 1 ​​Mo = 8 Mo)
• 4K 24p ProRes RAW – 40-100 Mo / sec
• 4K 24p ProRes RAW HQ – 80-140 Mo / sec
• 6K 24p ProRes RAW HQ – 180-300 Mo / sec
• 8K 24p ProRes RAW HQ – 320-530MB / sec
• 4K 24p ProRes 422 HQ – 95 Mo / sec
• 4K 24p ProRes 4444 – 140 Mo / s
• 8K 24p R3D 5: 1 – 260 Mo / sec

Il est clair à partir de cette liste qu'un disque dur externe USB3 5400RPM ne prendra pas en charge la lecture de la plupart de ces formats. Une exception serait à peu près n'importe quelle vidéo basée sur H.264 / AVC provenant d'appareils photo et de reflex numériques sans miroir populaires. Les débits de données requis pour ces codecs sont suffisamment bas même avec une résolution 4K, et votre disque dur ne sera pas un goulot d'étranglement, mais le décodage en temps réel H.264 sur votre ordinateur peut l'être.

Cela ne signifie pas que vous ne pouvez pas utiliser un disque dur plus lent uniquement pour sauvegarder les fichiers de votre appareil photo, cela signifie simplement que vous ne pourrez pas lire les vidéos directement à partir de celui-ci.

raiders

Qu'est-ce qu'un RAID exactement? Un RAID signifie Redundant Array of Independent Disks. Il s'agit d'un volume virtualisé où les données sont écrites sur un certain nombre de disques durs physiques supplémentaires pour fournir une redondance en cas de panne de disque et / ou de meilleures performances, généralement les deux.

Le G-Drive est un exemple de petit RAID portable pour deux personnes. Crédit d'image: G-Technology

Un petit RAID externe portable ne peut contenir que deux disques durs physiques, ce qui peut être configuré soit pour la redondance, où les données sont dupliquées sur les deux disques internes, soit pour les performances, où les données sont partagées et écrites sur les deux disques tout en fournissant deux fois plus de débit de données . Pour un RAID à deux disques, les performances se font au détriment de la redondance et vice versa. Plus il y a de disques durs physiques dans la matrice RAID, plus il y a d'options pour équilibrer la redondance et l'augmentation des performances.

Les baies RAID de bureau Promise Pegasus32 sont disponibles en différentes tailles, de 4 à 8 baies. Crédit d'image: Promise

Les baies RAID de plus grande taille peuvent se présenter sous la forme de boîtiers RAID de bureau ou montés en rack directement connectés. Vous pouvez également créer une matrice RAID interne directement dans un châssis de poste de travail, et bien sûr, il existe des serveurs de stockage RAID NAS (Networked Attached Storage) partagés que je ne discuterai pas dans cet article.

Certains d'entre eux peuvent avoir entre quatre et huit, douze, seize stations ou plus dans une matrice. Les baies RAID SSD montées en rack contiennent souvent 24 SSD par baie et sont capables d'une bande passante extrêmement élevée. Il est également possible de répartir les données sur plusieurs matrices de plusieurs façons, mais cela se trouve fermement dans la zone de stockage de l'entreprise et en dehors du champ d'application de cet article.

Je viens de mentionner les niveaux RAID ci-dessous qui s'appliquent aux types de stockage que j'ai décrits ci-dessus.

RAID 0

Par: Utilisateur: Cburnett – Propre travailCette image vectorielle non spécifiée du W3C a été créée avec Inkscape., CC BY-SA 3.0, Link

Performances maximales, pas de redondance.

RAID 0 répartit les données uniformément sur tous les disques physiques de la matrice, mais n'a pas de mise en miroir ou de parité. Cela signifie que des parties d'un fichier unique existent sur tous les lecteurs de l'ensemble et que si un lecteur de la baie tombe en panne, toutes les données sont définitivement perdues. Il n'est pas possible de récupérer des données. RAID 0 est utile pour les petits boîtiers RAID externes à deux stations où l'augmentation de la bande passante en lecture / écriture est prioritaire et les données sont également dupliquées sur un autre disque physique.

Je ne recommanderais jamais de compter sur une seule matrice configurée RAID 0 pour un stockage sécurisé des supports de caméra.

RAID 1

Par: Utilisateur: Cburnett – Propre travailCette image vectorielle non spécifiée du W3C a été créée avec Inkscape., CC BY-SA 3.0, Link

RAID 1 reflète simplement les données entre deux disques, mais n'a ni parité ni entrelacement. Cela donne une redondance complète, mais dans la plupart des implémentations, il n'est aussi rapide que l'un des deux disques.

Si l'un des deux disques tombe en panne, il peut être remplacé et les données reconstruites à partir du disque restant. Cependant, toutes les données exposées à ce processus sont complètes.

RAID 5

Par: Utilisateur: Cburnett – Propre travailCette image vectorielle non spécifiée du W3C a été créée avec Inkscape., CC BY-SA 3.0, Link

RAID 5 offre une répartition au niveau des blocs, ce qui augmente les performances et la parité, de sorte que le contenu de tout disque unique est également réparti entre les autres disques. Par exemple, dans un groupe de huit stations configuré en RAID 5, la capacité de stockage totale et le débit seront égaux à sept des huit stations. Si un lecteur de la matrice tombe en panne, il peut être retiré et un nouveau disque de remplacement remplacé. Le contenu du disque défectueux est reconstruit sur le nouveau disque à partir des données de parité trouvées sur les sept autres stations.

Une réserve chaude peut être désignée dans une matrice RAID 5, ce qui réduit la capacité utilisable et le débit de la matrice avec un autre disque, mais offre une reconstruction instantanée en cas de panne d'un disque.

Les données sont uniquement exposées à la durée de la station de remplacement en cours de reconstruction.

Toutes les données de la matrice sont définitivement perdues si plusieurs disques tombent en panne à la fois ou si un deuxième disque tombe en panne pendant la reconstruction.

RAID 6

Par: Utilisateur: Cburnett – Propre travailCette image vectorielle non spécifiée du W3C a été créée avec Inkscape., CC BY-SA 3.0, Link

RAID 6 est similaire à RAID 5, mais offre une double parité distribuée. En utilisant l'exemple de huit stations, la capacité de stockage et le débit de la matrice seront égaux à six des huit stations. Deux stations de la matrice peuvent tomber en panne et leur contenu respectif peut être reconstruit à partir des données de parité trouvées sur les six stations restantes.

La probabilité de défaillance de deux stations est considérée comme très faible. Le véritable avantage du RAID 6 est donc que les données ne sont pas en danger en cas de panne d'un seul disque.

Quel niveau RAID devez-vous utiliser?

Je recommanderais de configurer deux disques RAID externes portables comme RAID 0 pour un volume de données plus élevé. Ceux-ci doivent toujours être utilisés par paires pour décharger les cartes d'appareil photo, et sont parfaits pour photographier une journée entière de photographie avec des images de caméra à transférer vers un stockage partagé ou un stockage RAID plus grand que vous utilisez pour les publications. Ils peuvent être de bons lecteurs pour éditer directement de plus petites productions, mais dans ce cas, les données doivent également être dupliquées ailleurs. Je considérerai toujours un disque RAID 0 comme un stockage temporaire, il n'y a pas de sécurité intégrée ou de redondance à moins qu'il ne soit mis en miroir.

Pour les baies RAID de bureau directement connectées, je recommande RAID 5. Il existe un bon équilibre entre redondance et performances. Vous devez toujours avoir au moins un disque dur supplémentaire pour votre armoire RAID au cas où vous auriez besoin de le remplacer. Une matrice RAID 5 sera toujours disponible et fonctionnera avec un disque défectueux, mais vos données sont en danger, il est important de remplacer un disque défectueux et de reconstruire la matrice dès que possible.

Un risque majeur associé au RAID 5 sur les matrices lors de l'utilisation de disques haute capacité est le temps nécessaire à la reconstruction. Le RAID est essentiel et vos données sont menacées aussi longtemps que la reconstruction prend. RAID 6 serait un meilleur choix pour les grandes baies RAID qui utilisent des disques de plus de 4 To.

Dupliquez à nouveau vos données!

Même si vous travaillez à partir d'une matrice RAID 5 ou RAID 6 et que votre support est protégé contre une panne de disque, vous devez toujours sauvegarder les supports et les fichiers de projet de votre caméra pour un autre stockage. J'ai construit des matrices RAID imbriquées pour les clients où deux ensembles RAID identiques sont mis en miroir en tant que RAID 1, mais même cela ne compte pas comme duplication. Il y a toujours tout dans un rack dans une salle des machines, dans le même bâtiment.

Le support de l'appareil photo doit toujours être dupliqué sur un stockage physique séparé et conservé si possible à l'écart.

C'est ce qu'on appelle la reprise après sinistre. Des catastrophes arrivent.

Un petit mot sur la bande LTO

Un excellent moyen de stocker des données critiques à long terme est sur des bandes LTO à l'aide d'un seul lecteur LTO direct associé. Cela peut se faire via un logiciel de sauvegarde dédié ou en utilisant LTFS pour un transfert direct de données par glisser-déposer.

Les lecteurs LTO portables mLogic sont parfaits pour sauvegarder rapidement de grandes quantités de données en toute sécurité pour un archivage à long terme. Ils ont une connexion Thunderbolt et peuvent être utilisés par DIT sur place. Crédit d'image: mLogic

Une seule bande LTO-8 peut stocker 12 To de support et prend en charge des vitesses allant jusqu'à 300 Mo / s, selon le lecteur. Lorsqu'elles sont stockées correctement, les cartouches LTO peuvent durer jusqu'à 30 ans. Il s'agit d'une durée de conservation beaucoup plus longue que n'importe quel disque dur mécanique. Les cartouches LTO actuelles resteront compatibles à l’avenir jusqu’à une génération de disques. Ainsi, une cassette LTO-8 actuelle peut être lue et écrite sur un lecteur LTO-9.

Le nuage

Le stockage dans le cloud n'est pas encore très pratique pour de grandes quantités de supports de caméra haute résolution. Cependant, il convient aux fichiers de projet plus petits, à certains autres actifs multimédias et même à la résolution de sauvegardes de bases de données.

Systèmes de fichiers

Tout ce que j'ai discuté jusqu'à présent concerne le matériel physique. Il est également important de formater votre espace de stockage avec le système de fichiers adapté à vos besoins. Un système de fichiers décrit comment les données sont stockées, adressées, gérées et accessibles sur votre stockage physique, par un système d'exploitation et un logiciel.

Voici un aperçu de certains systèmes de fichiers courants.

exFAT

ExFAT est un système de fichiers Microsoft conçu pour relier NTFS avec l'ancien système de fichiers FAT32. Il peut stocker des fichiers uniques de plus de 4 Go et est le seul système de fichiers que je répertorie ici qui est pris en charge par Windows et macOS.

Cependant, ExFAT est un système de fichiers sans tenue de dossiers et risque d'être corrompu lorsque les opérations d'écriture sont interrompues. Je ne recommanderais pas ExFAT pour les lecteurs multimédias, sauf pour les lecteurs navette très temporaires qui sont utilisés pour stocker des données pendant une courte période de temps qui doivent être facilement partagées entre les machines macOS et Windows. Même alors, il existe un risque si ces disques ne sont pas éjectés ou tirés en toute sécurité pendant le transfert de données.

NTFS

NTFS est un système de fichiers journaux créé par Microsoft qui est beaucoup plus sécurisé et moins sujet à la corruption, même en cas d'arrêts imprévus, de plantages et de perturbations.

NTFS est lisible par MacOS, mais l'accès en écriture sur les volumes au format NTFS nécessite un logiciel tiers tel que Paragon NTFS pour Mac.

MacOS étendu

MacOS Extended est également connu sous le nom de HFS + et était le système de fichiers standard utilisé par macOS de 1998 à nos jours pour les disques durs mécaniques et hybrides et jusqu'à l'introduction d'APFS pour le stockage à l'état solide et flash dans High Sierra.

APFS

APFS a remplacé MacOS Extended pour le stockage à l'état solide et flash. Il fonctionnera également sur les disques durs mécaniques, mais est optimisé pour les supports à semi-conducteurs. APFS n'est pas compatible avec les anciens Mac exécutant El Capitan ou une version antérieure.

Quel système de fichiers utiliser?

Vos meilleures options de système de fichiers sont NTFS si vous travaillez principalement dans un environnement Windows, et que macOS Extended ou APFS soit votre flux de travail est principalement basé sur Mac.

Si vous formatez des disques durs mécaniques et des matrices RAID, il est préférable de choisir NTFS ou MacOS Extended. Ces systèmes de fichiers journaux sont robustes et sécurisés.

Pour les supports SSD, vous pouvez choisir NTFS ou APFS selon que vous travaillez principalement dans un environnement Windows ou Mac. Un logiciel tiers est disponible qui permet à Windows de monter et de lire / écrire sur des supports formatés APFS, ainsi que de monter des supports NTFS sur Mac.

Évitez d'utiliser ExFAT dans tous les cas pour éviter de risquer la corruption de vos données.

Conclusion

Lorsque tout cela est dit et fait, la chose la plus importante à retenir est de toujours dupliquer les fichiers du projet et la caméra source. Les transcodes peuvent être à nouveau transcodés, les fichiers de cache peuvent être régénérés, les exportations et les rendus peuvent être rejoués. Ces choses peuvent vous coûter du temps, mais si vous perdez les fichiers source de la caméra, vous avez tout perdu.

Même si vous suivez toutes les recommandations et meilleures pratiques, le fait est que les disques et même les baies RAID entières peuvent échouer. Vous pouvez utiliser l'espace de stockage le plus rapide et le plus cher pour travailler, mais avoir une sauvegarde (ou même une sauvegarde d'une sauvegarde) sur un ou plusieurs disques durs externes grand public bon marché peut être suffisant pour enregistrer un projet.

J'espère que cela aide certains d'entre vous à réévaluer ou à réévaluer votre flux de travail. Je voudrais savoir quels trucs et astuces vous avez peut-être manqués ou oubliés. Comment gérez-vous les médias et protégez-vous vos fichiers? Faites-le nous savoir dans les commentaires ci-dessous.