Disques sous Linux

On trouvera ici l’essentiel des concepts et des outils pour manipuler des disques sous Linux : périphériques blocs, partitions EXT et XFS, mémoire swap, points de montages, quotas.

1. Rappels théoriques

1.1. Commandes à retenir

1.2. Concepts

• Partitions
• Systèmes de fichier EXT3, EXT4, BTRFS, XFS, NFS
• Structure du système de fichier
• Le système de fichier EXT4
• Le système de fichier XFS
• Le système de fichier NFS
• Le système de fichier CIFS
• LVM
• Opérations LVM
• RAID
• Swap
• Quotas

1.3. Partion

Un disque est composé d’une ou plusieurs partitions dont la table est contenue dans le MBR (Master Boot Record) ou dans le GUID Partition Table (GPT) :

• Le MBR (Master Boot Record) définit des tables primaires, étendue, logiques.
• On utilse fdisk pour configurer le MBR et gdisk pour configurer le GPT.

Les caractéristiques d’une partition sont :

• La taille en secteurs
• Un drapeau qui indique si elle est active
• Le type de partition

Une partition peut être utilisée pour héberger :

• un système de fichiers
• un espace Swap
• une application

1.4. Systèmes de fichiers

Les données sont normalement présentées à l’utilisateur et aux programmes selon une organisation structurée, sous la forme de répertoires et de fichiers. Pour pouvoir stocker ces données structurées sur un périphérique, il faut utiliser un format qui les représente sous la forme d’une succession de blocs de données : c’est ce qu’on appelle un système de fichiers (FS). Un FS est concrètement une arborescence de fichiers stockée typiquement dans une partition ou un volume logique (LV).

Est associé à chaque système de fichiers :

• un pilote du noyau
• des structures de données mémoire et disque
• des utilitaires qui permettent la création et la maintenance du FS, voire sa sauvegarde

“Formater” un FS, c’est formater une partition en écrivant sur le disque les tables système (Superbloc, table d’inode, répertoire racine, …) associé à son type.

Un FS contient différentes tables système :

• Le super-bloc qui contient les données générales (taille, montage, …)
• La table des inodes qui contient la table de description et d’allocation des fichiers, chaque fichier étant représenté par un numéro d’inoeuds (inode).
• Un répertoire est une table de correspondance de fichiers/numéro d’inoeud.

Les fichiers hébergés par un FS ne sont accessibles que s’ils sont montés c’est-à-dire s’il est associé à un répertoire (répertoire de montage).

1.5. Types de FS

• Ext2
• Journalisés :
  • ext3
  • ext4
  • reiserfs
  • xfs
  • btrfs
• Microsoft :
  • msdos
  • fat
  • ntfs
• CD-Rom :
  • iso9660
• Réseau :
  • nfs
  • cifs
• Cluster :
  • GlusterFS
• Système :
  • proc
  • sys
  • udev
  • selinux
  • cgroup
  • cpuset
• Spéciaux :
  • tmpfs
  • unionfs (persistence live-usb)
  • aufs
  • cachefs
  • cramfs
  • squashfs
  • fuse
• Loop

1.6. FS à journalisation

ext3 est une évolution de ext2 et a pour principale différence l’utilisation d’un fichier journal, lui permettant ainsi d’éviter la longue phase de récupération lors d’un arrêt brutal de la machine.

Bien que ses performances soient moins appréciées que celles de certains de ses compétiteurs, comme ReiserFS ou XFS, il a l’avantage majeur de pouvoir être utilisé à partir d’une partition ext2, sans avoir à sauvegarder et à restaurer des données (un système de fichiers ext3 peut être monté et utilisé comme un système de fichiers ext2). Tous les utilitaires de maintenance pour les systèmes de fichiers ext2, comme fsck, peuvent également être utilisés avec ext3.

ext3 alloue les blocs libres juste à côté des autres blocs utilisés par le fichier, ce qui a pour effet de minimiser l’espace physique entre les blocs.

Beaucoup moins assujetti, il est néanmoins par définition fragmenté, c’est pourquoi son successeur ext4 inclut un utilitaire de défragmentation natif travaillant au niveau des bits et gérant la défragmentation à chaud.

ext4 garde une compatibilité avec son prédécesseur et est considéré par ses propres concepteurs comme une étape intermédiaire devant mener à un vrai système de fichiers de nouvelle génération tel que Btrfs. Toutefois, ext4 est une étape utile et non une simple solution temporaire.

1.7. Table de comparaison des FS

Inspiré de https://doc.ubuntu-fr.org/systeme_de_fichiers#comparaison_de_systemes_de_fichiers

Légende des unités :

• EiB = Exbioctets (1024 pébioctets)
• PiB = Pébioctet (1024 tébioctet)
• TiB = Tébioctet (1024 gibioctets)
• GiB = Gibioctet (1024 mibioctets)

2. Auditer les disques

2.1. Lister les périphériques bloc

Lister les périphériques bloc :

sudo lsblk
sudo blkid
sudo find /dev -type b

2.2. Lister les disques et les partitions

Lister les disques et les partitions :

cat /proc/partitions
sudo fdisk -l

2.3. Lister les FS disponibles

Lister les FS disponibles :

cat /proc/filesystems

2.4. Lister les points de montages

Points de montages :

cat /proc/mounts
findmnt --fstab-

2.5. Lister les points de montage automatiques

Points de montage automatiques :

cat /etc/fstab
cat /etc/mtab
df -Th

2.6. Commandes sur les fichiers

Commandes sur les fichiers :

du -sh /nomdudossier
stat nomdefichier

3. Formatage Ext3/Ext4

La commande mk2fs fait appel à des programmes de plus bas niveau comme mkfs.ext3 ou mkfs.ext4

Pour formater un périphérique en, on retiendra :

3.1. EXT2

mk2fs /dev/sdx1

3.2. en EXT3

mk2fs -j /dev/sdx1

ou

mkfs.ext3 /dev/sdx1

ou encore

mk2fs -t ext3 /dev/sdx1

3.3. en EXT4

mkfs.ext4 /dev/sdx1

3.4. Commandes espace-utilisateur du sytème de fichiers “EXT”

On retiendra d’autres commandes espace-utilisateur du sytème de fichiers “EXT” comme par exemple :

• tune2fs -l /dev/sdx1 qui affiche les paramètres d’un FS ext3
• e2fsck /dev/sdx1 qui vérifie ou répare -y un FS
• dumpe2fs /dev/sdx1 qui affiche des informations sur un FS
• e2label /dev/sdx1 qui affiche ou modifie l’étiquette d’un FS
• tune2fs -c mmc qui modifie les paramètres d’un FS (vérification après un nombre maximal de montage
• resize2fs redimensionne un FS
• debugfs
• e2image sauvegarde les métadonnées dans un fichier, lisible avec debugfs -i ou dumpe2fs -i
• e2freefrag affiche la fragmentation de la place libre
• e2undo rejoue le journal qui n’a pas été accompli
• tune2fs -j /dev/sdx1 convertit un FS ext2 en FS ext3
• tune2fs -O extents,uninit_bg,dir_index /dev/sdx1 convertit un FS ext3 en FS ext4

4. Formatage XFS

En Debian8 :

apt-get install xfsprogs

• xfs_admin
• xfs_bmap
• xfs_copy
• xfs_db
• xfs_estimate
• xfs_freeze
• xfs_fsr
• xfs_growfs
• xfs_info
• xfs_io
• xfs_logprint
• xfs_metadump
• xfs_mdrestore
• xfs_mkfile
• xfs_ncheck
• xfs_quota

5. Manipulation de périphériques Bloc

5.1. Copie par blocs avec dd

• dd est une commande unix permettant de copier un fichier (avec ou sans conversion au passage) notamment sur des périphériques blocs tel que des disques durs ou des lecteurs CD-ROM ou inversement.
• Contrairement à cp, la commande dd copie des portions de données brutes d’un périphérique. Par conséquent, dd préserve le système de fichier sous-jacent. cp se contente de traiter des données et les transfère d’un système de fichier à un autre.

5.2. Syntaxe de la commande dd

La syntaxe de dd est différente des autres commandes unix traditionnelles. dd utilise des options de la forme option=valeur au lieu des habituelles -o valeur ou --option=valeur.

Les principales options de dd sont les suivantes :

• if=fichier_entree (Input File) : lit ce fichier en entrée. Cela peut être un fichier régulier comme un périphérique de type bloc. Par défaut, c’est l’entrée standard qui est utilisée (par exemple le clavier).
• of=fichier_sortie (Output File) : écrit dans ce fichier en sortie.
• bs=t_b (Block Size) : copie les données par blocs de t_b octets.
• count=n_b : ne copie que n_b blocs.
• skip=n_e : ignore les n_e premiers blocs du fichier d’entrée1 (Ne copie le fichier d’entrée qu’à partir du bloc de rang n_e+1.)
• seek=n_s : ignore les n_s premiers blocs du fichier de sortie1 (Ne commence à écrire dans le fichier de sortie qu’à partir du bloc de rang n_s+1.)

5.3. Créer un fichier rempli de bits aléatoires

Créer un fichier rempli de bits aléatoires de 1 Mo :

dd if=/dev/urandom bs=1024 count=1000 of=fichier.bin

5.4. Créer une clé bootable

Créer une clé bootable Centos 7 sur /dev/sdb :

sudo dd if=CentOS-7.0-1406-x86_64-DVD.iso of=/dev/sdb

5.5. Créer une SD Card

Créer une SD Card Raspberry Pi :

sudo dd bs=4M if=~/2012-12-16-wheezy-raspbian.img of=/dev/sdb

5.6. Créer l’image d’un disque (démonté)

Créer l’image d’un disque (démonté) :

sudo dd if=/dev/sdb of=~/sdb.img

5.7. Copier un disque sur l’autre

Copier un disque sur l’autre :

sudo dd if=/dev/sdb of=/dev/sdc conv=noerror,sync

5.8. Copier une partition

Copier une partition :

sudo dd if=/dev/sdb1 of=~/sdb1.img

5.9. Créer des fichiers-disques vides d’une taille arbitraire

L’option seek permet de comencer à écrire sur la cible à partir du bloc obtenu par la multiplication de la valeur seek et de la taille de bloc. Quand le nombre count est nul, alors rien n’est écrit. Cela permet de créer des fichiers-disques vides d’une taille arbitraire. Par exemple, avec une valeur bs=1M, seek=1024 et count=0, on obtient un fichier de 1M*1024 octets soit 1Go. Le fichier sera totalement vide.

size=1
seek=$[${size}*1024]
disk="./disk1"
dd if=/dev/zero of=${disk} bs=1M seek=${seek} count=0

ls -lh disk1 ; du -sh disk1

-rw-rw-r--. 1 francois francois 1,0G  6 jun 22:12 disk1
0	disk1

6. Montage du système de fichier

6.1. Montage manuel du système de fichier

La commande mount permet de monter le FS d’un périphérique sous un répertoire local vide. C’est à partir de cet emplacement que le FS sera accessible.

La syntaxe de la commande mount est la suivante :

sudo mount -t <type> -o <option,option> /dev/<sdx1> /<repertoire_vide>

Les options habituelles, parmi d’autres, peuvent être ro, rw, sync (écriture synchrones sans passer par une mémoire cache) ou encore loop pour monter un fichier plutôt q’un périphérique bloc.

La commande umount démonte le périphérique désigné à condition qu’il ne soit plus utilisé.

6.2. Montage du système de fichier au démarrage

Au démarrage, les différents FS d’un système seront montés selon indications du fichier /etc/fstab. Ce fichier contient six champs :

# <périphérique> <point de montage> <type> <options> <dump> <fsck>
/dev/sda1 / xfs defaults 0 1
/dev/sda2 /opt xfs defaults 0 0

Si les quatre premiers champs obligatoires sont assez évident, on notera les deux derniers champs optionnels :

• dump active la sauvegarde
• fsck réalise la vérification automatique du FS au démarrage. En EXT, la valeur est toujours 1 pour le répertoire racine /

La commande mount -a va lire le fichier /etc/fstab et monter les FS indiqués.

Le fichier /etc/mtab contient tous les FS que le noyau utilise.

7. Créer un système de fichier loop

Création d’un fichier de 1Go :

dd if=/dev/zero of=${HOME}/fs_ext4.img bs=1M seek=1024 count=0

Formatage en ext4

sudo mkfs.ext4 ${HOME}/fs_ext4.img

mke2fs 1.42.9 (28-Dec-2013)
/home/francois/fs_ext4.img n'est pas un périphérique spécial en mode bloc.
Procéder malgré tout ? (o,n) o
Rejet des blocs de périphérique : complété
Étiquette de système de fichiers=
Type de système d'exploitation : Linux
Taille de bloc=4096 (log=2)
Taille de fragment=4096 (log=2)
« Stride » = 0 blocs, « Stripe width » = 0 blocs
65536 i-noeuds, 262144 blocs
13107 blocs (5.00%) réservés pour le super utilisateur
Premier bloc de données=0
Nombre maximum de blocs du système de fichiers=268435456
8 groupes de blocs
32768 blocs par groupe, 32768 fragments par groupe
8192 i-noeuds par groupe
Superblocs de secours stockés sur les blocs :
	32768, 98304, 163840, 229376

Allocation des tables de groupe : complété
Écriture des tables d'i-noeuds : complété
Création du journal (8192 blocs) : complété
Écriture des superblocs et de l'information de comptabilité du système de
fichiers : complété

Montage

sudo mkdir /mnt/ext4
sudo mount -t ext4 -o loop ${HOME}/fs_ext4.img /mnt/ext4
sudo losetup -a

/dev/loop0: [fc00]:917833 (/home/francois/fs_ext4.img)

Vérification

df -Th

Filesystem     Type      Size  Used Avail Use% Mounted on
udev           devtmpfs  981M   12K  981M   1% /dev
tmpfs          tmpfs     199M  1,5M  197M   1% /run
/dev/dm-0      ext4       18G  3,8G   13G  23% /
none           tmpfs     4,0K     0  4,0K   0% /sys/fs/cgroup
none           tmpfs     5,0M     0  5,0M   0% /run/lock
none           tmpfs     992M  152K  992M   1% /run/shm
none           tmpfs     100M   68K  100M   1% /run/user
/dev/sda1      ext2      236M   40M  184M  18% /boot
/dev/loop0     ext4      976M  1,3M  908M   1% /mnt/ext4

sudo -i su -c "echo $(date) > /mnt/ext4/f1"
sudo -i su -c "echo $(date) > /mnt/ext4/f2"
sudo mkdir /mnt/ext4/dir
sudo ls /mnt/ext4

dir  f1  f2  lost+found

Démontage et vérification du FS :

sudo umount ${HOME}/fs_ext4.img
sudo fsck ${HOME}/fs_ext4.img

fsck de util-linux 2.23.2
e2fsck 1.42.9 (28-Dec-2013)
/home/francois/fs_ext4.img : propre, 14/65536 fichiers, 12958/262144 blocs

Rendre le point de montage automatique au démarrage :

sudo -i su -c "echo ${HOME}/fs_ext4.img /mnt/ext4 ext4 rw 0 0 >> /etc/fstab"
mount -a
df -Th

8. Montage automatique du système de fichier

Le montage automatique (autofs) permet de définir des emplacements du système qui serviront de point de montage de manière opportune. Par exemple, lorsque l’emplacement /data/backup sera accédé, un périphérique bloc /dev/sdx1 y sera monté.

Une table principale /etc/auto.master contient les emplacements et la référence pour cet emplacement dans une table secondaire qui contient les directives d’automontage. Le démon autofs vérifie en permanence l’accès à ces dossiers.

Ce mécanisme est utile notamment pour “automonter” des disques distants, des répertoire /home itinérants, etc.

Eventuellement en Centos 7, il faudra l’installer via yum -y install autofs et vérifier le démarrage du service via systemctl status autofs

Par exemple en Debian8 :

sudo apt -y install autofs

Paramétrage de autofs (5.0.8-2+deb8u1) ...
Creating config file /etc/auto.master with new version
Creating config file /etc/auto.net with new version
Creating config file /etc/auto.misc with new version
Creating config file /etc/auto.smb with new version
Creating config file /etc/default/autofs with new version
update-rc.d: warning: start and stop actions are no longer supported; falling back to defaults
Traitement des actions différées (« triggers ») pour systemd (215-17+deb8u6) ...

cat  /etc/auto.{master,misc}

#
# Sample auto.master file
# This is an automounter map and it has the following format
# key [ -mount-options-separated-by-comma ] location
# For details of the format look at autofs(5).
#
#/misc	/etc/auto.misc
#
# NOTE: mounts done from a hosts map will be mounted with the
#	"nosuid" and "nodev" options unless the "suid" and "dev"
#	options are explicitly given.
#
#/net	-hosts
#
# Include /etc/auto.master.d/*.autofs
#
+dir:/etc/auto.master.d
#
# Include central master map if it can be found using
# nsswitch sources.
#
# Note that if there are entries for /net or /misc (as
# above) in the included master map any keys that are the
# same will not be seen as the first read key seen takes
# precedence.
#
+auto.master
#
# This is an automounter map and it has the following format
# key [ -mount-options-separated-by-comma ] location
# Details may be found in the autofs(5) manpage

cd		-fstype=iso9660,ro,nosuid,nodev	:/dev/cdrom

# the following entries are samples to pique your imagination
#linux		-ro,soft,intr		ftp.example.org:/pub/linux
#boot		-fstype=ext2		:/dev/hda1
#floppy		-fstype=auto		:/dev/fd0
#floppy		-fstype=ext2		:/dev/fd0
#e2floppy	-fstype=ext2		:/dev/fd0
#jaz		-fstype=ext2		:/dev/sdc1
#removable	-fstype=ext2		:/dev/hdd

9. Quotas sur les FS en EXT

Les quotas sur les disques se gèrent différemment d’un FS à l’autre.

Depuis que XFS est le FS par défaut on utilise les utilitaires XFS intégrés : https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/7/html/Storage_Administration_Guide/xfsquota.html

• 1. En FS EXT4, il faut les utilitaires disponibles :

sudo yum -y install quota || sudo apt -y install quota quotatool

• 1. Il sera nécessaire aussi d’activer les options usrquota et grpquota dans /etc/fstab :

grep quota /etc/fstab

/root/fs_ext4.img /mnt/ext4 ext4 rw,usrquota,grpquota 0 0

• 1. On crée (-c) la base de donnée de quota pour le FS de manière verbeuse (-v) des utilisateurs (-u) et groupes (-u) :

sudo quotacheck -cugv /mnt/ext4

• 1. Vérification :

sudo quotacheck -avug

Voici les limites proposées :

• soft (souple) : avertira les utilisateurs d’un dépassemnt souple (en Ko).
• hard : Empêchera l’usage supplémentaire du disque en cas de dépassemnt.

On peut aussi limiter le nombre d’inodes.

Enfin, on appelle la période de grâce le délai pendant lequel une limite souple peut être dépassée pour devenir une limite dure.

• 1. Configurer un utilisateur

sudo edquota -u jack

• 1. Configurer un groupe :

sudo edquota -u devel

• 1. Vérifier les quotas :

sudo repquota -as

*** Rapport pour les quotas user sur le périphérique /dev/loop1
Période de sursis bloc : 7days ; période de sursis inode : 7days
                        Space limits                File limits
Utilisateur     utilisé souple stricte sursis utilisé souple stricte sursis
----------------------------------------------------------------------
root      --     20K      0K      0K              2     0     0

• 1. Régler la période de sursis :

sudo edquota -t

10. Mémoire SWAP

La mémoire swap est un espace de stockage visant à pallier à un manque de mémoire vive du système. La mémoire swap sert à étendre la mémoire utilisable par un système d’exploitation par un fichier d’échange ou une partition dédiée.

• mkswap <dev> est la commande qui permet de créer un espace swap
• swapon <dev> permet d’activer une swap
• swapoff <dev> permet de désactiver une swap

Les arguments possibles pour désigner l’espace de stockage swap :

• un fichier
• un périphérique type bloc, un disque, une partition
• un LABEL avec l’option -L
• un UUID avec l’option -U

La commande swapon -s permet de voir la configuration des mémoire SWAP.