Déduplicateur CIDR

Le Dédoublonneur CIDR supprime les entrées redondantes d'une liste de blocs CIDR, produisant un ensemble minimal couvrant exactement le même espace d'adressage. Collez une liste contenant des doublons comme 10.0.0.0/8 et 10.1.0.0/16 et l'outil élimine à la fois les doublons exacts et les sous-réseaux entièrement contenus dans des sous-réseaux plus larges -- indispensable pour optimiser les règles de pare-feu, les tables de routage et la documentation réseau.

Comprendre la redondance CIDR

La redondance dans les listes CIDR est l'un de ces problèmes qui commence petit et grandit silencieusement. Un ensemble de règles de pare-feu qui commence avec 20 entrées propres peut gonfler à 200 en quelques années à mesure que les ingénieurs ajoutent des autorisations et des refus spécifiques sans vérifier ce qui existe déjà. Une table de routage peut accumuler à la fois des routes résumées et les routes spécifiques qu'elles couvrent, car supprimer les routes spécifiques semblait risqué sur le moment. Un export IPAM peut lister le même sous-réseau trois fois parce qu'il a été documenté indépendamment par trois équipes différentes. Aucune de ces redondances ne provoque une défaillance immédiate, elles passent donc inaperçues jusqu'à ce que quelqu'un doive auditer la configuration.

Cet outil gère deux types distincts de redondance. Le premier est la duplication exacte, où le même CIDR apparaît plusieurs fois dans la liste. C'est courant lors de la fusion de données provenant de sources différentes -- deux tableurs qui listent tous deux 192.168.1.0/24, ou un fichier de configuration édité par plusieurs personnes qui ont chacune ajouté la même entrée. Le second type est la redondance par inclusion, où un CIDR plus spécifique est entièrement dans un CIDR moins spécifique. Si votre liste contient à la fois 10.0.0.0/8 et 10.1.0.0/16, le /16 est redondant car chaque adresse qu'il couvre est déjà couverte par le /8.

L'impact pratique de la redondance dépend du contexte. Dans les ensembles de règles de pare-feu, les règles redondantes ralentissent le traitement des paquets car le pare-feu doit évaluer des règles qu'il ne matchera jamais (la règle plus large a déjà matché). Dans les tables de routage, les routes spécifiques redondantes consomment de la mémoire et augmentent le temps de convergence lors d'événements de routage. Dans la documentation, la redondance crée de la confusion sur le plan d'allocation réel, rendant les audits plus chronophages et sujets aux erreurs.

Comment dédupliquer des blocs CIDR

1. Collez votre liste de blocs CIDR dans le champ de saisie (un par ligne, séparés par des virgules ou des espaces).
2. Choisissez de conserver les sous-réseaux plus larges (moins spécifiques) ou plus petits (plus spécifiques) lorsqu'une relation d'inclusion est détectée.
3. L'outil normalise toutes les entrées, supprime les doublons exacts, puis supprime les sous-réseaux inclus.
4. Examinez la sortie dédupliquée et le rapport indiquant ce qui a été supprimé et pourquoi.

Exemples de déduplication CIDR

Suppression des doublons exacts

Input:                   Output:
10.0.0.0/8               10.0.0.0/8
192.168.1.0/24            192.168.1.0/24
10.0.0.0/8                172.16.0.0/12
192.168.1.0/24
172.16.0.0/12

Removed: 10.0.0.0/8 (exact duplicate)
Removed: 192.168.1.0/24 (exact duplicate)

Suppression des sous-réseaux inclus (conservation des plus larges)

Input:                   Output:
10.0.0.0/8               10.0.0.0/8
10.1.0.0/16              192.168.0.0/16
10.1.1.0/24
192.168.0.0/16
192.168.1.0/24

Removed: 10.1.0.0/16 (contained within 10.0.0.0/8)
Removed: 10.1.1.0/24 (contained within 10.0.0.0/8)
Removed: 192.168.1.0/24 (contained within 192.168.0.0/16)

Suppression des supernets (conservation des plus petits)

Lorsque vous choisissez de conserver les sous-réseaux plus spécifiques :

Input:                   Output:
10.0.0.0/8               10.1.0.0/16
10.1.0.0/16              10.1.1.0/24

Removed: 10.0.0.0/8 (supernet of 10.1.0.0/16)

Remarque : conserver les sous-réseaux plus petits signifie que la sortie peut ne pas couvrir le même espace d'adressage total que l'entrée, puisque les blocs plus larges sont supprimés.

Doublons non canoniques

Les entrées qui semblent différentes mais représentent le même réseau sont détectées après normalisation :

Quand utiliser la déduplication CIDR

• Optimisation des règles de pare-feu -- les règles redondantes ralentissent le traitement des paquets. Si vous avez une règle d'autorisation pour 10.0.0.0/8, une règle séparée pour 10.1.0.0/16 ajoute de la charge sans modifier le comportement.
• Nettoyage des tables de routage -- supprimez les routes spécifiques redondantes déjà couvertes par des routes résumées, réduisant la taille des tables de routage.
• Précision de la documentation -- éliminez les entrées de sous-réseaux en double qui s'accumulent entre les tableurs, tickets et exports de configuration.
• Étape préalable à l'agrégation -- la déduplication est généralement effectuée avant l'agrégation de routes pour garantir une entrée propre au Agrégateur CIDR.
• Validation IPAM -- identifiez les cas où le même sous-réseau a été enregistré plusieurs fois, éventuellement avec des adresses d'hôte différentes dans la notation.

Fonctionnement de la déduplication CIDR

Le processus de déduplication s'exécute en deux passes :

Passe 1 : suppression des doublons exacts

Chaque CIDR est d'abord normalisé en forme canonique (bits hôte mis à zéro). Les entrées ayant une adresse réseau et une longueur de préfixe identiques après normalisation sont dédupliquées, en ne conservant qu'une seule instance.

Passe 2 : suppression des inclusions

Les CIDR restants sont vérifiés pour les relations d'inclusion. Pour chaque paire, si la plage entière d'un CIDR se trouve à l'intérieur de la plage d'un autre, l'entrée redondante est supprimée. L'entrée considérée comme redondante dépend de votre sélection :

• Conserver les sous-réseaux plus larges -- le sous-réseau inclus (plus spécifique) est supprimé. Cela produit l'ensemble de couverture minimal.
• Conserver les sous-réseaux plus petits -- le sous-réseau englobant (moins spécifique) est supprimé. Cela préserve le détail granulaire.

Vérification d'inclusion pour 10.0.0.0/8 et 10.1.0.0/16 :

10.0.0.0/8  -> plage : 10.0.0.0 à 10.255.255.255
10.1.0.0/16 -> plage : 10.1.0.0 à 10.1.255.255

10.1.0.0 >= 10.0.0.0 ET 10.1.255.255 <= 10.255.255.255
-> 10.1.0.0/16 est contenu dans 10.0.0.0/8

La déduplication en pratique

Le choix entre conserver les sous-réseaux plus larges ou plus petits dépend de votre objectif. Pour l'optimisation de pare-feu, conserver les sous-réseaux plus larges produit l'ensemble de règles le plus compact -- si 10.0.0.0/8 est déjà autorisé, il n'y a aucun intérêt à conserver 10.1.0.0/16 ou 10.1.1.0/24. Pour la documentation, vous pourriez vouloir conserver les sous-réseaux plus petits car ils représentent les allocations réellement utilisées, même si un bloc parent les couvre techniquement tous. Il n'y a pas de réponse universellement correcte ; cela dépend de si vous vous souciez davantage de la couverture (conserver les plus larges) ou de la spécificité (conserver les plus petits).

Un workflow courant consiste à combiner la déduplication avec la normalisation et le tri. Commencez par le Normaliseur CIDR pour assurer une notation cohérente, puis exécutez le dédoublonneur, puis terminez avec le Trieur CIDR pour une sortie propre et ordonnée. Ce pipeline en trois étapes transforme une liste désordonnée provenant de n'importe quelle source en une liste propre, minimale et triée prête à être utilisée dans les configurations ou la documentation.

Méfiez-vous d'un piège subtil lors de la déduplication de règles de pare-feu : l'action d'une règle compte. Si 10.0.0.0/8 est une règle d'autorisation et 10.1.0.0/16 est une règle de refus, supprimer le /16 comme « redondant » change entièrement la posture de sécurité. La déduplication ne devrait être appliquée qu'aux règles ayant la même action, ou mieux encore, utilisez-la uniquement sur des listes d'adresses où le contexte d'action est géré séparément. Le Détecteur de conflits de règles est un meilleur outil lorsque vous devez analyser des règles de pare-feu avec leurs actions associées.

Questions fréquentes

La déduplication modifie-t-elle la couverture d'adresses ? En conservant les sous-réseaux plus larges (option par défaut), la sortie couvre exactement le même espace d'adressage que l'entrée -- aucune adresse n'est perdue ni ajoutée. En conservant les sous-réseaux plus petits, les adresses couvertes uniquement par les supernets supprimés ne seront plus dans l'ensemble de sortie.

L'outil gère-t-il les sous-réseaux chevauchants (mais non inclus) ? Le dédoublonneur gère spécifiquement les doublons exacts et les relations d'inclusion. Pour des blocs CIDR correctement alignés, le chevauchement implique toujours l'inclusion. Si vous devez analyser des chevauchements partiels (qui peuvent survenir avec des plages arbitraires), utilisez le Vérificateur de chevauchement de sous-réseaux.

Faut-il normaliser avant de dédupliquer ? Le dédoublonneur normalise en interne comme première étape, une normalisation séparée n'est donc pas nécessaire. Cependant, si vous souhaitez voir quelles entrées n'étaient pas canoniques avant la déduplication, exécutez d'abord le Normaliseur CIDR.

En quoi cela diffère-t-il de l'agrégation CIDR ? La déduplication supprime les entrées redondantes sans créer de nouveaux blocs CIDR. L'agrégation peut combiner des blocs adjacents en un seul bloc plus large (par ex. fusionner 10.0.0.0/24 et 10.0.1.0/24 en 10.0.0.0/23). Utilisez d'abord la déduplication, puis l'agrégation pour une optimisation maximale.

Puis-je dédupliquer une liste contenant à la fois des entrées IPv4 et IPv6 ? Oui. L'outil traite les entrées IPv4 et IPv6 indépendamment. Un CIDR IPv4 n'est jamais considéré comme un doublon ou comme contenu dans un CIDR IPv6, quelles que soient les valeurs d'adresse.

Que se passe-t-il si chaque entrée de ma liste est unique et sans chevauchement ? L'outil retourne la même liste inchangée (après normalisation). Le rapport indiquera qu'aucun doublon ni relation d'inclusion n'a été trouvé.

Outils associés

• Normaliseur CIDR - Normaliser la notation CIDR en forme canonique
• Trieur CIDR - Trier les blocs CIDR numériquement pour une revue plus facile
• Agrégateur CIDR - Agréger plusieurs blocs CIDR en routes résumées
• Vérificateur d'inclusion de sous-réseau - Vérifier si un bloc CIDR en contient entièrement un autre
• Vérificateur de chevauchement de sous-réseaux (liste contre liste) - Trouver les sous-réseaux chevauchants entre deux listes