Comment diviser une énorme feuille de calcul CSV Excel en fichiers séparés
Microsoft Excel excelle dans de nombreuses tâches quotidiennes. Mais de temps en temps, vous rencontrez l’un de ses inconvénients : la taille de la feuille de calcul. Lisez la suite pour savoir comment réduire une feuille de calcul Excel ou diviser un gros fichier CSV en plusieurs fichiers.
Pourquoi diviser un grand CSV en plusieurs fichiers ?
Vous pensez peut-être : « Pourquoi ai-je besoin de diviser un gros fichier Excel en plusieurs fichiers plus petits ? » C’est une question intéressante, d’autant plus qu’Excel a une limite de 1 048 576 lignes de feuille de calcul.
Plus d’un million de lignes semble incroyable. Cependant, atteindre la limite de lignes est plus facile que vous ne le pensez, en particulier lors de certaines tâches. Par exemple, si vous commercialisez par e-mail, vous pouvez importer un fichier CSV avec des millions d’adresses e-mail.
La seule question est de savoir comment gérer une feuille de calcul avec autant d’adresses ? De plus, que se passe-t-il si quelqu’un vous envoie un CSV (d’un autre programme) qui a dépassé la limite ?
Si cela ressemble à un problème que vous pourriez avoir, voici cinq façons de diviser un gros fichier CSV ou Excel en plusieurs fichiers plus petits.
Vous n’avez pas de gros fichier CSV sous la main, mais vous voulez jouer chez vous ? J’ai utilisé l’ensemble de données COVID-19 Open Research dans mon exemple, que vous pouvez également télécharger et utiliser.
1. Utilisez un programme pour décomposer le fichier CSV
Il existe plusieurs programmes de séparation CSV utiles. Voici deux des meilleurs. Cependant, juste avertissement, pendant que ces programmes sont en cours d’exécution, ils rencontrent parfois des problèmes de mémoire, un problème courant avec les séparateurs CSV.
Faire une vidéo du jour
Énorme séparateur CSV gratuit
Free Huge CSV Splitter est un outil de séparation CSV de base.Vous entrez le fichier CSV à diviser, le nombre de lignes à utiliser et sélectionnez diviser le fichierLe nombre de lignes détermine le nombre de fichiers de sortie avec lesquels vous vous retrouvez.
Séparateur CSV
CSV Splitter est le deuxième outil. Il offre à peu près les mêmes fonctionnalités que le Free Huge CSV Splitter, mais avec un design légèrement plus élégant. Il divise rapidement votre CSV en petits morceaux, vous permettant de déterminer le nombre de lignes à utiliser.
2. Utilisez un fichier batch
Ensuite, créez un fichier batch programmable. Vous pouvez utiliser un fichier de commandes pour traiter le CSV en petits morceaux et personnaliser le fichier pour fournir différents morceaux.
Ouvrez un nouveau document texte et copiez-collez ce qui suit :
@écho fermer
setlocal ENABLEDELAYEDEXPANSION
REM Modifiez cette valeur pour changer le nom du fichier qui doit être divisé. Inclure l’extension.
définir BFN=HCAHPSHospital.csv
REM Modifiez cette valeur pour modifier le nombre de lignes par fichier.
définir LPF=2500
REM Modifiez cette valeur pour changer le nom de chaque fichier court. Il sera suivi d’un numéro indiquant sa position dans la liste.
SET SFN=Fichier fractionné de l’hôpital
REM Ne pas changer au-delà de cette ligne.
RÉGLER SFX=%BFN :~-3 %
SET /A NuméroLigne=0
SET /A numéro de fichier=1
Pour /F « delims== » %%l dans (%BFN%) faire (
SET /A NuméroLigne+=1
echo %%l >> %SFN%!NumFichier!.%SFX%
Si !NumLigne!EQU !LPF!(
SET /A NuméroLigne=0
SET /A FileNum+=1
)
)
côté local
pause
Vous devez configurer le fichier batch avant de l’exécuter. Je vais vous montrer ce que fait chaque commande, vous pouvez la modifier pour l’adapter à la taille de votre fichier batch et à la sortie souhaitée.
- « set-bfn= » doit pointer vers le CSV que vous devez décomposer
- « set LPF= » est le nombre de lignes auxquelles vous souhaitez limiter le nouveau fichier
- « set-sfn= » est le nouveau schéma de nommage pour les fichiers fractionnés
Après avoir entré les variables, allez à Fichier > Enregistrer sous. Choisissez un nom de fichier, puis choisissez enregistrerEnsuite, sélectionnez votre fichier texte nouvellement enregistré et appuyez sur F2 renommez-le.remplacer .fichier texte nom du poste .chauve souris et appuyez sur d’accord lorsque l’avertissement apparaît. Vous pouvez désormais diviser des fichiers CSV volumineux en fichiers de sortie plus petits.
3. Décomposer le fichier CSV à l’aide d’un script PowerShell
Vous pouvez utiliser des fichiers de commandes pour une variété de tâches quotidiennes. Mais les scripts PowerShell sont plus rapides, en particulier pour ce type de traitement et de partitionnement.
Le script suivant découpe rapidement votre grand CSV en fichiers plus petits.
Tout d’abord, appuyez sur CTRL + X Ouvrez le menu d’alimentation de Windows et sélectionnez boîtier d’alimentation. Si PowerShell n’est pas une option, entrez boîtier d’alimentation Dans la barre de recherche de votre menu Démarrer, sélectionnez Meilleure correspondance.
Copiez et collez maintenant le script suivant :
$InputFilename = obtenir le contenu ‘C:fichieremplacement’
$OutputFilenamePattern = ‘output_done_’
$LimiteLigne = 50000
$ligne=0
$i = 0
$fichier=0
$début=0
while ($line -le $InputFilename.Length) {
if ($i -eq $LineLimit -Or $line -eq $InputFilename.Length) {
$fichier++
$Filename = « $OutputFilenamePattern$file.csv »
$nom du fichier d’entrée[$start..($line-1)] | Fichier de sortie $Filename -Force
$début = $ligne ;
$i = 0
écrire l’hôte « $Filename »
}
$i++ ;
$ligne++
}
Remplacez l’emplacement du fichier dans la première ligne par votre fichier CSV et exécutez le script. Le script génère un fichier CSV plus petit dans votre répertoire utilisateur.Par exemple, mon fichier CSV est à C:UsersGavin filename output_done_1.csv. Vous pouvez changer cela en changeant le nom de la sortie $OutputFilenamePattern = ‘output_done_’ Chaîne de caractères.
Vous pouvez trouver le script original sur SPJeff.
4. Utilisez Power Pivot pour décomposer un grand CSV
Votre avant-dernière solution consistant à diviser un gros fichier CSV en plus petits morceaux ne le divise pas réellement. Au lieu de cela, il vous permet de charger un gros fichier CSV dans Excel et de l’ouvrir avec l’outil Power Pivot. C’est vrai ; vous pouvez effectivement ignorer la limite de lignes Excel et gérer le fichier dans le programme.
Pour ce faire, vous pouvez créer un lien de données vers un fichier CSV, puis utiliser Power Pivot pour gérer le contenu. Pour une explication complète et un tutoriel, lisez le blog de Jose Barreto détaillant le processus.
En bref, Barreto a créé un tableau croisé dynamique « sans problème avec jusqu’à 8,5 millions de lignes ». L’image ci-dessus, tirée d’un article de blog, montre un total de 2 millions de lignes utilisées dans Excel.
N’oubliez pas que ce processus ne divise pas le CSV en petits morceaux. Cependant, cela signifie que vous pouvez manipuler le CSV dans Excel, ce qui est une option très pratique. Si vous avez besoin de plus de conseils, apprenez à utiliser les tableaux croisés dynamiques pour l’analyse des données.
5. Utilisez Split CSV pour diviser un grand CSV en ligne
Il existe également des services en ligne qui peuvent diviser votre gros fichier CSV en plus petits morceaux. L’une de ces options est Split CSV, un séparateur CSV en ligne gratuit.
Le fractionnement des CSV fonctionne bien pour gérer les ensembles de données COVID-19, en les divisant en morceaux pratiques. Comme avec d’autres outils, vous pouvez définir le nombre de lignes par fichier et le diviser. Cependant, je n’ai pas de gros fichier CSV pour tester, donc votre expérience peut varier.
Split CSV inclut également des options avancées. Pour les frais d’abonnement, vous pouvez utiliser des délimiteurs personnalisés, choisir le type de fichier de sortie, supprimer certains caractères du fichier de sortie et supprimer les lignes en double.
Divisez vos fichiers CSV en morceaux gérables
Vous disposez maintenant de cinq solutions pour diviser vos fichiers CSV en plus petits morceaux, ce qui les rend plus faciles à gérer. Ces solutions varient en termes de vitesse et de taille des fichiers CSV qu’elles peuvent gérer, vous pouvez donc expérimenter pour trouver la solution qui vous convient le mieux.
A propos de l’auteur
