Představte si 20 jmen a jejich telefonních čísel napsaných v jednoduchém dokumentu Word. Těžko sledovat, ale přesto se vám může podařit přečíst. Nyní si představte 200 jmen, ale tentokrát jejich sériová čísla a adresy spolu s telefonními čísly v prostém textu. Nemotorné, že?
Nemyslíte, že by bylo jasnější, kdybychom tato data viděli ve strukturovaném formátu? Ano vpravo! To je důvod, proč datoví vědci nebo analytici používají pro svou analýzu formátovaná data. Dva takové formáty pro ukládání nebo práci s daty jsou JSON a CSV.
JSON jsou odlehčené soubory známé pro výměnu dat mezi aplikacemi nebo servery. Ukládají data v párech klíč–hodnota.
Zatímco soubory CSV jsou hodnoty oddělené čárkami pro ukládání velkých dat. Přestože se jedná o hodnoty oddělené čárkami, často je najdete v tabulkové struktuře, když k analýze používáte Python.
Table of Contents
Proč převádět JSON na CSV v Pythonu?
Rychlejší analýza dat: Operace Pythonu se soubory CSV jsou rychlejší. Ve formátu CSV můžete data rychle prohlížet, třídit, filtrovat a ořezávat rychleji. Python má také knihovnu s názvem Pandas pro efektivní analýzu dat souborů CSV.
Podpora různých nástrojů pro zpracování dat: Přestože jsou soubory JSON lehké a snadno se s nimi vyměňují data, soubory CSV se pohodlněji vizualizují a analyzují pomocí databází, jako jsou tabulky a programovací jazyky, jako je Python.
Paměťově efektivní: Formát JSON obsahuje metadata, která zatěžuje paměť, zatímco CSV jsou pouze hodnoty oddělené čárkami bez dalších interpunkčních znamének nebo metadat. Navíc analýza dat JSON vyžaduje více paměti než CSV.
Ve srovnání s JSON je tedy formát CSV při ukládání a zpracování velkých datových sad efektivnější z hlediska paměti.
Čitelný člověkem: Formát CSV je vhodný pro manuální kontrolu. Při otevření v tabulkách nebo tabulkách můžete snadno číst a porozumět datům CSV, zatímco formát JSON je poněkud složitý na čtení, zejména pokud obsahuje vnořené objekty.
Výkon: Analýza a zpracování souborů CSV je rychlejší a vyžaduje méně paměti ve srovnání se soubory JSON, což vede k optimálnímu výkonu.
Jak převést JSON na CSV v Pythonu?
Zde jsou kroky k převodu JSON na CSV v Pythonu.
Krok 1: Importujte vestavěné moduly JSON a CSV.
import json import csv
Krok 2: Předpokládejme, že máme data JSON v souboru s názvem json_data.json. Načtěte tato data do proměnné pomocí funkce zatížení.
with open('json_data.json') as data:
json = json.load(data)
Krok 3: Vytvořte soubor csv se záhlavími JSON jako názvy sloupců a odpovídajícími hodnotami v buňkách.
headers = json[0].keys()
with open('data.csv', 'w', newline="") as csv_file:
csv_writer = csv.DictWriter(csv_file, fieldnames=headers)
csv_writer.writeheader()
for row in json:
csv_writer.writerow(row)
Jak převést JSON na CSV pomocí Pandas v Pythonu?
Můžete si napsat svůj vlastní kód pro převod pomocí vestavěných knihoven JSON a CSV, jak je uvedeno výše, ale Pandas je váš přítel. Díky tomu je převod ještě jednodušší s pouhými dvěma řádky kódu.
Pro ty, kteří neznají Pandy, je to knihovna Pythonu pro manipulaci a analýzu velkých dat. Zde je návod, jak snadno převést JSON na CSV pomocí Pandas.
Krok 1: Chcete-li převést soubory JSON na CSV, musíte nejprve importovat Pandy v Pythonu.
Import pandas as pd
Krok 2: Načtěte data JSON do Pandas DataFrame.
data = pd.read_csv('json_data.json')
Krok 3: Zapište data do souboru CSV.
data.to_csv('csv_data', index=False)
V aktuálním pracovním adresáři bude vytvořen soubor s názvem ‚csv_data‘, do kterého budou uložena převedená data CSV.
„index = False“ zde vylučuje sloupec indexu v souboru CSV.
To je vše, je tak snadné převést JSON na CSV pomocí Pandas.
Co je třeba zvážit při převodu velkých souborů JSON do CSV
- Paměť – Úplně prvním problémem, kterému obvykle čelíte u velkých datových sad, je paměť. Pokud se pokusíte načíst celá data do souboru CSV najednou, můžete narazit na problémy s pamětí. Zpracujte tedy velká data do CSV po částech, abyste předešli problémům s pamětí.
- Odstranit redundanci – Mít stejná redundantní data vícekrát v datové sadě jen zvětší velikost, ale nepřidá datům žádnou hodnotu. Odstraňte tedy nadbytečná data z datové sady. Tímto způsobem můžete zmenšit velikost datového souboru, což má za následek rychlejší převod.
- Používejte knihovny – Pokud jsou data malá, můžete napsat vlastní kód Pythonu a převést je na CSV, ale v případě velkých dat byste měli použít knihovnu Pythonu, jako je Pandas, abyste mohli efektivně převést JSON na CSV.
- Záloha – Mějte zálohu svých dat při převodu velkých souborů JSON do CSV. To vám pomůže vrátit se k původním datům, pokud se s převodem něco pokazí.
Potenciální chyby, které mohou nastat během převodu
#1. Chyba Unicode
K této chybě dochází, když do souboru CSV z dat JSON zapisujete speciální znaky nebo znaky jiné než ASCII.
Chcete-li tento problém vyřešit, měli byste zadat vhodné kódování ve funkci otevření používané při převodu souborů JSON na soubory CSV.
Můžete to udělat přidáním parametru nazvaného kódování do otevřené funkce, jak je uvedeno níže:
with open('data.csv', 'w', newline="", encoding='utf-8') as csv_file
#2. Chyba hodnoty: Očekávaný objekt nebo hodnota
Tato chyba se objeví, když dojde k problému s obsahem souboru JSON, zejména když funkce není schopna analyzovat objekt nebo soubor JSON.
Ujistěte se tedy, že jsou vaše data JSON správně naformátována a dodržují syntaxi JSON.
Kromě toho, pokud vaše data JSON obsahují vnořené objekty, jako jsou pole, ujistěte se, že jsou objekty JSON uzavřeny [..] a pole jsou zabalena [..]. Před převodem vnořených JSON na CSV se také ujistěte, že jsou data sloučena pomocí „JSON.normalize“.
Jedním z hlavních rozdílů mezi JSON a CSV je to, že data JSON nemají záhlaví jako CSV. Při převodu JSON na CSV tedy dobře zacházejte se záhlavími CSV. Můžete jim dát hodnoty nebo je nechat prázdné, jak chcete.
Pokud však dáváte záhlaví souboru CSV, ujistěte se, že jejich datový typ odpovídá skutečným datům v souboru.
Závěr
Převod JSON na CSV je snadný, když se provádí v Pythonu. Ještě jednodušší, pokud použijeme knihovnu Pandas.
Tento článek vám tedy ukáže, jak převést soubory JSON na CSV pomocí Pythonu. Také jsme vám ukázali, jak používat Pandas k efektivnímu převodu JSON na CSV.
Následuje několik důležitých věcí, které je třeba mít na paměti pro hladší proces převodu a běžné chyby, se kterými se můžete během převodu setkat.
Můžete se také podívat na převod souborů JSON do Excelu.