Představte si, že máte seznam dvaceti jmen a k nim přiřazená telefonní čísla, vše zapsané v prostém dokumentu Word. I když je to nepřehledné, pravděpodobně se vám podaří v tom zorientovat. Nyní si ale představte seznam dvou set jmen, kde kromě telefonních čísel jsou uvedena i sériová čísla a adresy, a to vše opět v prostém textu. Zmatek, že?
Nebyl by ten samý soubor dat mnohem přehlednější, pokud by byl strukturovaný? Samozřejmě! Právě proto datoví specialisté a analytici používají pro své analýzy formátovaná data. Dva z takových formátů pro ukládání a práci s daty jsou JSON a CSV.
JSON je odlehčený formát souborů, který se nejčastěji používá pro výměnu dat mezi různými aplikacemi či servery. Data v něm jsou uložena ve formě párů klíč-hodnota.
Naproti tomu soubory CSV (Comma Separated Values) jsou formátem, kde jsou hodnoty odděleny čárkami. I když jsou data takto oddělená, při analýze v Pythonu je často najdeme zobrazená v tabulkové struktuře.
Proč převádět JSON na CSV v Pythonu?
- Rychlejší analýza dat: Python provádí operace se soubory CSV rychleji. Data ve formátu CSV lze rychleji prohlížet, třídit, filtrovat a ořezávat. Python navíc disponuje knihovnou Pandas, která umožňuje efektivní analýzu dat ze souborů CSV.
- Širší podpora nástrojů pro zpracování dat: Ačkoli jsou soubory JSON lehké a snadné pro výměnu dat, soubory CSV se pohodlněji vizualizují a analyzují pomocí databází, tabulkových procesorů a programovacích jazyků, jako je Python.
- Efektivita paměti: Formát JSON obsahuje metadata, která zatěžují paměť, zatímco CSV obsahují pouze hodnoty oddělené čárkami bez dalších znaků či metadat. Analýza dat JSON navíc vyžaduje více paměti než CSV. Formát CSV je tedy při ukládání a zpracování velkých objemů dat paměťově efektivnější než JSON.
- Čitelnost pro člověka: CSV formát je vhodný pro manuální kontrolu. Data v CSV se snadno čtou a chápou při otevření v tabulkovém procesoru. JSON je naopak trochu složitější, zejména pokud obsahuje vnořené objekty.
- Výkon: Analýza a zpracování souborů CSV je rychlejší a vyžaduje méně paměti ve srovnání se soubory JSON, což se promítá do optimálního výkonu.
Jak převést JSON na CSV v Pythonu?
Zde jsou kroky, jak převést JSON na CSV pomocí Pythonu:
Krok 1: Importujte vestavěné moduly JSON a CSV.
import json
import csvKrok 2: Předpokládejme, že máte JSON data uložená v souboru s názvem `json_data.json`. Načtěte tato data do proměnné pomocí funkce `load()`.
with open('json_data.json') as data:
json_data = json.load(data)Krok 3: Vytvořte CSV soubor s hlavičkami z klíčů JSON jako názvy sloupců a odpovídajícími hodnotami v buňkách.
headers = json_data[0].keys()
with open('data.csv', 'w', newline="") as csv_file:
csv_writer = csv.DictWriter(csv_file, fieldnames=headers)
csv_writer.writeheader()
for row in json_data:
csv_writer.writerow(row)
Jak převést JSON na CSV pomocí knihovny Pandas v Pythonu?
Můžete napsat vlastní kód pro převod, jak je ukázáno výše, ale s knihovnou Pandas to bude ještě jednodušší, a to pomocí pouhých dvou řádků kódu.
Pro ty, kteří Pandy neznají, jedná se o knihovnu v Pythonu, která se specializuje na manipulaci a analýzu velkých objemů dat. Zde je návod, jak snadno převést JSON na CSV pomocí knihovny Pandas:
Krok 1: Nejprve je potřeba importovat knihovnu Pandas.
import pandas as pdKrok 2: Načtěte JSON data do Pandas DataFrame.
data = pd.read_json('json_data.json')Krok 3: Zapište data do CSV souboru.
data.to_csv('csv_data.csv', index=False)V aktuálním pracovním adresáři vznikne soubor s názvem `csv_data.csv`, kde budou uložena převedená data.
Parametr `index=False` zabrání, aby se do CSV souboru uložil sloupec indexu.
To je vše, vidíte, jak snadné je převést JSON do CSV pomocí knihovny Pandas?
Co je třeba zvážit při převodu velkých JSON souborů do CSV
- Paměť: Jedním z prvních problémů, se kterými se setkáte u velkých datových sad, je paměť. Pokud se pokusíte načíst všechna data do paměti najednou, můžete narazit na omezení. Proto zpracovávejte velká data po částech, abyste předešli problémům s pamětí.
- Odstranění redundance: Duplicitní data v datové sadě jen zvětšují její velikost, aniž by přidávala hodnotu. Odstraňte proto nadbytečná data. Tím snížíte velikost datového souboru a urychlíte převod.
- Používání knihoven: Pro malá data můžete napsat vlastní kód v Pythonu, ale pro velká data je lepší použít specializovanou knihovnu, jako je Pandas, abyste efektivně převáděli JSON do CSV.
- Zálohování: Než začnete převádět velké soubory JSON do CSV, udělejte si zálohu. To vám umožní vrátit se k původním datům, pokud se během převodu něco pokazí.
Potenciální chyby, které mohou nastat během převodu
#1. Chyba Unicode
Tato chyba nastává, když do souboru CSV zapisujete speciální znaky nebo znaky mimo ASCII.
Pro vyřešení tohoto problému, musíte zadat správné kódování ve funkci `open()` používané při převodu JSON do CSV.
Můžete to udělat přidáním parametru `encoding`, jak ukazuje následující příklad:
with open('data.csv', 'w', newline="", encoding='utf-8') as csv_file:#2. Chyba hodnoty: Očekávaný objekt nebo hodnota
Tato chyba se objeví, pokud je problém s obsahem souboru JSON, zejména pokud funkce nedokáže správně analyzovat objekt či samotný JSON soubor.
Proto se ujistěte, že vaše JSON data jsou správně formátovaná a dodržují syntaxi JSON.
Pokud vaše JSON data obsahují vnořené objekty, jako jsou pole, ujistěte se, že jsou JSON objekty uzavřeny v `[…]` a pole v `[…]`. Před převodem vnořených JSON do CSV se také ujistěte, že data byla normalizována pomocí funkce `json_normalize()`.
Jedním z hlavních rozdílů mezi JSON a CSV je, že JSON data nemají hlavičku jako CSV. Při převodu JSON do CSV je třeba správně zacházet s hlavičkami. Můžete jim přiřadit hodnoty nebo je nechat prázdné, jak vám vyhovuje.
Pokud hlavičky do CSV souboru přidáváte, ujistěte se, že jejich datový typ odpovídá datům ve sloupci.
Závěr
Převod JSON do CSV je v Pythonu poměrně snadný. A pokud použijeme knihovnu Pandas, je to ještě jednodušší.
Tento článek vám ukázal, jak převést soubory JSON do CSV pomocí Pythonu. Také jsme si ukázali, jak používat Pandas pro efektivní převod.
Následuje několik důležitých věcí, na které je potřeba myslet pro bezproblémový proces převodu a také běžné chyby, se kterými se můžete během převodu setkat.
Můžete se také podívat na to, jak převádět soubory JSON do Excelu.