9 příkazů AWS S3 s příklady pro správu segmentu a dat
Kontrola a správa dat může být namáhavý úkol. Tyto příkazy AWS S3 vám pomohou rychle a efektivně spravovat vaše buckety a data AWS S3.
AWS S3 je služba ukládání objektů poskytovaná společností AWS. Jedná se o nejpoužívanější službu úložiště od AWS, která dokáže prakticky pojmout nekonečné množství dat. Je vysoce dostupný, odolný a snadno se integruje s několika dalšími službami AWS.
AWS S3 mohou používat lidé s libovolnými požadavky, jako je úložiště mobilních/webových aplikací, úložiště velkých dat, úložiště dat strojového učení, hostování statických webových stránek a mnoho dalších.
Pokud jste ve svém projektu používali S3, věděli byste, že vzhledem k obrovské kapacitě úložiště může být správa 100 bucketů a terabajtů dat v těchto bucklech náročná práce. Máme seznam příkazů AWS S3 s příklady, které můžete použít k efektivní správě bucketů a dat AWS S3.
Table of Contents
Nastavení AWS CLI
Po úspěšném stažení a instalaci AWS CLI musíte nakonfigurovat přihlašovací údaje AWS, abyste měli přístup k účtu a službám AWS. Pojďme si rychle projít, jak můžete nakonfigurovat AWS CLI.
Prvním krokem je vytvoření uživatele s programovým přístupem k účtu AWS. Nezapomeňte zaškrtnout toto políčko, když vytváříte uživatele pro AWS CLI.
Udělte oprávnění a vytvořte uživatele. Na poslední obrazovce po úspěšném vytvoření tohoto uživatele zkopírujte ID přístupového klíče a tajný přístupový klíč tohoto uživatele. Tyto přihlašovací údaje použijeme k přihlášení přes AWS CLI.
Nyní přejděte na požadovaný terminál a spusťte následující příkaz.
aws configure
Po zobrazení výzvy zadejte ID přístupového klíče a tajný přístupový klíč. Vyberte libovolnou oblast AWS a výstupní formát příkazu. Osobně preferuji použití formátu JSON. To není velký problém, tyto hodnoty můžete kdykoli později změnit.
Nyní můžete spustit jakýkoli příkaz AWS CLI v konzole. Pojďme si nyní projít příkazy AWS S3.
cp
Příkaz cp jednoduše zkopíruje data do a ze segmentů S3. Lze jej použít ke kopírování souborů z místního do S3, z S3 do místního a mezi dvěma segmenty S3. Existuje mnoho dalších parametrů, které můžete dodat s příkazy.
Například parametr -dryrun pro testování příkazu, parametr –storage-class pro specifikaci třídy úložiště vašich dat v S3, další parametry pro nastavení šifrování a mnoho dalšího. The příkaz cp vám dává úplnou kontrolu nad tím, jak nakonfigurujete zabezpečení dat v S3.
Používání
aws s3 cp <SOURCE> <DESTINATION> [--options]
Příklady
Zkopírujte data z local do S3
aws s3 cp file_name.txt s3://bucket_name/file_name_2.txt
Zkopírujte data z S3 do místního
aws s3 cp s3://bucket_name/file_name_2.txt file_name.txt
Kopírování dat mezi segmenty S3
aws s3 cp s3://bucket_name/file_name.txt s3://bucket_name_2/file_name_2.txt
Zkopírujte data z local do S3 – IA
aws s3 cp file_name.txt s3://bucket_name/file_name_2.txt --storage-class STANDARD_IA
Zkopírujte všechna data z místní složky do S3
aws s3 cp ./local_folder s3://bucket_name --recursive
ls
The ls příkaz slouží k výpisu kbelíků nebo obsahu kbelíků. Pokud tedy chcete jednoduše zobrazit informace o vašich bucketech nebo data v těchto bucklech, můžete použít příkaz ls.
Používání:
aws s3 ls NONE or <BUCKET_NAME> [--options]
Příklady
Seznam všech bucketů na účtu
aws s3 ls Output: 2022-02-02 18:20:14 BUCKET_NAME_1 2022-03-20 13:12:43 BUCKET_NAME_2 2022-03-29 10:52:33 BUCKET_NAME_3
Tento příkaz zobrazí seznam všech segmentů ve vašem účtu s datem vytvoření segmentu.
Seznam všech objektů nejvyšší úrovně v kbelíku
aws s3 ls BUCKET_NAME_1 or s3://BUCKET_NAME_1
Output:
PRE samplePrefix/
2021-12-09 12:23:20 8754 file_1.png
2021-12-09 12:23:21 1290 file_2.json
2021-12-09 12:23:21 3088 file_3.html
Tento příkaz zobrazí seznam všech objektů nejvyšší úrovně v segmentu S3. Všimněte si, že objekty s předponou samplePrefix/ zde nejsou zobrazeny pouze objekty nejvyšší úrovně.
Seznam všech předmětů v kbelíku
aws s3 ls BUCKET_NAME_1 or s3://BUCKET_NAME_1 --recursive Output: 2021-12-09 12:23:20 8754 file_1.png 2021-12-09 12:23:21 1290 file_2.json 2021-12-09 12:23:21 3088 file_3.html 2021-12-09 12:23:20 16328 samplePrefix/file_1.txt 2021-12-09 12:23:20 29325 samplePrefix/sampleSubPrefix/file_1.css
Tento příkaz zobrazí seznam všech objektů v bucketu S3. Všimněte si, že jsou zobrazeny také objekty s předponou samplePrefix/ a všechny podpředpony.
mb
The příkaz mb se jednoduše používá k vytvoření nových S3 bucketů. Toto je poměrně jednoduchý příkaz, ale pro vytvoření nových bucketů by měl být název nového bucketu jedinečný pro všechny buckety S3.
Používání
aws s3 mb <BUCKET_NAME>
Příklad
Vytvořte nový segment v určité oblasti
aws s3 mb myUniqueBucketName --region eu-west-1
mv
The příkaz mv jednoduše přesune data do a ze segmentů S3. Stejně jako příkaz cp se příkaz mv používá k přesunu dat z lokálního do S3, S3 do lokálního nebo mezi dvěma segmenty S3.
Jediný rozdíl mezi příkazem mv a příkazem cp je ten, že při použití příkazu mv je soubor odstraněn ze zdroje. AWS přesune tento soubor do cíle. Existuje mnoho možností, které můžete zadat pomocí příkazu.
Používání
aws s3 mv <SOURCE> <DESTINATION> [--options]
Příklady
Přesunout data z místního do S3
aws s3 mv file_name.txt s3://bucket_name/file_name_2.txt
Přesuňte data z S3 do místního
aws s3 mv s3://bucket_name/file_name_2.txt file_name.txt
Přesun dat mezi segmenty S3
aws s3 mv s3://bucket_name/file_name.txt s3://bucket_name_2/file_name_2.txt
Přesunout data z lokálního do S3 – IA
aws s3 mv file_name.txt s3://bucket_name/file_name_2.txt --storage-class STANDARD_IA
Přesuňte všechna data z předpony v S3 do místní složky.
aws s3 mv s3://bucket_name/somePrefix ./localFolder --recursive
předpsat
Příkaz presign vygeneruje předem podepsanou URL pro klíč v bucketu S3. Tento příkaz můžete použít ke generování adres URL, které mohou ostatní použít k přístupu k souboru v zadaném klíči bloku S3.
Používání
aws s3 presign
Příklad
Vygenerujte předem podepsanou adresu URL, která je platná po dobu 1 hodiny pro objekt v segmentu.
aws s3 presign s3://bucket_name/samplePrefix/file_name.png --expires-in 3600 Output: https://s3.ap-south-1.amazonaws.com/bucket_name/samplePrefix/file_name.png?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIA4MCZT73PAX7ZMVFW%2F20220314%2Fap-south-1%2Fs3%2Faws4_request&X-Amz-Date=20220314T054113Z&X-Amz-Expires=3600&X-Amz-SignedHeaders=host&X-Amz-Signature=f14608bbf3e1f9f8d215eb5b439b87e167b1055bcd7a45c13a33debd3db1be96
rb
Příkaz rb se jednoduše používá k odstranění bucketů S3.
Používání
aws rb <BUCKET_NAME>
Příklad
Smazat bucket S3.
aws s3 mb myBucketName # This command fails if there is any data in this bucket.
Odstraňte segment S3 spolu s daty v segmentu S3.
aws s3 mb myBucketName --force
rm
Příkaz rm se jednoduše používá k odstranění objektů v segmentech S3.
Používání
aws s3 rm <S3Uri_To_The_File>
Příklady
Odstraňte jeden soubor z bucketu S3.
aws s3 rm s3://bucket_name/sample_prefix/file_name_2.txt
Odstraňte všechny soubory s konkrétní předponou v bucketu S3.
aws s3 rm s3://bucket_name/sample_prefix --recursive
Smažte všechny soubory v kbelíku S3.
aws s3 rm s3://bucket_name --recursive
synchronizace
Příkaz sync kopíruje a aktualizuje soubory ze zdroje do cíle stejně jako příkaz cp. Je důležité, abychom pochopili rozdíl mezi příkazem cp a příkazem sync. Když použijete cp, zkopíruje data ze zdroje do cíle, i když data v cíli již existují.
Rovněž neodstraní soubory z cíle, pokud jsou odstraněny ze zdroje. Synchronizace se však před zkopírováním dat podívá na cíl a zkopíruje pouze nové a aktualizované soubory. The příkaz synchronizace je podobný zapisování a odesílání změn do vzdálené větve v git. Příkaz synchronizace nabízí spoustu možností, jak příkaz upravit.
Používání
aws s3 sync <SOURCE> <DESTINATION> [--options]
Příklady
Synchronizujte místní složku do S3
aws s3 sync ./local_folder s3://bucket_name
Synchronizujte data S3 do místní složky
aws s3 sync s3://bucket_name ./local_folder
Synchronizujte data mezi dvěma buckety S3
aws s3 sync s3://bucket_name s3://bucket_name_2
Přesun dat mezi dvěma segmenty S3 s výjimkou všech souborů .txt
aws s3 sync s3://bucket_name s3://bucket_name_2 --exclude "*.txt
webová stránka
K hostování statických webů můžete použít segmenty S3. Příkaz website se používá ke konfiguraci hostování statického webu S3 pro váš segment.
Zadáte index a chybové soubory a S3 vám poskytne adresu URL, kde si můžete soubor prohlédnout.
Používání
aws s3 website <S3_URI> [--options]
Příklad:
Nakonfigurujte statické hostování pro segment S3 a zadejte indexové a chybové soubory
aws s3 website s3://bucket_name --index-document index.html --error-document error.html
Závěr
Doufám, že výše uvedené vám poskytne představu o některých často používaných příkazech AWS S3 pro správu bucketů. Pokud se chcete dozvědět více, můžete se podívat na podrobnosti certifikace AWS.
