9 příkazů AWS S3 s příklady pro správu segmentu a dat

Kontrola a správa dat může být namáhavý úkol. Tyto příkazy AWS S3 vám pomohou rychle a efektivně spravovat vaše buckety a data AWS S3.

AWS S3 je služba ukládání objektů poskytovaná společností AWS. Jedná se o nejpoužívanější službu úložiště od AWS, která dokáže prakticky pojmout nekonečné množství dat. Je vysoce dostupný, odolný a snadno se integruje s několika dalšími službami AWS.

AWS S3 mohou používat lidé s libovolnými požadavky, jako je úložiště mobilních/webových aplikací, úložiště velkých dat, úložiště dat strojového učení, hostování statických webových stránek a mnoho dalších.

Pokud jste ve svém projektu používali S3, věděli byste, že vzhledem k obrovské kapacitě úložiště může být správa 100 bucketů a terabajtů dat v těchto bucklech náročná práce. Máme seznam příkazů AWS S3 s příklady, které můžete použít k efektivní správě bucketů a dat AWS S3.

Nastavení AWS CLI

Po úspěšném stažení a instalaci AWS CLI musíte nakonfigurovat přihlašovací údaje AWS, abyste měli přístup k účtu a službám AWS. Pojďme si rychle projít, jak můžete nakonfigurovat AWS CLI.

  5 nástrojů pro úplné zachycování a analýzu paketů pro malé až velké sítě

Prvním krokem je vytvoření uživatele s programovým přístupem k účtu AWS. Nezapomeňte zaškrtnout toto políčko, když vytváříte uživatele pro AWS CLI.

Udělte oprávnění a vytvořte uživatele. Na poslední obrazovce po úspěšném vytvoření tohoto uživatele zkopírujte ID přístupového klíče a tajný přístupový klíč tohoto uživatele. Tyto přihlašovací údaje použijeme k přihlášení přes AWS CLI.

Nyní přejděte na požadovaný terminál a spusťte následující příkaz.

aws configure 

Po zobrazení výzvy zadejte ID přístupového klíče a tajný přístupový klíč. Vyberte libovolnou oblast AWS a výstupní formát příkazu. Osobně preferuji použití formátu JSON. To není velký problém, tyto hodnoty můžete kdykoli později změnit.

Nyní můžete spustit jakýkoli příkaz AWS CLI v konzole. Pojďme si nyní projít příkazy AWS S3.

cp

Příkaz cp jednoduše zkopíruje data do a ze segmentů S3. Lze jej použít ke kopírování souborů z místního do S3, z S3 do místního a mezi dvěma segmenty S3. Existuje mnoho dalších parametrů, které můžete dodat s příkazy.

Například parametr -dryrun pro testování příkazu, parametr –storage-class pro specifikaci třídy úložiště vašich dat v S3, další parametry pro nastavení šifrování a mnoho dalšího. The příkaz cp vám dává úplnou kontrolu nad tím, jak nakonfigurujete zabezpečení dat v S3.

Používání

aws s3 cp <SOURCE> <DESTINATION> [--options]

Příklady

Zkopírujte data z local do S3

aws s3 cp file_name.txt s3://bucket_name/file_name_2.txt

Zkopírujte data z S3 do místního

aws s3 cp s3://bucket_name/file_name_2.txt file_name.txt

Kopírování dat mezi segmenty S3

aws s3 cp s3://bucket_name/file_name.txt s3://bucket_name_2/file_name_2.txt

Zkopírujte data z local do S3 – IA

aws s3 cp file_name.txt s3://bucket_name/file_name_2.txt --storage-class STANDARD_IA 

Zkopírujte všechna data z místní složky do S3

aws s3 cp ./local_folder s3://bucket_name --recursive

ls

The ls příkaz slouží k výpisu kbelíků nebo obsahu kbelíků. Pokud tedy chcete jednoduše zobrazit informace o vašich bucketech nebo data v těchto bucklech, můžete použít příkaz ls.

Používání:

aws s3 ls NONE or <BUCKET_NAME> [--options]

Příklady

Seznam všech bucketů na účtu

aws s3 ls

Output:
2022-02-02 18:20:14 BUCKET_NAME_1
2022-03-20 13:12:43 BUCKET_NAME_2
2022-03-29 10:52:33 BUCKET_NAME_3

Tento příkaz zobrazí seznam všech segmentů ve vašem účtu s datem vytvoření segmentu.

Seznam všech objektů nejvyšší úrovně v kbelíku

aws s3 ls BUCKET_NAME_1 or s3://BUCKET_NAME_1 

Output:
                           PRE samplePrefix/
2021-12-09 12:23:20       8754 file_1.png
2021-12-09 12:23:21       1290 file_2.json
2021-12-09 12:23:21       3088 file_3.html

Tento příkaz zobrazí seznam všech objektů nejvyšší úrovně v segmentu S3. Všimněte si, že objekty s předponou samplePrefix/ zde nejsou zobrazeny pouze objekty nejvyšší úrovně.

  Jak zakázat soukromé adresy Wi-Fi MAC na iPhone a iPad

Seznam všech předmětů v kbelíku

aws s3 ls BUCKET_NAME_1 or s3://BUCKET_NAME_1 --recursive

Output:
2021-12-09 12:23:20       8754 file_1.png
2021-12-09 12:23:21       1290 file_2.json
2021-12-09 12:23:21       3088 file_3.html
2021-12-09 12:23:20      16328 samplePrefix/file_1.txt
2021-12-09 12:23:20      29325 samplePrefix/sampleSubPrefix/file_1.css

Tento příkaz zobrazí seznam všech objektů v bucketu S3. Všimněte si, že jsou zobrazeny také objekty s předponou samplePrefix/ a všechny podpředpony.

mb

The příkaz mb se jednoduše používá k vytvoření nových S3 bucketů. Toto je poměrně jednoduchý příkaz, ale pro vytvoření nových bucketů by měl být název nového bucketu jedinečný pro všechny buckety S3.

Používání

aws s3 mb <BUCKET_NAME>

Příklad

Vytvořte nový segment v určité oblasti

aws s3 mb myUniqueBucketName --region eu-west-1

mv

The příkaz mv jednoduše přesune data do a ze segmentů S3. Stejně jako příkaz cp se příkaz mv používá k přesunu dat z lokálního do S3, S3 do lokálního nebo mezi dvěma segmenty S3.

Jediný rozdíl mezi příkazem mv a příkazem cp je ten, že při použití příkazu mv je soubor odstraněn ze zdroje. AWS přesune tento soubor do cíle. Existuje mnoho možností, které můžete zadat pomocí příkazu.

Používání

aws s3 mv <SOURCE> <DESTINATION> [--options]

Příklady

Přesunout data z místního do S3

aws s3 mv file_name.txt s3://bucket_name/file_name_2.txt

Přesuňte data z S3 do místního

aws s3 mv s3://bucket_name/file_name_2.txt file_name.txt

Přesun dat mezi segmenty S3

aws s3 mv s3://bucket_name/file_name.txt s3://bucket_name_2/file_name_2.txt

Přesunout data z lokálního do S3 – IA

aws s3 mv file_name.txt s3://bucket_name/file_name_2.txt --storage-class STANDARD_IA 

Přesuňte všechna data z předpony v S3 do místní složky.

aws s3 mv s3://bucket_name/somePrefix ./localFolder --recursive

předpsat

Příkaz presign vygeneruje předem podepsanou URL pro klíč v bucketu S3. Tento příkaz můžete použít ke generování adres URL, které mohou ostatní použít k přístupu k souboru v zadaném klíči bloku S3.

Používání

aws s3 presign – platnost vyprší za

Příklad

Vygenerujte předem podepsanou adresu URL, která je platná po dobu 1 hodiny pro objekt v segmentu.

aws s3 presign s3://bucket_name/samplePrefix/file_name.png --expires-in 3600

Output:
https://s3.ap-south-1.amazonaws.com/bucket_name/samplePrefix/file_name.png?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIA4MCZT73PAX7ZMVFW%2F20220314%2Fap-south-1%2Fs3%2Faws4_request&X-Amz-Date=20220314T054113Z&X-Amz-Expires=3600&X-Amz-SignedHeaders=host&X-Amz-Signature=f14608bbf3e1f9f8d215eb5b439b87e167b1055bcd7a45c13a33debd3db1be96

rb

Příkaz rb se jednoduše používá k odstranění bucketů S3.

Používání

aws rb <BUCKET_NAME>

Příklad

Smazat bucket S3.

aws s3 mb myBucketName
# This command fails if there is any data in this bucket.

Odstraňte segment S3 spolu s daty v segmentu S3.

aws s3 mb myBucketName --force

rm

Příkaz rm se jednoduše používá k odstranění objektů v segmentech S3.

  Jak vytvořit Emoji Mini v Klávesnici Google

Používání

aws s3 rm <S3Uri_To_The_File>

Příklady

Odstraňte jeden soubor z bucketu S3.

aws s3 rm s3://bucket_name/sample_prefix/file_name_2.txt

Odstraňte všechny soubory s konkrétní předponou v bucketu S3.

aws s3 rm s3://bucket_name/sample_prefix --recursive

Smažte všechny soubory v kbelíku S3.

aws s3 rm s3://bucket_name --recursive

synchronizace

Příkaz sync kopíruje a aktualizuje soubory ze zdroje do cíle stejně jako příkaz cp. Je důležité, abychom pochopili rozdíl mezi příkazem cp a příkazem sync. Když použijete cp, zkopíruje data ze zdroje do cíle, i když data v cíli již existují.

Rovněž neodstraní soubory z cíle, pokud jsou odstraněny ze zdroje. Synchronizace se však před zkopírováním dat podívá na cíl a zkopíruje pouze nové a aktualizované soubory. The příkaz synchronizace je podobný zapisování a odesílání změn do vzdálené větve v git. Příkaz synchronizace nabízí spoustu možností, jak příkaz upravit.

Používání

aws s3 sync <SOURCE> <DESTINATION> [--options]

Příklady

Synchronizujte místní složku do S3

aws s3 sync ./local_folder s3://bucket_name

Synchronizujte data S3 do místní složky

aws s3 sync s3://bucket_name ./local_folder

Synchronizujte data mezi dvěma buckety S3

aws s3 sync s3://bucket_name s3://bucket_name_2

Přesun dat mezi dvěma segmenty S3 s výjimkou všech souborů .txt

aws s3 sync s3://bucket_name s3://bucket_name_2 --exclude "*.txt

webová stránka

K hostování statických webů můžete použít segmenty S3. Příkaz website se používá ke konfiguraci hostování statického webu S3 pro váš segment.

Zadáte index a chybové soubory a S3 vám poskytne adresu URL, kde si můžete soubor prohlédnout.

Používání

aws s3 website <S3_URI> [--options]

Příklad:

Nakonfigurujte statické hostování pro segment S3 a zadejte indexové a chybové soubory

aws s3 website s3://bucket_name --index-document index.html --error-document error.html

Závěr

Doufám, že výše uvedené vám poskytne představu o některých často používaných příkazech AWS S3 pro správu bucketů. Pokud se chcete dozvědět více, můžete se podívat na podrobnosti certifikace AWS.

x