Už vás nebaví omezení při přístupu k určitým webovým stránkám nebo online službám?
Chcete se vyhnout těmto překážkám a dosáhnout požadovaného obsahu?
Pokud jste odpověděli ano, zvažte využití proxy serveru prostřednictvím příkazové řádky s pomocí nástrojů cURL nebo wget.
Nejdříve si objasníme, co přesně proxy je a jak funguje.
Co je proxy server?
Proxy server funguje jako prostředník mezi vaším zařízením (například počítačem či mobilním telefonem) a internetem.
Když se snažíte přistoupit k webové stránce nebo službě, váš požadavek se nejdříve odešle na proxy server, a ne přímo do cíle.
Proxy server následně vaším jménem odešle požadavek cílovému serveru a obdrží od něj odpověď. Nakonec proxy server tuto odpověď přepošle zpět vašemu zařízení.
Je to jako mít osobního asistenta, který spravuje veškerou komunikaci mezi vámi a cílovým serverem.
Ale proč vůbec využívat proxy server?
Existuje mnoho důvodů.
Použití proxy serveru vám může pomoci chránit vaše soukromí a anonymitu. Při připojení k webu nebo službě přes proxy server je vaše IP adresa skryta před cílovým serverem. Server místo ní vidí pouze IP adresu proxy. To webům ztíží sledování vašich aktivit online.
A…
Dalším důvodem pro používání proxy serveru je filtrování obsahu. To se může hodit zejména organizacím, které chtějí kontrolovat nebo omezovat přístup k některým typům obsahu.
Proxy servery lze nastavit tak, aby blokovaly přístup k určitým webovým stránkám na základě definovaných kritérií, jako jsou klíčová slova nebo kategorie adres URL. Tím lze zajistit, že zaměstnanci nebudou během pracovní doby navštěvovat nevhodné nebo rozptylující webové stránky.
Pokud vás zajímají hlavní rozdíly mezi proxy a VPN, podívejte se na tento článek.
Jak používat proxy s cURL?
cURL je nástroj příkazové řádky s otevřeným zdrojovým kódem určený pro přenos dat mezi servery, což z něj dělá oblíbenou volbu pro technicky zdatné uživatele po celém světě. Díky své kompatibilitě s mnoha protokoly, jako je HTTP, FTP a SMTP, snadno zvládne i složité úlohy přenosu dat. Navíc je vybaven šifrovacími metodami, které pomáhají chránit data během přenosu.
cURL je snadno dostupný pro většinu operačních systémů. Pokud ho ve svém systému nemáte, jednoduše si ho stáhněte a nainstalujte. Postupujte podle níže uvedených kroků a odemkněte jeho plný potenciál.
Windows
- Stáhněte spustitelný soubor cURL z oficiálních stránek.
- Rozbalte soubor zip do libovolné složky ve vašem počítači.
- Přidejte cestu ke složce do systémové proměnné prostředí PATH.
macOS
- Otevřete aplikaci Terminál.
- Nainstalujte Homebrew (pokud ho ještě nemáte) spuštěním následujícího příkazu.
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
- Nyní nainstalujte cURL spuštěním tohoto příkazu:
brew install curl
Linux
Ve většině distribucí Linuxu je cURL předinstalován. Pokud ho nemáte, nainstalujte ho pomocí správce balíčků vaší distribuce.
Například na Ubuntu nebo Debianu instalujte cURL takto:
sudo apt-get install curl
Na CentOS nebo Fedoře použijte tento příkaz:
sudo yum install curl
Po instalaci cURL ho otestujte spuštěním příkazu „curl –version“ v terminálu.
Pojďme se věnovat našemu hlavnímu tématu.
Proxy s cURL použijete tak, že zadáte adresu proxy serveru a číslo portu v příkazu cURL s použitím volby -x nebo –proxy.
Zde je základní syntaxe příkazu cURL s proxy:
curl -x <adresa-proxy-serveru>:<číslo-portu> <url>
Nahraďte
Zde je příklad:
curl -x 5.189.184.6:80 ipinfo.io
Tento příkaz odešle požadavek na web ipinfo.io přes proxy server s adresou 5.189.184.6 na portu 80. Adresu proxy jsem převzal z veřejně dostupného seznamu. Pokud hledáte dočasnou proxy adresu, můžete navštívit tento web. Používáte na vlastní riziko!☢️
Někdy může být nutné zadat ověřovací údaje k proxy serveru. V takovém případě použijte možnosti „–proxy-user“ a „–proxy-password“ k zadání uživatelského jména a hesla. Například:
curl -x 5.189.184.6:80 --proxy-user jmeno:heslo <cíl-url>
Nahraďte „jmeno“ a „heslo“ svými skutečnými ověřovacími údaji pro proxy server.
Testování připojení proxy pomocí cURL
Před použitím proxy
Zde vidíte, že cURL zobrazuje moji původní IP adresu a umístění. Z bezpečnostních důvodů jsem musel svou IP adresu skrýt.
Po použití proxy
Zde cURL zobrazuje adresu proxy namísto mé původní IP adresy.
Jak používat proxy s wget?
wget je nástroj příkazové řádky pro stahování souborů z internetu. Je předinstalován na většině systémů Linux, Unix a macOS a je dostupný i pro Windows.
Chcete-li nainstalovat wget na Linux, použijte správce balíčků vaší distribuce.
Například na Debianu nebo Ubuntu použijte tento příkaz:
sudo apt-get install wget
Na CentOS nebo Fedoře:
sudo yum install wget
Na macOS nainstalujete wget pomocí Homebrew:
brew install wget
Ve Windows stáhněte binární spustitelný soubor z oficiálního webu GNU a přidejte ho do systémové cesty.
Jakmile máte wget nainstalovaný, můžete stahovat soubory z příkazové řádky zadáním URL souboru. Chcete-li například stáhnout soubor „example.zip“ z webové stránky, použijte tento příkaz:
wget http://example.com/example.zip
Můžete také použít další možnosti k přizpůsobení stahování, jako je zadání výstupního souboru nebo adresáře, omezení rychlosti stahování a obnovení přerušeného stahování. Chcete-li se dozvědět více, použijte manuál wget zadáním „man wget“ do terminálu.
Nyní se podíváme na konfiguraci proxy pomocí wget.
Nejprve nastavte proměnné prostředí pro proxy server spuštěním tohoto příkazu v terminálu:
export http_proxy=http://<adresa_proxy_serveru>:<port> export https_proxy=https://<adresa_proxy_serveru>:<port>
Otestujte, zda je proxy správně nakonfigurován spuštěním tohoto příkazu:
wget <cíl-url>
Nahraďte
(Volitelné) Chcete-li, aby nastavení proxy bylo trvalé, přidejte proměnné prostředí do souboru profilu prostředí, například ~/.bashrc nebo ~/.bash_profile. Na konec souboru přidejte následující řádky:
export http_proxy=http://<adresa_proxy_serveru>:<port> export https_proxy=https://<adresa_proxy_serveru>:<port>
Pokud váš proxy server vyžaduje ověření, přidejte do proměnných „http_proxy“ a „https_proxy“ své uživatelské jméno a heslo.
export http_proxy=http://<uživatelské_jméno>:<heslo>@<adresa_proxy_serveru>:<port> export https_proxy=https://<uživatelské_jméno>:<heslo>@<adresa_proxy_serveru>:<port>
Poznámka: Některé proxy servery mohou používat jiné schéma protokolu, například socks namísto „http“ nebo „https“. V takovém případě je nutné upravit schéma v proměnných prostředí a adresách URL.
Testování připojení proxy s wget
Před použitím proxy
wget zobrazuje moji původní IP adresu před použitím proxy adresy. Z bezpečnostních důvodů jsem musel svou IP adresu skrýt.
Po použití proxy
Zde vidíte, že wget se snaží připojit k proxy serveru před přístupem na webovou stránku.
Odstraňování běžných problémů
Používání proxy serveru s cURL a wget může někdy způsobit potíže. Nebojte se, máme pro vás pár tipů, které vám pomohou!
#1. Proxy server neodpovídá
Pokud proxy server neodpovídá, může být mimo provoz nebo se vyskytl problém. Zkuste následující:
- Zkontrolujte, zda je proxy server aktivní pomocí příkazu ping na IP adresu serveru.
- Ujistěte se, že jste zadali správnou adresu proxy serveru a číslo portu.
- Zkuste použít jiný proxy server, abyste zjistili, zda problém přetrvává.
#2. Spojení odmítnuto
Spojení odmítnuto? To není dobré.
Tato chyba obvykle znamená, že proxy server nepřijímá připojení. Zkuste následující kroky:
- Zkontrolujte, zda je proxy server nastaven tak, aby přijímal připojení z vaší IP adresy nebo podsítě.
- Ujistěte se, že proxy server není blokován firewallem nebo antivirovým softwarem.
- Zkontrolujte, zda proxy server vyžaduje ověřovací údaje, a ujistěte se, že jste zadali správné přihlašovací údaje.
Pokud žádný z těchto tipů nepomůže, zkuste jiný proxy server.
#3. Ověření certifikátu SSL/TLS se nezdařilo
Ověření certifikátu se nezdařilo? Zdá se, že je problém s certifikátem SSL/TLS proxy serveru.
Pro vyřešení problému zkuste následující:
- Zkontrolujte certifikát proxy serveru, zda je platný a nevypršela jeho platnost.
- Pokud je certifikát neplatný, obraťte se na správce proxy serveru, aby získal platný certifikát SSL/TLS.
- Pokud je certifikát platný, ale stále nefunguje, můžete zakázat ověření certifikátu SSL/TLS, ale buďte opatrní, může to ohrozit vaše zabezpečení.
#4. Ověření se nezdařilo
Pokud proxy server vyžaduje ověření a vy se nemůžete ověřit, pravděpodobně jste zadali špatné uživatelské jméno a heslo, nebo proxy server používá jinou metodu ověření.
Zkuste upravit své ověřovací údaje nebo se obraťte na správce proxy serveru.
Poznámka autora✍️
Na internetu je mnoho bezplatných a placených poskytovatelů proxy serverů. Jednou z doporučovaných možností pro komerční použití je IPProyal. IPProyal nabízí širokou škálu proxy řešení pro firmy, včetně proxy pro rezidenční a datová centra s různými umístěními a typy IP. Poskytuje spolehlivé a bezpečné proxy služby pro různé případy použití, jako je web scraping, dolování dat a automatizace.
Doufám, že vám tento článek pomohl se naučit, jak používat proxy s nástroji příkazové řádky cURL a wget. Mohlo by vás také zajímat, jak anonymizovat provoz Linuxu pomocí řetězců proxy a sítě Tor.