Linux: praktické příkazy pro práci s logy a velkými soubory

Zobrazení posledních řádků logu

Sledování logů v reálném čase:

tail -f var/log/prod.log

Posledních N řádků:

tail -n 100 var/log/prod.log

Poslední řádky a okamžitý výstup:

tail var/log/prod.log

Hledání v obřím souboru

Základní grep:

grep "ERROR" file.log

Ignorování velikosti písmen:

grep -i "error" file.log

Čísla řádků:

grep -n "ERROR" file.log

Rekurzivní hledání ve složce:

grep -R "Exception" .

Rychlejší alternativa pro velké soubory (respektuje gitignore, přeskakuje skryté a binární soubory):

rg "ERROR" file.log

Práce s obřími soubory bez otevření

Zobrazení hlavičky:

head file.log

Prvních 200 řádků:

head -n 200 file.log

Kombinace s filtrem:

head -n 10000 file.log | grep "ERROR"

Rozdělení velkého souboru

Podle počtu řádků:

split -l 10000 bigfile.log part_

Podle velikosti:

split -b 100M bigfile.log part_

Kopírování a synchronizace

Lokální kopie:

cp file1 file2

Kopie složky:

cp -r dir1 dir2

Bezpečná synchronizace serveru:

rsync -avz source/ user@server:/target/

Rychlá analýza dat

Počet řádků:

wc -l file.log

Počet výskytů slova:

grep -o "ERROR" file.log | wc -l

Unikátní hodnoty:

sort file.log | uniq

Frekvence výskytu:

sort file.log | uniq -c | sort -nr

Bonus

Najít nejčastější error:

grep "ERROR" file.log | sort | uniq -c | sort -nr | head

Najít IP adresy:

grep -oE "[0-9]+\.[0-9]+\.[0-9]+\.[0-9]+" access.log | sort | uniq -c | sort -nr