Awk

• O Awk
• Struktura zpracovávaných souborů
• Struktura programu
• Vzory
  • Druhy vzorů
• Akce
  • Akce - telo awk programu
  • Komentar
  • Promenne
  • FUNKCE
  • Operátory
  • Řídící struktury
  • Definice uživatelské funkce
  • Asociativni pole
• Examples

O Awk

AWK je jazyk pro zpracování řetězců. Používá se na podobné věci jako sed, jen je to trochu více programovací jazyk.

SYNOPSIS

awk [option] {-f p_soubor|program} [soubor ...]

OPTIONS

-f p_soubor

Soubor s programem AWK

program

retezec, ktery obshuje program awk

soubor

Jmena zpracovananych souboru. Nejsou-li uvedeny, zpracovava se standardni vstup.

EXAMPLES

Struktura zpracovávaných souborů

Záznamy a pole

Implicitni oddelovac zaznamu ve zpracovavanych souborech je znak "novy radek" (zaznamem je tedy cela radka). Kazdy vstupni zaznam je dale rozdelen na pole. V normalnim pripade jsou pole od sebe oddelena mezerami nebo tabulatory, ale lze definovat i jinne oddelovace.

Cislo aktualniho zaznamu je ulozeno v promenne NR.
Jednotliva pole jsou pristupna v programu awk pomoci promennych $1 (prvni pole), $2 (druhe pole) ….
V $0 je ulozeny cely vstupni zaznam (obvykle radka).

Struktura programu

Následující část popisuje strukturu skriptu AWK, která se píše do souboru předávaného volbou -f nebo se píše rovnou na příkazovou řádku (do jednoduchych uvozovek).

Bloky programu

vzor {akce} [vzor {akce} ...]

vzor

Program se aplikuje pouze na radky, ktere odpovidaji vzoru (reg. vyraz). Vzor je nepovinny. V pripade, ze neni uveden, provede se akce pro vsechny radky. Radek nevyhovujici zadnemu vzoru se ignoruje.

{akce}

Akce je take nepovinna. Neni-li uvedena, radky vyhovujici danemu vzoru se jen vytisknou na standardni vystup (defaultni akce je {print})

Vzory

Jako vzor lze pouzit logicky vyraz nebo regularni vyraz. Operator ~ testuje, zda pole nebo promenna vyhovuje regularnimu vyrazu. Operator !~ je negaci operatoru ~, tedy testuje na neshodu s regularnim vyrazem.

V logickych vyrazech je mozne pouzivat nasledujici relacni operatory:

Druhy vzorů

{ … }

(bez vzoru) Vykona se pro vsechny radky

BEGIN { … }

Akce spojene s timto vzorem se vykonaji pred zahajenim ostatnich akci awk.

END { … }

Akce se provedou po ukoncini zpracovani vsech osatnich akci awk.

/reg vyraz/ { …}

Akce se provedou na zaznamech (radkach), ktere odpovidaji vzoru

(logicky vyraz) { … }

Akce se provedou, pokud se logicky vyraz vyhodnoti jako pravdivy

vzor, vzor { … }

Carka je operator rozsahu. awk zpracovava interaval radek, ktery zacina radkem vyhovujici prvnimu vzoru a konci radkem, ktery vyhovuji druhemu vzoru. Pote, co awk nalezne druhy vzor (dokonci zpracovavani rozsahu), opet zacina hledat prvni vzor.

Examples

awk '$1~/^[Aa]/ {print}'

Vybira vsechny radky, ve kterych prvni pole odpovida regularnimu vyrazu ^[Aa]

awk '$1 < 5 ? $1 >1 : $1 > 8 {print}' cisla.txt

Vybira radky, ve kterych, pokud je prvni sloupec mensi nez 5 a vetsi nez 1 nebo je vetsi nez 5 a vetsi nez 8. (Tj. napr. cisla 2,3,4,9,10)

Akce

Odkazy na pole v záznamu

Záznam je defaultně řádka (oddělovač záznamů je defaultně znak "nová řádka").

Oddelovac poli v zaznamu je defaultne mezera. Je ulozen ve specialni promenne FS, kterou je mozno nastavit na jinou hodnotu. Oddelovac poli na vystupu je ulozen v promenne OFS. (Pouziva se u funkce print, kde se argumenty oddeluji carkou - misto carky se pouzije oddelovac OFS).

$1 $2 $3 …

odkazy jednotlive pole

$0

cely zaznam (cela radka)

NF

pocet poli ({printf $1, $NF} vytiskne prvni a posledni pole oddelene mezerou)

Akce - telo awk programu

Akce je to, co je uvnitr spicatych zavorek {}.
Neni-li uvedena, predpoklada se {print} (tj. vypis celeho radku). Akce se provede na kazdem radku, ktery vyhovi vzoru uvedenem pred akci. Pokud neni vzor uveden, provede se na kazdou radku. Pokud je vzor BEGIN resp. END, provede se pred zacatkem cteni radek, resp. po skonceni.

Uvnitr akce awk lze standardni vystup presmerovat do souboru (>), pripojit k souboru (>>) nebo spojit se vstupem jineho programu (|).

Je-li v {} vice prikazu, jsou od sebe oddeleny strednikem.

Komentar

Vše za znakem # uvnitr akce az do konce radky je chapano jako komentar. (Hodi se pro programy zapsane v souboru, na prikazove radce se vyuzije stezi).

Promenne

Promenne se deklaruji a inicializuji svym prvnim pouzitim. Awk ma nekolik zabudovanych promennych:

NR

cislo aktualniho zazamu

$0

aktualni zaznam (jako jedna promenna)

N

pocet poli v aktualnim zaznamu

$1,$2..

jednotliva pole v aktualnim zaznamu

FS

oddelovac vstupnich poli (implicitne mezera nebo tabulator)

RS

oddelovac vstupnich zazamu (implicitne "novy_radek" )

OFS

oddelovac vystupnich poli (implicitne mezera)

ORS

oddelovac vystupnich zazanamu (implicitne "novy radek")

FILENAME

jmeno aktualniho vstupniho souboru

Hodnoty RS, ORS, FS a OFS lze v programu zmenit.

FUNKCE

Awk ma definovano nekolik funkci pro praci s cisli a retezci:

length(str)

pocet znaku v argumentu str. Neni-li argument uveden, predpoklada se aktualni vstupni zaznam ($0)

int(num)

vraci celociselnou hodnotu num.

index(str1,str2)

vrati 0, pokud str2 neni obsazen v str1, jinak vrati pozici, v niz je umisten str2 v retezci str1. (prvni znak zacina jednickou, ne nulou)

split(str,arr,del)

ulozi prvky argumentu str, oddelene od sebe oddelovacem del do prvku pole arr[1]...arr[n], a vrati poecet prvku v poli.

sprintf(fmt,args)

argumenty args se zformatuji podle formatu fmt a vrati se vytvoreny retezec.

substr(str,pos,len)

vrati se podretezec retezce str zacinajici na pozici pos o delce len znaku.

exp(x)

exponencialni funkce.

log(x)

prirozeny logaritmus.

sqrt(x)

druha mocnina.

atan2(y,x)

arcus tangens podilu y/x

cos(x)

cosinus x

sin(x)

sinus x

getline

cte dalsi zaznam

gsub(RE,nahr,[str])

provadi globalni substituci vzoru RE retezcem nahr v retezci str; pokud argument str neni uveden, predpoklada se $0.

rand

nahodne cislo v intervalu 0 az 1 vcetne.

Spoustu dalších funkcí můžete najít v manuálové stránce k awk.

Funkce printf

Funkci printf lze pouzit vsude tam, kde se pouzije funkce print. Umoznuje ridit format vystupu podobne, jako printf z jazyka C.

printf "ridici_retezec" arg1, arg2, ..., argn

"ridici_retezec"

urcuje, jak se budou zobrazovat nalsedujici argumenty arg1 až argn.

Ridici retezec muze obsahovat:

Dale muze "ridici_retezec" obsahovat specifikace konverze:

%[-][x][.y] konverzni_znak

Konverzni znak muze byt nasledujici:

Operátory

Řídící struktury

Pro rizeni cinnosti lze vyuzivat ridici struktury, ktere jsou podobne jako ty v jazyku C.

if (podminka) prikaz1
else prikaz2

for (inicializace ridici promenne cyklu; podminka; zmena ridici promenne cyklu)
    prikaz

while (podminka) prikaz

break

ukoncuje cykl

continue

zacina dalsi iteraci cyklu

next

zacne se zpracovavat dalsi vstupni zaznam

exit

prejde se na vzor END

EXAMPLES

Pokud zaznam nezacina cislem, budeme zpracovavat dalsi zaznam (dalsi radku), dokud se nenajde radka zacinajici cislem.
Program je ulozen v souboru program.awk.

Program na tisknuti pouze sudych poli:

Zaznamy zacinajici teckou se ignoruji:

Vytisteni poli zaznamu v obracenem poradi:

Definice uživatelské funkce

function jmeno_funkce(arg, ...) { prikazy }

• Volani funkce muze byt uvedene jeste pred vlastni definici
• Mezi jmenem funkce a levou zavorkou nesmi byt zadna mezera
• Je-li argumentem pole, predava se odkazem (ve funkci muzeme zmenit hodnotu prvku pole a tato zmena se projevi v poli vně tela funkce). Obycejne promenne se predavaji hodnotou - pracujeme s jejich kopii a vne funkce se jejich hodnota nemeni.
• return x; - nektere funkce mohou takto vracet hodnotu
• lokalni promenne jsou promenne odsazene v seznamu argumentu extra mezerou (divny, ale je to tak)

EXAMPLES

Definujeme funkci hledej, ktera v poli jmena hleda retezec ulozeny v argumentu kdo. Pokud retezec v poli nalezne (prave tento retezec), vrati jeho index, jinak vrati hodnotu -1. Argument uk se pouziva jako lokalni promenna.

Asociativni pole

Všechny proměnné typu array jsou v awk asociativní (indexované řetězci).
Prirazeni hodnoty prvku asociativniho pole se provadi obdobne, jako kdyz prirazujeme hodnotu nejake promenne:

Speciální operátor in se dá použít pro zjištění, zda je v poli nějaký index:

Existuje i specialni tvar prikazu for, ktery iteruje pres asociativni pole:

Prvek je promenna, ktera nabyva hodnoty kazdeho indexu pole. Pole neni setridene, proto neni mozne se spolehat na poradi prvku v poli.

Examples

Vytiskne se predposledni a posledni pole kazdeho radku souboru data. Jednotliva pole budou navystupu oddelena dvojteckou.

Sectou se hodnoty prvniho pole ve vsech radcich souboru soubor.txt a nakonec se vytiskne prumerna hodnota tohoto pole.

Vytiskne vsechny radky ze souboru, ve kterych se prvni pole lisi od prvniho pole predchoziho radku.