Doktorska disertacija P. Jakopina, str. 47 - 88

5. poglavje

Statistični opis

Pri vsaki kvantitativni obdelavi je zanimivo vprašanje, kako se lotiti ustreznega opisa gradiva. Pri leposlovnih besedilih gre za opis gradnikov hierarhije - delo, stran, odstavek, poved, beseda, znak (oziroma črka v ožjem smislu). Pri elektronskih besedilih navadno ni podatkov o mejah strani, ki tudi pri knjižnih verzijah niso stalne - razlikujejo se od izdaje do izdaje. V tabeli 27 je navedeno število teh gradnikov za oba vzorca.

Tabela 27: Število enot v obeh vzorcih

	Znakov	Besed	Povedi	Odstavkov
Prvi vzorec	16.784.110	2.721.416	201.445	62.493
Drugi vzorec	2.497.308	407.938	37.459	12.710
Skupaj	19.281.418	3.129.354	238.904	75.203

Drugi vzorec, ki vsebuje vsa dela (52) Cirila Kosmača, je po velikosti v znakih približno 15 % prvega vzorca, ki obsega 60 del 41 avtorjev. Oba skupaj sta velika približno stotino največje sedanje besedilne zbirke na svetu - Bank of English, kjer pa je leposlovja malo.

Statistični opis v nalogi je razdeljen na razdelke o znakih, besedah in povedih, ki jim sledi še poglavje o entropiji.

5.1 Znaki

Najmanjši delci pisanega besedila in drugih negovorjenih sporočil, delci, ki se jih ne da še naprej deliti, so znaki. Sem spadajo črke, ločila, med katerimi je najpomembnejši presledek, simboli, kakršen je recimo paragraf, in razne oznake, ki sicer niso del besedila, kot npr. kazalci na opombe. Namesto izraza znaki je v literaturi dostikrat uporabljen tudi izraz simboli.

Tabela 28: Nabor znakov iz obeh vzorcev skupaj, absolutno in v odstotkih

5.1.1 Nabor

V tabeli 28 na prejšnji strani je naveden skupni nabor znakov iz obeh vzorcev. Pri tem niso upoštevana zaglavja pred besedili, so pa zajete oznake meja povedi, odstavkov, premega govora in podobnega, vsi dodatni simboli, ki so že bili navedeni v tabeli 5. Vsega skupaj je v obeh vzorcih nastopalo skupaj 168 različnih znakov, v prvem 165, v drugem pa 128. Največ črk, ki ne nastopajo v slovenski abecedi, so prinesli prevodi, predvsem delo Libuše Moníkove Fasada. V njem je bilo celo nekaj citatov v cirilici, ki so bili označeni kot neslovensko besedilo in nadomeščeni z zvezdico. Trije dodatni znaki, ki jih je v skupni nabor prispeval drugi vzorec, so bili znak za paragraf ter par dvojnih navednic zgoraj in spodaj - simbola § in ş.

Kode znakov iz tabele 28 so kode, kakršne imajo ti znaki v naboru urejevalnika EVA (16-bitni nabor znakov, njegov naslov na internetu je naveden v prilogi D na strani 293). Pari znakov z nizkimi kodami razmejujejo vrsto pisave - par (17, 18) pomeni začetek in konec poudarjenega tiska (skupaj je bilo takih delov tiska 874), par (23, 24) začetek in konec kurzive (966-krat), par (25, 26) pa začetek in konec potenc (predvsem za opombe, 621-krat). Indeksov v besedilih ni bilo, bil pa je, v besedilu prvega vzorca, dvakrat uporabljen poseben znak za kvadrat ($2$, koda 648).

Znaki od kode 32 do 122 sledijo naboru ASCII, začenši s presledkom, ki ima pogostost 17,96, kar je približno odstotek več kot v primerljivi raziskavi (Kristan idr. 1994); razliko gre pripisati predvsem deležu časopisnega jezika v njej, ki ima opazno daljše besede. Neslovenske črke q, w, x in y s frekvencami 283, 675, 628 in 3.195 (0,02 % celote) se po pogostosti s črkami našega jezika, niti s črko f, ne morejo primerjati, kar je v skladu s pričakovanji. Izredno redki znaki v tem območju, vsi s frekvenco 5 ali manj, so dvojni narekovaj (4), dolar (1), odstotek (5), znak manjše (1) in enačaj (3). Tako malo dvojnih narekovajev v besedilu je zaradi tega, ker jih v tiskanih leposlovnih delih res ni. Povsod tam, kjer ni bilo eksplicitno razvidno, da je bil res mišljen ta znak, npr. pri premem govoru in podobno, je v rabi par >> in <<. Posebno pozornost zasluži še pomišljaj (-) s kodo 45. V besedilih je navadno nastopal v obeh vlogah - kot nestični (npr. v povedi Poglej - žoga!) in kot stični pomišljaj ali vezaj (npr. v izrazu Ve-li-ka ne-de-lja). Da ne bi prihajalo do težav pri prelomu na besede in pri podobnih postopkih, je bil pomišljaj v stični vlogi v obeh vzorcih povsod nadomeščen s posebnim stičnim pomišljajem, ki ima kodo 658. Bilo ga je približno desetkrat manj kot nestičnega (2.711 proti 25.632); nestični pomišljaj je bil zelo pogosto uporabljen za označitev premega govora namesto narekovajev.

V območju kod od 129 do 164 nastopajo črke z diakritičnimi znamenji, ki so v rabi predvsem v zahodni Evropi; med njimi so daleč najpogostejši samoglasniki é, á, í in ó z ostrivcem (2.101, 1.247, 704 in 701), sledi pa jim è s krativcem (565).

Tabela 29: Nabor znakov iz prvega vzorca, absolutno in v odstotkih

Tabela 30: Nabor znakov iz drugega vzorca, absolutno in v odstotkih

Črke z diakritičnimi znamenji, ki se ne uporabljajo v slovenskem jeziku, npr. samoglasniki s preglasi, so spet zelo redke. Na kodah od 166 do 171 sledijo šumniki Č, č, Š, š, Ž, ž, za njimi pa dve črki od štirih s srbskega oziroma hrvaškega govornega področja, ć (86) in Ð (1). Črka đ ne nastopa niti enkrat, kar pomeni da je bila najverjetneje že v originalnih besedilih transkribirana v dj. S kodo 185 malo naprej najdemo trdi presledek, lahko bi mu rekli tudi nedeljivi presledek, s frekvenco 2.057. Z njim je bil nadomeščen navaden presledek v primerih nedeljivih besednih enot, npr. pri krajevnih imenih, kot so Sv. Lucija, New York in podobno. Na kodah od 246 do 267 so simboli za označevanje besedila, razloženi v razdelku 3.1.1 (Dodatni simboli). Iz tega dela tabele sledi, da je bilo v besedilu 9.358 primerov nizov, ki niso besedilo (predvsem oznak vrstic v poglavjih Nove zaveze), 1.344 citatov v drugih jezikih, 75.203 odstavki, 56.240 primerov premega govora, 238.904 povedi, 1.712 vrstic, ki morajo biti pomaknjene na sredino, 3.814 delov besedila, ki se jih ne sme reformatirati (pesmice, lepo zloženi citati), 893 vzdevkov, 556 citatov v slovenskem jeziku in trije deli, ki morajo biti (na internetu) izpisani s črkami fiksne širine. Na koncu je še nekaj redkejših črk, predvsem z diakritičnimi znamenji, tropičje (s frekvenco 10.112), ki je bilo uvedeno zaradi lažjega določevanja meja povedi, ter razne oblike navednic.

V tabelah 28 in 29 na prejšnjih dveh straneh sta navedena nabora črk za prvi in za drugi vzorec posebej. Odstotne vrednosti v obeh tabelah so dokaj blizu, nekaj razlik je pa vendar opaznih. Tako je v prvem vzorcu presledkov 17,78 %, v drugem pa 19,19 %, kar kaže na krajšo dolžino besed v Kosmačevem besedilu; ta bo potrjena v naslednjem razdelku. V prvem vzorcu pride en premi govor na 4,39 povedi, v drugem pa na 3,62, kar kaže na večji delež dialoga pri Kosmaču. V drugem vzorcu opazimo tudi izredno majhno zastopanost števk - skupaj jih je komaj 0,01 % vseh znakov, v prvem vzorcu pa 0,17 %.

5.1.2 Porazdelitve

Na sliki 7 je prikazana porazdelitev najpogostejših črk v obeh vzorcih, kjer so bile velike in male črke združene, deleži pa se nanašajo na vse črke in ne na vse znake. Opazimo, kot je bilo ugotovljeno že v vseh prejšnjih raziskavah, prevlado črke e nad a. Odnos je 7,92 % proti 7,74 % glede na vse znake v obeh vzorcih, kar pomeni, da je e-jev za 2,33 % več kot a-jev. Hipotezi, postavljeni v članku (Kristan idr. 1994), da je odnos med vodilnima samoglasnikoma odvisen od starosti besedila in da je v novejših prevladujoč a, je nekoliko bliže odnos v prevodih, novejših besedilih prvega vzorca (6.128.484 znakov). Tam sicer še vedno prevladuje e, vendar že manj - 7,73 : 7,66. Po mnenju avtorja je odnos med obema bolj odvisen od žanra besedila - v nekaterih pravljicah je zaradi imen glavnih junakov odnos precej porušen v korist a-ja, npr. 7,55 : 8,81 (Jakopin in Musar 1997). Druga razlika je v pogostosti nadaljnjih dveh samoglasnikov, i in o. V predhodni raziskavi je črka i pogostejša od črke o, po

Slika 7: Porazdelitev najpogostejših 25 črk v obeh vzorcih skupaj

rezultatih, dobljenih za oba vzorca skupaj, pa je nekoliko pogostejši o - odnos je 6,72 % : 6,69 %. Porazdelitev drugih črk je v skladu s pričakovanji in ne odstopa bistveno od vrednosti, izmerjenih na manjšem vzorcu v predhodni, že omenjeni raziskavi (Kristan idr. 1994).

Primerjava porazdelitev vseh črk v obeh vzorcih je prikazana na sliki 8. Odstotki se tudi tokrat nanašajo na delež posamezne črke med vsemi črkami in ne med vsemi znaki.

Slika 8: Porazdelitev najpogostejših 25 črk za prvi (črn) in drugi vzorec

Razlike so majhne, pa zanimive. Takoj je videti, da je v drugem vzorcu delež črke a za malenkost večji kot delež črke e, obakrat pa spet večji kot v prvem vzorcu, medtem ko so deleži preostalih treh samoglasnikov, črk i, o in u, v drugem vzorcu opazno manjši kot v prvem - lahko bi rekli, da je Kosmačeva govorica "širša" od govorice v drugih slovenskih leposlovnih besedilih.

Poleg porazdelitve vseh črk sta najbolj zanimivi še dve porazdelitvi - porazdelitev prvih in zadnjih črk v vseh besedah. Prikazani sta na slikah 9 in 10. Na sliki 9 najprej opazimo, v primerjavi s sliko 8, majhne frekvence samoglasnikov in večjo urejenost cele slike. V nasprotju s prejšnjo raziskavo (kjer je prvi p) je najpogostejša prva črka pri obeh vzorcih s (ki je od vseh črk najlažje izgovorljiva), sledijo p, n, j in v. Črke c, e in f so na začetku besed zelo redko.

Slika 9: Porazdelitev prvih črk vseh besed za prvi (črn) in drugi vzorec

Slika 10: Porazdelitev zadnjih črk vseh besed za prvi (črn) in drugi vzorec

Informacijsko še veliko revnejša je porazdelitev zadnjih črk v vseh besedah. Samoglasniki e, a, i in o in pa l, ki se na koncu besede izgovori kot 6, skupaj s pravim u-jem zavzamejo kar 71 % celote. Po drugi strani pa je cela vrsta črk, ki so brez naslednika težko izgovorljive in jih zato na koncih besed najdemo le redko: b, c, f, g, p in ž. V sliko 10 bi po frekvenci sodila tudi črka y (0,06 %), ki presega črko f (0,03 %), a je bila zaradi medsebojne primerljivosti slik 8, 9 in 10 izpuščena.

5.1.3 N-terčki znakov

Znakovni n-terčki, se pravi nizi po 1, 2, 3, 4, 5, ... znakov iz besedila imajo pri kodiranju sporočil veliko uporabno vrednost in tudi sicer o besedilu zelo dosti povedo. Prav pridejo pri krajših mehanizmih za preverjanje pravilnosti besedila, njihovo porazdelitev je mogoče uporabiti tudi pri deljenju besed na koncu vrstic (Jakopin 1995b), na koncu razdelka pa je omenjen njihov pomen za identifikacijo jezika.

Njihovo število z rastočim n izredno hitro narašča, še vedno pa seveda dosti počasneje kot število teoretično možnih kombinacij, ki bi jih dobili, če bi bili vsi znaki na vseh mestih enako pogosti. Hitrost naraščanja n-terčkov je razložena v poglavju o entropiji, na naslednjih dveh straneh pa je v tabelah 31 in 32 naštetih 60 najpogostejših n-terčkov s frekvencami, za n od 1 do 14 in za oba vzorca. Tabeli sta bili napravljeni iz besedil, potem ko so bila že razrezana na povedi, ko so bili izločeni dodatni simboli, tuji citati in razni kazalci (številke opomb in podobno), ki niso besedilo v ožjem smislu; presledek je povsod nadomeščen s podčrtajem (_).

Frekvence najpogostejših n-terčkov v prvem vzorcu za posamezen n: _/ e_/ je_/ ,_da/ _se_je/ _se_je_/ _je_bil_/ _je_bilo_/ _prijatelj/ ,_da_se_je_/ ,<<_je rekel_/ ?<<_je_vprašal in ,_kakor_da_bi_ padajo z zelo spremenljivim tempom: 5,92 : 1, 2,42 : 1, 1,22 : 1, 4,03 : 1, 1,73 : 1, 1,04 : 1, 2,85 : 1, 1,38 : 1, 3,02 : 1, 1,69 : 1, 1,44 : 1, 1,39 : 1 in 1,57 : 1. Hitrost padanja je, poleg največjega skoka na začetku, očitno povezana z redundantnostjo v besedilu. Ker je iz najpogostejšega trojčka je_ in iz dejstva, da je je najpogostejša beseda, utemeljeno sklepati, da bo najpogostejši četverček _je_, je kvocient frekvence med obema le 1,22. Podobno je pri prehodu od šesterčkov na sedmerčke, ko imamo spet niz _se_je, ki se skoraj vedno konča z je in je potem pričakovani najpogostejši sedmerček _se_je_ s kvocientom komaj 1,04. Od deseterčkov naprej se hitrost padanja ustali.

Primerjava obeh vzorcev pokaže precejšnje ujemanje pri nizkih n: pri enojčkih in dvojčkih je 56 istih nizov v obeh vzorcih, pri trojčkih, četverčkih in peterčkih po 51, pri šesterčkih 45, sedmerčkih 44, osmerčkih 35, deveterčkih 29, deseterčkih in enajsterčkih pa po 22. Istih dvanajsterčkov v obeh vzorcih je bilo le 9: ,_ki_je_bil_/ ,_ki_je_bila/ _ki_je_bila_/ ,<<_je_rekel_/ _je_vprašal_/ <<_je_vprašal/ ?<<_je_vpraša/ _pripovedova in se_je_obrnil, trinajsterčkov 7: ,_ki_je_bila_/ <<_je_vprašal_/ ?<<_je_vprašal/ _se_je_obrnil/ _se_je_oglasi/

se_je_oglasil in tem_trenutku_, štirinajsterčkov pa le še 5 (oziroma še manj): ?<<_je_vprašal_/ _se_je_nasmehn/ e_je_nasmehnil/ se_je_nasmehni in _se_je_oglasil. Splošnost prvega vzorca v celoti vzdrži do n = 10, ko opazimo prvi niz, ki se ga da umestiti v konkretno delo. Kot po navadi je iz prevoda: niz _računalni s frekvenco 818 je iz dela R. Cringelyja Naključni imperiji (ali Kratka zgodovina Silicijeve doline). Vendar so tudi še pri n = 14 le trije "konkretni" nizi med prvimi 60-timi: Jurij_Ljudevit iz novele Ivana Tavčarja: Janez Sonce, _Passepartout_ iz prevoda Julesa Verna V osemdesetih dneh okoli sveta in mikroračunalni iz že omenjenega prevoda R. Cringelyja. Drugi vzorec je manjši in tako najdemo prvi konkretni niz, Temnikar že pri osmerčkih, pri štirinajsterčkih pa jih je kar 22, to je 37 %, od tega 16 iz Balade o trobenti in oblaku.

N-terčke znakov je mogoče uporabiti tudi za identifikacijo jezika, v katerem je besedilo. O tem je poročal Gregory Grefenstette v članku, kjer so bili primerjalno obdelani trojčki iz prvih milijon znakov enakih besedil v desetih jezikih Evropske unije, ki so izšla na cederomu (Grefenstette 1995). Jeziki so angleški, danski, francoski, nizozemski, italijanski, nemški, norveški, portugalski in švedski. V tabeli 33 je najpogostejših 12 trojčkov za slovenski jezik (oba vzorca skupaj) in omenjenih deset jezikov, kjer je bil kot vir upoštevan omenjeni članek.

Tabela 33: Najpogostejših 12 trojčkov v slovenskem in desetih jezikih EU

	Slo	Ang	Dan	Fra	Niz	Ita	Nem	Nor	Por	Špa	Šve
1.	je_	_th	er_	_de	en_	_di	en_	et_	_de	_de	en_
2.	_je	he_	en_	es_	de_	to_	er_	en_	de_	de_	er_
3.	_po	the	for	de_	_de	_de	_de	er_	os_	os_	et_
4.	_se	nd_	et_	ent	et_	di_	der	_de	do_	_la	tt_
5.	_pr	ed_	ing	nt_	an_	_co	ie_	_ha	que	el_	_de
6.	in_	_an	_fo	_le	n_d	la_	ich	an_	_qu	la_	ar_
7.	_in	and	_af	e_d	_he	re_	sch	de_	_co	que	för
8.	_na	_to	_de	le_	er_	ion	ein	det	as_	as_	om_
9.	se_	ing	nde	ion	_va	ent	che	ar_	ent	ue_	_oc
10.	_za	to_	els	s_d	van	e_d	die	_og	ăo_	_qu	ch_
11.	,_k	ng_	lse	e_l	een	le_	ch_	og_	ue_	_co	de_
12.	_bi	er_	ret	_la	ver	o_d	den	te_	_a_	_en	och

Od 120 trojčkov neslovenskih jezikov iz zgornje tabele je kar 76 različnih. Tistih s frekvenco več kot 1 je 22: _de (9), de_ (6), er_ (6), en_ (5), et_ (4), _co (3), ent (3) in _la, _qu, an_, ar_, as_, ch_, e_d, ing, ion, la_, le_, os_, que, to_, ue_ s frekvenco 2. Med vsemi 76 pa ni niti enega, ki bi ga našli tudi med najpogostejšimi slovenskimi. Zelo zanimiva bi bila še primerjava z jeziki, ki so slovenskemu bolj sorodni od zgornjih germanskih in romanskih, kot se je to delno posrečilo pri primerjavi najpogostejših besed.

5.2 Besede

Čeprav so osnovni gradniki pisanega besedila znaki, so besede tisto, kar nekako sami od sebe najprej povežemo z jezikom. Tudi obseg besedilnih zbirk je bil od prvega, Brownovega korpusa naprej vedno merjen v besedah. Pri dosedanjih kvantitativnih raziskavah slovenskega jezika, tudi zaradi velikosti besedilnih vzorcev, pri besedah ni bilo mogoče dlje kot do obdelave besednih oblik kot takih, samih zase. Iz tabele najpogostejših besednih n-terčkov na strani 70 je videti, da frekvence s povezovanjem več besed izredno hitro padajo in tako tudi ta, doslej največja besedilna zbirka nenadoma ni več tako velika, kot bi si človek želel. V tem razdelku so obravnavane besedne oblike (v nadaljnjem imenovane besede), v poglavju o oblikoslovnem označevanju pa še besedne leme, osnovne oblike, ki jih je avtor poiskal za besedila drugega vzorca. V tabeli 34 je navedenih nekaj splošnih podatkov o besedah iz obeh vzorcev. Po stolpcih si sledijo število vseh besed, število različnih besed, število enkratnic, to je besed, ki nastopajo samo enkrat, povprečna frekvenca besede in povprečna dolžina besed.

Tabela 34: Podatki o besedah v obeh vzorcih

	Vseh	Različnih		Povprečna	Povprečna
	besed	besed	Enkratnic	frekvenca	dolžina
Prvi vzorec	2.721.416	174.579	84.800	15,59	4,58
Drugi vzorec	407.938	40.475	20.110	10,08	4,38
Skupaj	3.129.354	184.052	87.812	17,01	4,55

Pri štetju različnih besed je bila začetnica besed ohranjena - besede, pisane z veliko začetnico na začetku povedi, so bile štete kot take in niso bile pretvorjene v malo. Ta postopek je bil opravljen kasneje, na besedah drugega vzorca, v poglavju o oblikoslovnem označevanju. Kot je videti iz tabele, se je v prvem vzorcu vsaka beseda pojavila povprečno 16 krat, v drugem pa 10 krat. Glede na to, da je prvi vzorec skoraj osemkrat večji od drugega, kaže ta razmeroma majhna razlika na dokaj veliko pestrost in majhno homogenost prvega. Tudi povprečna dolžina besed kaže na to, da je drugi vzorec, v celoti gledano, bolj gibek od prvega. Skupna povprečna dolžina je za 0.11 manjša od dolžine, ki so jo namerili raziskovalci s fakultete za elektrotehniko (Kristan idr. 1994). Opazen je tudi zelo velik delež besed, ki se pojavijo samo enkrat. V obeh vzorcih je takih med različnimi skoraj polovica.

5.2.1 Rast besednega zaklada

Kako hitro se polni besedni zaklad obeh vzorcev skupaj, se najbolje vidi iz krivulje rasti, ki je prikazana na sliki 11. Krivulja je pollogaritemska -

Slika 11: Krivulja rasti za besede v obeh vzorcih

na osi x so dvojiški logaritmi zaporednih številk besed v seznamu (i), ki je padajoče urejen po pogostostih besed (p_i) - najpogostejša beseda je prva, druga najpogostejša druga . . ., na osi y pa je skupna vsota frekvenc besed v odstotkih od celote:

Za boljšo ponazoritev so v tabeli 35 navedene relativne pogostosti (delež od celote) za

Tabela 35: Najpogostejših 64 besed iz obeh vzorcev z relativnimi frekvencami

je	5,63	ne	0,90	s	0,53	to	0,36	kakor	0,30	sta	0,24	me	0,20	nekaj	0,16
in	3,31	ki	0,84	po	0,51	bilo	0,36	ali	0,29	pri	0,23	več	0,18	naj	0,16
se	2,65	bi	0,80	še	0,51	od	0,34	jo	0,28	kar	0,23	samo	0,18	kako	0,16
v	1,86	z	0,70	tako	0,42	že	0,34	bila	0,28	kaj	0,22	ti	0,17	tem	0,16
da	1,56	za	0,68	bil	0,42	bo	0,33	mi	0,27	o	0,22	lahko	0,17	ji	0,15
na	1,24	sem	0,67	tudi	0,41	iz	0,32	In	0,26	če	0,21	ker	0,17	Ko	0,15
so	1,19	ni	0,66	si	0,41	ko	0,32	vse	0,26	do	0,21	pred	0,17	ob	0,15
pa	0,91	ga	0,59	mu	0,41	kot	0,31	jih	0,25	k	0,20	V	0,17	potem	0,14

najpogostejših 64 besed v seznamu obeh vzorcev. Prva pika na krivulji je delež besede je (5,63 %), druga vsota deležev besed je in in (8,94 %), tretja besed je, in in se (11,58 %) in tako naprej. Iz krivulje je videti, da s prvimi 16 besedami zajamemo 25 % vsega besedila, s 64 besedami (navedene so v tabeli 35) malo manj kot 40 % (37,08 %), z 256 približno polovico, s 4.092 tri četrtine, za 90 % pa je potrebnih že 32 K besed. Potek krivulje je dokaj regularen približno do n = 32, potem sledi hrbet v območju do n = 128 in spet lep potek do približno n = 100.000, potem pa je jasno viden zlom krivulje na mestu (označeno je s kratko pokončno črtico), kjer nastopijo enkratnice, besede s frekvenco 1.

Zanimiva je primerjava te krivulje s krivuljo (Jakopin 1998), ki jo dobimo za besede v korpusu Bank of English (stanje iz leta 1996, seznam besed in frekvenc je odstopil Jeremy Clear).

Slika 12: Krivulja rasti za besede v Bank of English (1996)

V tem korpusu je bilo 203.648.478 besed, od tega 633.165 različnih in od teh 291.133 takih s frekvenco 1 (enkratnic). Povprečna frekvenca besede je bila 322, krivulja pa je navedena na sliki 12. Na njej opazimo v prvem delu podobno nihanje kot na sliki 11, le da je vzpon seveda hitrejši, 90 % doseže že pri 8 K in potem se asimptoti (100 %) zelo počasi približuje na skoraj tretjini svojega poteka. Nepravilnost na koncu, ki pa ni jasno vidna, spet povzročijo enkratnice.

Podobno kot n-terčke znakov je mogoče tudi najpogostejše besede uporabiti za identifikacijo jezika. V že omenjenem članku (Grefenstette 1995) je avtor za statistično ugotavljanje jezika uporabil najpogostejše kratke besede (do 5 črk). V tabeli 36 so navedene najpogostejše kratke besede za slovenski jezik, jezik Bosanskega korpusa na univerzi v Oslu (Leko 1998) in za 10 jezikov Evropske unije, istih kot v tabeli 33.

Tabela 36: Najpogostejših 12 kratkih besed (do 5 črk) v slovenskem in še enajstih jezikih

Slo

Srh

Ang

Dan

Niz

Fra

Ita

Nem

Nor

Por

Špa

Šve

1.

je

i

the

i

de

de

di

der

og

de

de

och

2.

in

je

and

af

van

la

e

die

det

a

la

i

3.

se

u

to

og

het

le

il

und

han

que

que

att

4.

v

da

of

at

een

et

che

den

i

o

el

som

5.

da

se

a

til

en

des

la

in

er

e

en

en

6.

na

na

in

for

in

les

a

von

på

do

y

är

7.

so

su

was

en

dat

du

in

zu

til

da

a

på

8.

pa

ne

his

om

is

en

per

dem

at

no

los

det

9.

ne

a

that

der

te

un

del

für

som

um

del

av

10.

ki

to

I

er

op

que

un

mit

var

em

se

för

11.

bi

od

he

U

voor

a

non

das

jeg

para

por

med

12.

z

za

as

ikke

met

qui

i

des

med

com

las

den

Slovenske besede so vzete iz obeh vzorcev skupaj in so kar vse - med prvimi dvanajstimi namreč ni nobena daljša kot 2 črki. Tokrat je med 132 besedicami v drugih jezikih 92 različnih. Takih s frekvenco nad 1 je 24: a (6), en (5), i (5), de (4), in (4), la (3), que (3) in at, da, del, den, der, des, det, e, er, med, og, på, se, som, til, to, un s frekvenco 2. Kot je ugotovil že Grefenstette, so najpogostejši trojčki vseeno boljši indikator od najpogostejših besed. Presek med slovenskim in drugimi jeziki namreč pri besedah ni prazen - v njem najdemo šest pogostih besedic: da, in, je, na, ne in se. In se pojavi še pri angleškem, italijanskem in nemškem jeziku, da pri portugalskem in srbskem/hrvaškem, se pri srbskem/hrvaškem in španskem, je, na in ne pa še pri srbskem/hrvaškem.

5.2.2 Dolžine besed

Parameter, ki veliko pove o zvrsti besedila, so dolžine besed. V leposlovju so krajše kot v tehničnih besedilih, v delih z dialogom spet krajše kot v opisnih stavkih. V tabeli 37 so navedene poprečne dolžine vseh besed in različnih besed za oba vzorca.

Tabela 37: Povprečne dolžine vseh besed in različnih besed v obeh vzorcih

	Vseh	Povprečna	Standardni	Različnih	Povprečna	Standardni
	besed	dolžina	odklon	besed	dolžina	odklon
Prvi vzorec	2.721.416	4,58	2.60	174.579	8,12	2.33
Drugi vzorec	407.938	4,38	2.44	40.475	7,44	2.12
Skupaj	3.129.354	4,55	2.57	184.052	8,00	2.31

Še posebej pri povprečnih dolžinah različnih besed je zelo očitna razlika med prvim in drugim vzorcem. Tega ni več mogoče pripisati večji količini premega govora v Kosmačevem opusu, ampak tudi temu, da je njegova pripoved bolj tekoča (Štih 1958). Dobljene vrednosti za različne besede so manjše od tistih za samostalnike iz Slovarja slovenskega knjižnega jezika (Jakopin 1996b).

V tabelah 38, 39 in 40 so navedene najdaljše besede v obeh vzorcih in v Bank of English - pred vsako besedo je izpisana njena dolžina. V tabeli 39 so bila izvzeta večbesedna imena, v tabeli 40 pa je bilo že v viru vse pisano z malo

Tabela 38: Najdaljše besede v prvem vzorcu

1.	57	prijatelj-sovražnik-prijateljsovražnik-sovražnikprijatelj
2.	45	klik-klik-klik-klik-klik-klik-klik-klik-TRESK
3.	37	ti-hojlarija-hojlarija-hojlarija-drom
4.	28	hodi-hodi-prestopi-hodi-hodi
5.	27	ti-hojlarija-hojlarija-drom
6.	27	petnajststošestinpetdesetem
7.	26	pasti-drug-drugemu-v-objem
8.	26	petstošestinsedemdesetkrat
9.	26	petnajstimi-minutami-slave
10.	26	sedemstodevetindvajsetkrat

Tabela 39: Najdaljše besede v drugem vzorcu

1.	30	tisočdevetstodvaintridesetkrat
2.	22	stoštiriinštiridesetih
3.	20	petintridesetletnega
4.	19	literarnokritičnemu
5.	19	petinosemdesetletni
6.	19	dvaindvajsetletnemu
7.	19	kakršnegakolisibodi
8.	18	triinštiridesetega
9.	18	javolheršturmfirer
10.	18	sedemstosedemdeset

Tabela 40: Najdaljše besede v Bank of English

1.	65	confidenceunderstandingcreativitycollaborationexcellenceenjoyment
2.	60	weeeeeeeeaaaaarrrdddrrraaaaaaannnnggggnnnneeeeaaaarrrrrwwwww
3.	58	llanfairpwyllgwyngyllgogerychwyrndrobwlllantysiliogogogoch
4.	58	officialpeacehappinessstrudelbeerflagscelebrationshysteria
5.	58	whatchurchfestivalinfebruaryiscelebratedwithlightedcandles
6.	54	fightthepowerlouderthanabombblacksteelinthehourofchaos
7.	53	verordnetenfriedefreudestrudelbierfahnenfeierhysterie
8.	52	dandybeanotoppervictorhotspurhornethurricanedianabun
9.	52	takethepowerbackbombtrackfistfulofsteelknowyourenemy
10.	43	pneumoultramicroscopicsilicovolcanoconiosis

začetnico. Po pričakovanju je povsod najti predvsem večbesedne sestavljenke, če sem štejemo tudi števila. Teh je v tabeli prvega vzorca 3, drugega 7, med najdaljšimi besedami zbirke Bank of English pa prav na vrh niso mogla.

Zanimive so še porazdelitve dolžin besed, vseh na sliki 13 in različnih na sliki 14. Stolpci prvega vzorca so spet označeni s črno barvo, drugega pa z belo.

Slika 13: Porazdelitev dolžin vseh besed v obeh vzorcih

Do vključno dolžine 6 so v vseh primerih, razen pri dolžini 3, vrednosti v drugem vzorcu večje kot v prvem, potem pa ves čas do konca nižje. Ker je tudi povprečna dolžina besed v drugem vzorcu manjša (glej tabelo 31) je tak potek pričakovan. Konica pri dolžini 2 (vezniki, pomožni glagol je) je pri obeh vzorcih bistveno višja, kot so jo namerili v predhodni raziskavi (Kristan idr. 1994), sicer pa je potek podoben. Razliko gre pripisati bolj tekočemu jeziku v vzorcih te naloge; predhodni vzorec je vseboval tudi časopisni jezik.

Slika 14: Porazdelitev dolžin različnih besed v obeh vzorcih

Tokrat imamo opravka s precej pravilnima krivuljama, ki pa nimata vrha na istem x. Največ različnih besed pri prvem vzorcu je dolgih 8 črk, pri drugem pa 7.

5.2.3 Najpogostejše besede

V tabelah 42, 43, 44 in 45 na naslednjih straneh so najpogostejše besede iz prvega in drugega vzorca, urejene po frekvencah in po abecedi. Tabeli 42 in 34 odkrivata 250 najpogostejših besednih oblik v vsakem vzorcu. Ker je bil oblikoslovno označen in lematiziran samo drugi vzorec, je treba nekaj sklepov potegniti že iz teh podatkov. Izkaže se, da je prvih 6 besed v obeh seznamih (je, in, se, v, da in na) istih in na istih mestih (brez upoštevanja mest 9 besed), da obsega presek najpogostejših 50 besed v obeh vzorcih 42 besed, presek 100 najpogostejših 86 besed, prvih 250 pa 180 besed. Jezik Cirila Kosmača se je torej razmeroma dobro ujel z jezikom v prvem vzorcu.

Pogled na tabelo 42 tudi razkrije, da je našlo pot v seznam prvih 250 besed eno samo ime (Bog na 147. mestu), ki pa tudi ni značilno samo za eno delo. Absolutne frekvence se začnejo s 150.984 in končajo z 953, relativne frekvence (delež celote) se začnejo pa na 5,55 % (je) in končajo na 0,0350 % (kdaj). Samostalnikov, glagolov in pridevnikov je malo, prevladujejo zaimki, prislovi, vezniki in predlogi.

Drugi vzorec je veliko manjši in se zato ne more pohvaliti s tako splošnim seznamom najpogostejših besed. V tabeli 43 zato najdemo imena Peter, Martin, Matic, Sova, Majcen, Drejc, Temnikar, Tantadruj, Stane in Venc, ki jih z lahkoto umestimo v konkretno črtico ali roman. Absolutne frekvence se začnejo pri 25.798 in končajo pri 161, relativne pa pri 6,32 % in končajo pri 0,0395 %, kar je oboje precej nad vrednostmi v prvem vzorcu. Delež samostalnikov, glagolov in pridevnikov je večji kot pri prvem vzorcu, a še vedno majhen.

V tabeli 41 je navedenih najpogostejših 20 samostalnikov iz obeh vzorcev, pri čemer so bili za prvi vzorec le ocenjeni (iz oblik v tabeli 42), za drugi vzorec pa

Tabela 41: Najpogostejši samostalniki iz vsakega vzorca s frekvencami

1.	dan	3.300		1.	roka	1.577
2.	ljudje	2.939		2.	glava	985
3.	roka	2.895		3.	oči	833
4.	čas	2.792		4.	otrok	821
5.	oči	2.584		5.	dan	749
6.	leto	2.068		6.	hiša	700
7.	človek	1.683		7.	leto	628
8.	oče	1.674		8.	vrata	536
9.	glava	1.583		9.	beseda	513
10.	obraz	1.369		10.	oče	486
11.	gospod	1.354		11.	človek	453
12.	življenje	1.337		12.	glas	438
13.	stran	1.298		13.	srce	424
14.	pot	1.267		14.	vas	414
15.	glas	1.173		15.	obraz	396
16.	noč	1.092		16.	miza	392
17.	beseda	1.071		17.	noga	384
18.	mož	1.052		18.	življenje	373
19.	mati	1.033		19.	ljudje	369
20.	svet	997		20.	voda	362

so mesta in frekvence točni, saj izhajajo iz lematiziranega besedila. V obeh seznamih nastopa polovica, to je 10 samostalnikov: beseda, človek, dan, glava, leto, ljudje, oče, oči, roka, in življenje. Enajsti bi utegnil biti vas, a ga v prvem vzorcu ni bilo mogoče enostavno ločiti od enakega zaimka.

V tabelah 44 in 45 so iste besede kot v tabelah 42 in 43, le da so tokrat urejene abecedno in so jim v oklepaju dodani še rangi iz frekvenčno urejenih seznamov. Tako je mogoče za iskano besedo iz prvega ali drugega vzorca takoj ugotoviti, ali je med prvimi 250 in kateri je njen rang po pogostosti.

5.2.4 Besedni n-terčki

Pestrost jezika se kaže prav v veliki svobodi zlaganja besed med seboj in zato raziskave besednih n-terčkov oziroma fraz, kot bi jim rekli jezikoslovci, zahtevajo zelo velike besedilne vzorce. Če je bilo že pri najpogostejših znakovnih n-terčkih z rastočim n opaziti skokovito upadanje frekvenc, to razumljivo še veliko bolj velja za besedne n-terčke. Predvsem prvi vzorec te naloge pa je že tako velik, da je smiselnih nekaj korakov tudi v tej smeri.

V tabeli 46 je naveden pregled števila besednih n-terčkov prvega vzorca za n od 1 do 5, pri čemer je bila tabela pri znakovnih n-terčkih, tvorjena iz besedil, že razrezanih na povedi in očiščenih oznak in tujih citatov.

Tabela 46: Število besednih n-terčkov (1-5) v prvem vzorcu

	Vseh	Različnih		Delež enkr. med	Delež enkr. med
n	n-terčkov	n-terčkov	Enkratnic	različnimi v %	vsemi n-terčki v %
1	2.721.416	174.579	84.800	48,57	3,12
2	2.523.050	1.218.506	999.475	82,02	39,61
3	2.326.469	1.930.363	1.793.579	92,91	77,09
4	2.136.579	2.057.833	2.010.939	97,72	94,12
5	1.955.526	1.937.820	1.923.628	99,27	98,37

Opaziti je predvsem zelo hitro rast deleža n-terčkov s frekvenco 1 (enkratnic) z večanjem števila n. Pri peterčkih je delež enkratnic med vsemi že 98,37 %, kar pomeni, da je fraz z dolžino pet besed že zelo malo. Podobo dopolnjuje še krivulja rasti za besede, dvojčke, trojčke in četverčke besed na sliki 15.

Slika 15: Krivulje rasti za besedne n-terčke (1-4) v prvem vzorcu

Prva krivulja z leve, za besede, ima do približno 97 %, kjer nastopijo enkratnice, razmeroma regularen potek. Z najpogostejšimi 16 besedami pokrijemo 25 % celega vzorca, z 256 slabo polovico, s 4.096 približno 75 % in z 32.768 dobrih 90 %. Pri dvojčkih, naslednji krivulji, potrebujemo za pokritje 25 % besedila že 4 K najpogostejših besednih parov, za 50 % besedila nekaj manj kot 100.000, za 75 % več kot 512 K, za 90 % pa že skoraj milijon. Pri trojčkih je treba za 25 % besedila vse besedne trojčke s frekvenco nad 1 (več kot 128.000), za 50 % že približno 700.000 in tako naprej. Pri četverčkih je še precej slabše - z vsemi, ki imajo frekvenco nad 1, pridemo komaj do 6 % celotnega besedila (mesta, kjer se začnejo enkratnice, so na krivulji označena s kratko pokončno črtico nad ustrezno točko).

V tabelah 47 in 48 na naslednjih straneh so navedeni najpogostejši besedni n-terčki (n = 2-5) za oba vzorca. V njih so močno udeležene najpogostejše besede: pri prvem vzorcu nastopa pomožni glagol je v 54 % dvojčkov, 68 % trojčkov, 74 % četverčkov in 78 % peterčkov. Predvsem pri dvojčkih in trojčkih gre bolj ali manj za vezivo, za povezave veznikov, pomožnih glagolov in prostega glagolskega morfema se, sem in tja pa najdemo še kakšen osebni zaimek. V tabelah prvega vzorca je pri dvojčkih en sam pravi glagol, samostalnik ali pridevnik, v je rekel, pri trojčkih tudi, v se je zgodilo, pri četverčkih že 22, a od tega v kar 15 primerih nastopa glagol zdeti se (ostanejo od časa do časa/ se je zgodilo, da/ Bouvard in Pécuchet sta/ kar se je zgodilo/ iz dneva v dan/ je bil prepričan, da in prišlo na misel, da), pri peterčkih pa 38 (od tega v 18 primerih nastopata zdeti se ali zazdeti se). Konkretnih n-terčkov, za katere lahko takoj ugotovimo izvor, je pri prvem vzorcu malo - v celi tabeli 47 sta samo dva: četverček Bouvard in Pécuchet sta iz Flaubertovega romana z naslovom iz prvih treh besed in peterček in mir od Boga, našega iz Nove zaveze. Frekvence najpogostejših n-terčkov z rastočim n padajo še dosti hitreje kot pri n-terčkih znakov: razmerja so 7,3 : 1 (je : se je), 17,2 : 1 ( se je : da bi se), 7,4 : 1 ( da bi se : ne da bi se) in 3,5 : 1 (ne da bi se : se mi je zdelo, da). Zanimivo je tudi, da ima zadnji, 50. peterček v tabeli 47 frekvenco že komaj 9.

Drugi vzorec je skromnejši in najdemo že med dvojčki 3 take, ki imajo kakšen glagol, samostalnik ali pridevnik: je rekel, je rekla in Peter Majcen. Med trojčki jih je 10: zmajal z glavo, zamahnil z roko, se je popraskal, se je oglasil, se je obrnil, Peter Majcen je, je popraskal kmet, z obema rokama, se je vrnil in in se obrnil. Konkretnih n-terčkov, ki jim lahko zlahka najdemo izvor, je 34 in so vsi iz del Balada o trobenti in oblaku, Potepuh Najdù in Tantadruj. Prekrivanje vzorcev je znatno do n = 3, sicer pa je pri enojčkih med najpogostejšimi 50 42 enakih, pri dvojčkih 37, pri trojčkih 26, pri četverčkih 7 ( da se mu je/ ne da bi se/ potem pa se je/ se je obrnil k/ se mi je, da/ se mu je zdelo in se mu je, da) in pri peterčkih samo 2 ( se mu je zazdelo, da in se mu je zdelo, da).