AUTOMATISERT KLASSIFIKASJON AV NORSKE MÅLFORMER VHA. DATAUTVINNING AV UANNOTERT TEKST

Abstract

Automated classification of Variants of Norwegian by Means of Text Mining of Unannotated Text. This article presents a model for automatically classifying different variants of modern Norwegian Language (bokmål and nynorsk ranging from 1930 to 2011) by means of data mining unannotated text. The model is built in the Orange visual programming interface, and is based on a modification of an example model presented by the project which had the original purpose of semantical classification of fairy tale types in the Aarne-Thompson-Uther Index. The core modules of the model are Bag-of-Words and Logistic Regression. The model is trained with four different translations of the Gospel of John, and cross validated with various random texts. The model is proven to be very sound for classification of Norwegian language variation, and yields correct classification in 100% of the realistic tests.

REZUMAT. Clasificare automatizată a diferitelor variante de norvegiană utilizând extragerea digitalizată a textelor neanotate. Acest articol prezintă un model pentru clasificarea automată a diferitelor variante ale limbii norvegiene moderne (bokmål și nynorsk, între 1930 și 2011) cu ajutorul extragerii automatizate a textului neanotat. Modelul este construit în interfața de programare vizuală Orange și se bazează pe modificarea unui model-exemplu prezentat de proiect, care a avut ca scop inițial clasificarea semantică a tipurilor de povești din indexul Aarne-Thompson-Uther. Modulele de bază ale modelului sunt Bag-of-Words și Regresie logistică. Modelul este axat pe patru traduceri diferite ale Evangheliei lui Ioan și este validat de alegerea aleatorie a fragmentelor. Modelul s-a dovedit a fi foarte solid pentru clasificarea variației limbii norvegiene și obține o clasificare corectă în 100% din testări.

Cuvinte cheie: variația limbii, extragerea digitalizată, interfața de programare Orange, clasificarea textelor, Bag-of-Words, regresie logistică, model predictibil, limbă norvegiană, nynorsk, bokmål