Эксперименттік нәтижелер мен сарапшылардың пікірі арасындағы келісім коэффициенттерін бағалауға арналған заманауи метрикалар салыстырылады және бұл метрикаларды машиналық оқыту әдістерімен мәтінді автоматты өңдеуде эксперименттік зерттеулерде пайдалану мүмкіндігі бағаланады. NLP және Text Mining есептерінде сарапшылық пікір келісімінің өлшемі ретінде коэннің каппа коэффициентін таңдау негізделген. Сарапшы пікірі мен ML классификациясының нәтижелері арасындағы келісім деңгейін бағалау үшін коэннің каппа коэффициентін қолданудың мысалы және қазақ-орыс параллель корпусының сөйлемдерін теңестіру кезінде сарапшы пікірлерінің келісім өлшемі келтірілген. Осы талдау негізінде коэннің каппа коэффициенті қолданудың оңайлығымен, есептеудегі қарапайымдылығымен және нәтижелердің жоғары дәлдігімен тәжірибелік зерттеулерде келісім деңгейін анықтаудың ең үздік статистикалық әдістерінің бірі екендігі дәлелденді.
Түйін сөздер: Text Mining, NLP, коэннің каппа статистикасы, келісім статистикасы, мәтіндер классификациясы, параллель корпус.
