Труды КНЦ вып.9 (ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ вып. 10/2018(9))

ф о р м и р о в а н и я с е м а н т и ч е с к о й м о д е л и д о к у м е н т а . В о в т о р о м р а з д е л е п р е д с т а в л е н ы р е з у л ь т а т ы ф о р м и р о в а н и я с е м а н т и ч е с к и х и з о б р а ж е н и й в ы ш е у к а з а н н ы х д о к у м е н т о в , а т а к ж е п р е д в а р и т е л ь н ы е в ы в о д ы о п е р с п е к т и в а х и п р о б л е м а х и с п о л ь з о в а н и я р а з л и ч н ы х м е т о д о в в и з у а л и з а ц и и д л я б ы с т р о г о р а с п о з н а в а н и я с м ы с л а в к о н т е к с т е т р е х п е р е ч и с л е н н ы х в ы ш е п р о б л е м . 2. Технология формирования семантической модели документа Д л я а н а л и з а т е к с т а и с п о л ь з у ю т с я р а з л и ч н ы е м е т о д ы и з в л е ч е н и я ф о р м а л и з о в а н н о й с е м а н т и к и , о с н о в а н н ы е н а а п п а р а т е л и н г в и с т и к и , с т а т и с т и ч е с к и х м е т о д а х , м а т е м а т и ч е с к о й л о г и к е , к л а с т е р н о м а н а л и з е , м е т о д а х и с к у с с т в е н н о г о и н т е л л е к т а и д р у г и х м е т о д а х и т е х н о л о г и я х . П о д х о д ы к о б р а б о т к е и а н а л и з у т е к с т а м о ж н о р а з д е л и т ь н а с т а т и с т и ч е с к и е и л и н г в и с т и ч е с к и е . С т а т и с т и ч е с к и й п о д х о д о с н о в а н н а п р е д п о л о ж е н и и , ч т о с о д е р ж а н и е и , ч а с т и ч н о , с е м а н т и к а т е к с т а о т р а ж а е т с я н а и б о л е е ч а с т о в с т р е ч а ю щ и м и с я с л о в а м и . С у т ь с т а т и с т и ч е с к о г о а н а л и з а - у ч е т п о я в л е н и я с л о в в д о к у м е н т е и л и п р е д л о ж е н и и . О б щ и м п о д х о д о м я в л я е т с я п р и с в о е н и е к а ж д о м у т е р м и н у t в д о к у м е н т е н е о т р и ц а т е л ь н о г о в е с а . В е с т е р м и н а м о ж н о р а с с ч и т а т ь п о - р а з н о м у , п р о с т е й ш и м я в л я е т с я « в е с » , р а в н ы й ч и с л у в х о ж д е н и й т е р м и н а t в д о к у м е н т е d , о б о з н а ч а е м о м у t f ( t e r m f r e q u e n c y ) [ 4 ] . Э т о т м е т о д в з в е ш и в а н и я н е у ч и т ы в а е т д и с к р и м и н а ц и о н н у ю с и л у э т о г о т е р м и н а . П о э т о м у , к о г д а д о с т у п н ы с т а т и с т и ч е с к и е д а н н ы е о б и с п о л ь з о в а н и и т е р м и н о в в н а б о р е д о к у м е н т о в , в ы п о л н я е т с я с х е м а в ы ч и с л е н и я в е с а t f - i d f , о п р е д е л я е м а я с л е д у ю щ и м о б р а з о м : f - f = t f i ,d х i d f , , i d f = ! ° g N ( 1 ) d f i d f - ч а с т о т а д о к у м е н т а , о п р е д е л я е м а я к а к к о л и ч е с т в о д о к у м е н т о в в к о л л е к ц и и , с о д е р ж а щ и х t , i d f - о б р а т н о г о ч а с т о т а д о к у м е н т а , N - о б щ е е к о л и ч е с т в о д о к у м е н т о в в к о л л е к ц и и . О с н о в н ы м н е д о с т а т к о м с т а т и с т и ч е с к и х м е т о д о в т е к с т о в о г о а н а л и з а я в л я е т с я н е в о з м о ж н о с т ь у ч е т а с е м а н т и к и . И с п о л ь з о в а н и е л и н г в и с т и ч е с к и х м е т о д о в т е к с т о в о г о а н а л и з а н а р я д у с о с т а т и с т и ч е с к и м и п о з в о л я е т п р е о д о л е т ь э т о т н е д о с т а т о к . П р е д л а г а е м а я т е х н о л о г и я а н а л и з а т е к с т а в к л ю ч а е т н е с к о л ь к о э т а п о в : г р а ф е м а т и ч е с к и й , м о р ф о л о г и ч е с к и й , с и н т а к с и ч е с к и й и с е м а н т и ч е с к и й а н а л и з . Р е з у л ь т а т ы р а б о т ы к а ж д о г о у р о в н я и с п о л ь з у ю т с я с л е д у ю щ и м у р о в н е м а н а л и з а в к а ч е с т в е в х о д н ы х д а н н ы х . Г р а ф е м а т и ч е с к и й а н а л и з в ы д е л я е т э л е м е н т ы с т р у к т у р ы т е к с т а : п а р а г р а ф о в , а б з а ц е в , п р е д л о ж е н и й , о т д е л ь н ы х с л о в и т . д . Ц е л ь ю м о р ф о л о г и ч е с к о г о а н а л и з а я в л я е т с я о п р е д е л е н и е м о р ф о л о г и ч е с к и х х а р а к т е р и с т и к с л о в а и е г о о с н о в н о й с л о в о ф о р м ы . Ц е л ь ю с и н т а к с и ч е с к о г о а н а л и з а я в л я е т с я о п р е д е л е н и е с и н т а к с и ч е с к о й з а в и с и м о с т и с л о в в п р е д л о ж е н и и . В с в я з и с п р и с у т с т в и е м в р у с с к о м я з ы к е б о л ь ш о г о к о л и ч е с т в а с и н т а к с и ч е с к и о м о н и м и ч н ы х к о н с т р у к ц и й , н а л и ч и е м т е с н о й с в я з и м е ж д у с е м а н т и к о й и с и н т а к с и с о м , п р о ц е д у р а а в т о м а т и з и р о в а н н о г о с и н т а к с и ч е с к о г о а н а л и з а т е к с т а я в л я е т с я н е д о с т а т о ч н о й д л я о п р е д е л е н и я з а в и с и м о с т е й м е ж д у п о н я т и я м и п р е д л о ж е н и я . С л о ж н о с т ь у в е л и ч и в а е т с я э к с п о н е н ц и а л ь н о п р и у в е л и ч е н и и к о л и ч е с т в а с л о в в п р е д л о ж е н и и и ч и с л а и с п о л ь з у е м ы х п р а в и л . С е м а н т и ч е с к и й э т а п о п р е д е л я е т ф о р м а л ь н о е п р е д с т а в л е н и е с м ы с л а с о с т а в л я ю щ и х в х о д н о й т е к с т 102