"А.М.Кондратов. Звуки и знаки " - читать интересную книгу автора

обработали тексты объемом в миллион слов,
В словаре в алфавитном порядке от союза а до прилагательного ящичный
приводится около сорока тысяч различных слов, встречавшихся в тексте. Рядом
со словом дана его частота, сначала общая, а затем по основным четырем
категориям, на которые были разделены все тексты (художественная проза;
драматургия; научные и публицистические тексты; газетные и журнальные
тексты). Тут же приведено и число разных текстов, в которых встречалось
данное слово (ведь эта характеристика не менее важна, чем абсолютная
частота, которая, как уже говорилось, может зависеть от специфики текста,
сюжета и т. п.).
Вслед за алфавитно-частотным словарем идет частотный. Слова даны здесь
в порядке убывания частот. На первом месте стоит предлог в. Вместе со своим
вариантом предлогом во он встретился в текстах почти сорок три тысячи раз!
На втором месте по частоте употребления идет союз и, он встретился более
тридцати шести тысяч раз. Отрицание не - на третьем месте (около двадцати
тысяч раз), на четвертом - предлог на (свыше семнадцати тысяч). Местоимение
я занимает пятое место - оно встретилось в текстах около четырнадцати тысяч
раз.
Верхнюю часть списка наиболее употребительных слов занимают предлоги,
союзы, частицы, местоимения. Лишь в четвертом десятке этих слов появляется
глагол мочь, числительное один, а на шестом десятке - существительное год и
прилагательное большой. Зато потом эти части речи занимают львиную долю
списка.


Текстообразовательная способность

Третья часть "Частотного словаря русского языка" посвящена
статистическим данным. И статистика, приводимая в ней, нужна не только
специалистам по математической лингвистике или теории вероятностей. Она
имеет важное значение в практике, в отборе слов для изучения русского языка.
В текстах, объемом в миллион слов встретилось около сорока тысяч
словоупотреблений. Но свыше тринадцати тысяч различных слов употреблены были
всего лишь один раз, около шести тысяч - два раза. Ясно, что слова эти
редкие, их нельзя включить в словари-минимумы. Столь же ясно, что слова,
имеющие частоту в несколько тысяч, в эти словари должны быть включены
обязательно. Легко провести черту между очень частыми и очень редкими
словами. Но как провести ее между словами не очень частыми и скорее частыми,
чем редкими? Сколько нужно слов для словаря-минимума?
Вопрос этот мы уже задавали в самом начале нашего рассказа. Теперь,
когда вы узнали о частотных словарях, переформулируем его: какую часть слов
из списка самых частых мы должны брать - сотню слов? тысячу? десять тысяч?
На помощь лингвистике вновь приходит статистика.
Обратимся к нашему "Частотному словарю русского языка". Первые десять
слов (ничтожнейшая часть от общего числа различных слов) покрывают почти
двадцать процентов всего текста. Первая сотня самых частых слов составляет
лишь четверть процента словаря. Зато в тексте она покрывает свыше сорока
процентов всех слов. Первая тысяча слов, два с половиной процента всех слов
словаря, покрывает свыше шестидесяти семи процентов текста.
Около девяти тысяч слов встретилось в текстах десять и более раз. Слова