Квантитативная лингвистика: когда язык начинают считать

Когда язык начинают считать

Долгое время язык казался материей, которую невозможно измерить линейкой или формулой. Как посчитать красоту метафоры или взвесить оттенок смысла? И всё же в какой-то момент учёные заметили: за живым разнообразием речи прячутся устойчивые числовые закономерности. Одни слова встречаются в сотни раз чаще других, длина предложения связана с длиной входящих в него слов, а появление новых слов подчиняется предсказуемому ритму. Стоило это разглядеть — и лингвистике понадобилась математика. Так на стыке двух далёких наук выросло особое направление, которое учится описывать язык числами.

Само слово «квантитативная» восходит к латинскому quantitas — «количество». Проще говоря, это наука о языке, вооружённая счётом.

Направление не возникло на пустом месте — оно собралось из нескольких дисциплин, каждая из которых принесла свои данные или инструменты. Первая опора — компьютерная лингвистика, занятая математическим и компьютерным моделированием тех процессов мышления, что связаны с порождением естественного языка. Вторая — корпусная лингвистика, которая создаёт текстовые корпусы, то есть огромные, специально подобранные массивы языковых данных для последующего анализа. Третья — языковая статистика, отвечающая за сбор, измерение, мониторинг и обработку больших объёмов количественных и качественных данных о самых разных языковых системах мира. И, наконец, теория вероятностей, которая математически описывает свойства случайных событий и величин.

Зачем всё это нужно? Главная цель квантитативной лингвистики — выявить и сформулировать законы, по которым живёт и работает язык. Но обнаружить отдельные закономерности — лишь половина дела. Итоговая задача звучит куда амбициознее: связать эти законы между собой, свести в единую систему и на её основе выстроить общую теорию языка. То есть перейти от разрозненных наблюдений к цельной картине.

Как математика пришла в науку о языке

Идея измерять язык числом созревала постепенно, и у неё есть своя история с яркими именами.

Первым о пользе математических методов в грамматике и этимологии заговорил русский математик XIX века В. Я. Буняковский. Затем к статистике в лингвистике подступился с неожиданной стороны австрийский естествоиспытатель Грегор Иоганн Мендель — тот самый, чьи опыты с горохом заложили основы генетики. Удачно опробовав статистику в ботанике, он попробовал приложить её и к языковому материалу.

Настоящий сдвиг связан с именем выдающегося русского лингвиста И. А. Бодуэна де Куртенэ. Он прямо заявил, что языкознанию необходимо количественное, математическое мышление — именно оно, по его убеждению, приближает лингвистику к точным наукам. И не ограничился призывами: с помощью количественного подхода Бодуэн описал типологию склонений в грамматике и исчислил чередования в фонетике.

Дело учителя продолжил его ученик Е. Д. Поливанов, детально изучивший точки соприкосновения лингвистики и математики. Он систематизировал часть накопленного и особо выделил три области: анализ кимографических кривых (применение математики в экспериментальной фонетике), диалектологическую статистику (количественное соотношение социальных и этнических диалектов на определённой территории) и практическое приложение теории вероятностей к оценке этимологий — достоверных, гипотетических и откровенно фантастических.

К началу XX века математический аппарат в языкознании применялся уже настолько активно, что учёные выделили внутри общей лингвистики отдельное направление — квантитативную лингвистику. Из вспомогательного приёма счёт превратился в самостоятельный метод исследования.

Что такое языковой закон

В центре всего направления стоит одно ключевое понятие, вокруг которого и строится вся работа.

Иначе говоря, законом можно назвать лишь ту гипотезу, которую не удаётся опровергнуть, какими бы разными методами её ни проверяли.

У таких законов есть важная особенность. По форме они бывают универсальными — записанными столь же строго математически, как законы физики или химии. Но по природе они стохастичны: они описывают не жёстко предопределённые события, а вероятности их наступления, которые колеблются вокруг статистического среднего. Язык здесь ведёт себя не как часовой механизм, а как погода — предсказуемо в общем, но с допуском на случайность.

Восемь основных языковых законов

Квантитативная лингвистика уже накопила целый ряд проверенных закономерностей. К числу основных обычно относят восемь:

• закон Ципфа — устанавливает обратную пропорциональность между частотой слова и его порядковым номером в списке частотности: чем реже слово, тем ниже оно в рейтинге;
• закон частотно-рангового распределения — присваивает языковым единицам ранг в зависимости от того, как часто они встречаются в тексте;
• закон Менцерата — фиксирует обратную зависимость между размером языковой конструкции и размером её составляющих: чем крупнее целое, тем короче его части;
• закон многокомпонентности — описывает распределение длин разных единиц: морф, слогов, ритмических единиц, слов и предложений;
• закон диверсификации — контролирует частоты, с которыми лингвистические категории появляются в различных формах;
• закон Мартина — определяет длину лексических цепочек, то есть цепочек словарных определений;
• закон Пиотровского — описывает динамику языка: как появляются новые слова, включая заимствования, и как уходят из употребления старые;
• закон текстового блока — показывает, что в одинаково крупных фрагментах текста языковые единицы дают определённые устойчивые распределения частот.

За сухими формулировками скрывается общая идея: язык, при всей его живости и непредсказуемости, всё же подчиняется исчислимым закономерностям. И задача науки — не просто перечислить эти законы, а понять, как они связаны друг с другом.

Квантитативная лингвистика — направление компьютерной лингвистики, где язык изучают статистическими методами и через теорию вероятностей; название происходит от латинского quantitas — «количество». Дисциплина сложилась на пересечении четырёх областей: компьютерной лингвистики (моделирование языковых процессов), корпусной лингвистики (создание текстовых корпусов), языковой статистики (обработка больших массивов данных о языках) и теории вероятностей (описание случайных величин). Её главная цель — вывести законы функционирования языка и в перспективе собрать их в единую теорию.

История направления тянется от В. Я. Буняковского и опытов Г. И. Менделя к И. А. Бодуэну де Куртенэ, который ввёл в лингвистику количественное мышление, и к его ученику Е. Д. Поливанову, систематизировавшему связь языка с математикой. Влияние оказалось взаимным: на материале «Евгения Онегина» А. А. Марков вывел «марковские цепи».

Центральное понятие направления — языковой закон: математически сформулированная и эмпирически подтверждённая гипотеза, которую нельзя опровергнуть. Такие законы стохастичны — они описывают вероятности, а не жёстко заданные события. Среди основных — законы Ципфа, Менцерата, Мартина, Пиотровского, частотно-рангового распределения, многокомпонентности, диверсификации и текстового блока. Все вместе они доказывают простую и глубокую мысль: язык можно не только чувствовать, но и считать.