Разработка компиляторов
         

Детерминированные конечные автоматы


Определим детерминированный конечный автомат как частный случай общего (недетерминированного) конечного автомата и введем некоторые дополнительные определения и соглашения, которые пригодятся нам в дальнейшем:

Определение. Автомат называется детерминированным, если множество содержит не более одного состояния для любых , . Если

всегда содержит ровно одно состояние (т.е. не имеет неопределенных переходов), то автомат называется полностью определенным .

Определение. Слово над алфавитом

допускается конечным автоматом , если существует последовательность состояний такая, что для .

Определение. Язык L распознается конечным автоматом, если каждое слово языка L допускается этим конечным автоматом.

Обозначение. Конечные автоматы удобно иллюстрировать с помощью диаграмм переходов , см. примеры ниже (двойным кружком обозначены конечные состояния):

Автомат, распознающий язык : Автомат, распознающий язык

:



Детерминированные МП-автоматы


МП-автоматы обладают одним существенным недостатком - они недетерминированны по своей природе. На практике нам хотелось бы иметь дело с детерминированными автоматами, в которых в каждой конфигурации возможно не более одного такта:

Определение. МП-автомат называется детерминированным, если для каждых и верно одно из следующих утверждений:

содержит не более одного элемента для каждого и для всех и содержит не более одного элемента

К сожалению, детерминированные МП-автоматы описывают только подмножество всего класса КС-языков - это подмножество называется детерминированными КС-языками. Этот класс языков называют также LR(k)-грамматиками, так как они могут быть однозначно разобраны путем просмотра цепочки слева направо с заглядыванием вперед не более, чем на k символов.

Детерминированные КС-языки, как и весь класс КС-языков, позволяют проверить пустоту определяемого ими языка или принадлежность заданной цепочки языку. Однако, детерминированные КС-языки не обладают некоторыми важными теоретико-множественными свойствами, например, детерминированные КС-языки не замкнуты относительно пересечения, дополнения или объединения (общий класс КС-языков также не замкнут относительно пересечения и дополнения, но замкнут относительно объединения).

Тем не менее, с точки зрения методов компиляции, класс LR(k)-грамматик чрезвычайно важен, так как на нем и некоторых его разновидностях основаны большинство современных средств синтаксического разбора. Мы рассмотрим LR(k)-грамматики в отдельной лекции.



Форма Бэкуса-Наура


Перейдем теперь к рассмотрению наиболее распространенных способов задания синтаксиса современных языков программирования. Естественно, наиболее часто используется какой-то вид формальных грамматик. Однако, с помощью формальной грамматики определяется только контекстно-независимая составляющая языка. Поэтому для реальных языков программирования мы не можем в общем случае сказать, что полученная с помощью такой грамматики цепочка терминалов является синтаксически правильной программой, так как правильная программа должна удовлетворять еще контекстным условиям.

Один из наиболее распространенных способов описания синтаксиса языка - это форма Бэкуса-Наура (Backus J.W., Naur P.). Этот способ был разработан для описания Алгола-60, однако, в дальнейшем он использован для многих других языков. При записи грамматики в форме Бэкуса-Наура используются два типа объектов:

основные символы (или терминальные символы, в частности, ключевые слова)металингвистические переменные (или нетерминальные символы), значениями которых являются цепочки основных символов описываемого языка. Металингвистические переменные изображаются словами (русскими или английскими), заключенными в угловые скобки (<...>)металингвистические связки (::=, | )

Пример:

<целое> ::= <целое без знака> | + <целое без знака> | - <целое без знака> <целое без знака> ::= <цифра> | <целое без знака> <цифра> <цифра> ::= 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9

Форма Бэкуса-Наура не позволяет задавать контекстные условия. При использовании формы Бэкуса-Наура контекстные условия задаются в словесной форме.



Графическое представление


Совершенно иной способ представления синтаксиса - это графическое представление . Такое представление известно как синтаксические диаграммы (syntax diagrams) или синтаксические схемы (syntax charts). Они использовались для определения синтаксиса языков Pascal, Modula-2. Они имеют форму блок-схем (flow diagram).

Пример.

Часто вместо таких синтаксических диаграмм используются другие, в которых терминалы записываются в кружочках, а нетерминалы - в прямоугольниках. Такие синтаксические диаграммы, действительно, похожи на блок-схемы.

Пример.



Грамматика ван Вейнгаардена


В конце 60-х годов при разработке языка Algol 68 была предложена новая форма определения языка, позволяющая формулировать не только контекстно-свободный синтаксис, но и контекстные условия. Такой способ определения языка получил название грамматики ван Вейнгаардена. Основная идея заключается в том, что это так называемая двухуровневая грамматика. Синтаксис действует следующим образом: заданы множества "гиперправил" и "метаправил", из которых могут выводиться "порождающие правила". Гиперправила - это просто "заготовки" правил. С помощью метаправил задается контекстная составляющая языка.

Пример. Рассмотрим правило, определяющее присваивание.

REF to MODE NEST assignation: REF to MODE NEST destination, becomes token, MODE NEST source.

Большими буквами в этом правиле написаны метасимволы. Метасимволы REF и MODE задают тип (или, как принято говорить, вид) конструкции, причем метасимвол REF означает, что получатель присваивания (destination) должен быть переменной типа MODE . Метасимвол NEST задает контекст конструкции. Обратите внимание, что контекст получателя и источника присваивания совпадают. Из этого правила может быть выведено, например, порождающее правило:

reference to real assignation: reference to real destination, becomes token, real source



Иерархия Хомского


Итак, мы убедились, что существует множество различных видов грамматик и, предположительно, некоторые из них могут оказаться удобнее для наших целей. Поэтому мы введем классификацию грамматик согласно их внешнему виду (эта классификация известна как иерархия Хомского, по фамилии автора).

Грамматика называется:

выровненной вправо (праволинейной) , если любое правило из имеет вид или , где , - нетерминалы, а - терминал (возможно, пустой). контекстно-свободной (бесконтекстной) , если любое правило из имеет вид , где - нетерминал, - нетерминал или терминал контекстно-зависимой (неукорачивающей) , если все правила из имеют вид , где общего вида (без ограничений) , если грамматика не удовлетворяет ни одному из указанных выше ограничений.

Иногда приведенные выше классы нумеруют от трех до нуля и называют каждый класс "грамматикой типа n", например, грамматика общего вида называется грамматикой типа . Мы будем избегать этого обозначения, так как оно не проясняет суть вопроса.

Очевидно, что эта классификация - включающая, т.е. все контекстно-свободные грамматики являются и контекстно-зависимыми, все контекстно-зависимые грамматики являются грамматиками общего вида и т.д. Кроме того, можно показать, что существуют языки, принадлежащие к типу i, но не к типу i+1. Например, язык является контекстно-зависимым, но не контекстно-свободным, т.е. не существует контекстно-свободной грамматики, порождающий этот язык. С другой стороны, некоторые нерегулярные грамматики могут порождать регулярные языки (например, грамматика - нерегулярная, но порождаемый ею язык регулярен, т.к. эквивалентная грамматика регулярна). Наконец, отметим, что определение контекстно-зависимой грамматики запрещает использование правил вида . Это сделано для того, чтобы алгоритм, определяющий принадлежность цепочки языку, не мог бы зациклиться.



Эквивалентность конечных автоматов


Определение. Два автомата и называются эквивалентными, если они распознают один и тот же язык над алфавитом .

Определение. Два состояния и называются эквивалентными, если верно, что . Очевидно, что если два состояния и эквивалентны, то состояния и также эквивалентны

Кроме того, так как в детерминированном конечном автомате переход

может возникнуть только для конечного состояния , то никакое заключительное состояние не может быть эквивалентно незаключительному состоянию. Таким образом, если мы предположим, что начальные состояния автоматов эквивалентны, то мы можем получить и другие пары эквивалентных состояний. Если в одну из таких пар попадет заключительное состояние вместе с незаключительным, то и неэквивалентны. Напишем алгоритм разбиения множества состояний на классы эквивалентности:

Добавить (q10, q20) в Список; Список = 0; /* Множество эквивалентных множеств */ for each (q in Q1+Q2) { Добавить {s} в Список; } while (есть пара (qi, qj), входящая в Список) { Удалить пару (qi, qj) из Списка; Пусть A и A' - такие множества, что ; if (A != A') { A = A + A'; for () { Добавить ( в Список; } } }

Таким образом, мы получим разбиение множества на множества эквивалентных состояний, если и - эквивалентны. Теперь осталось проверить, что никакое из этих множеств не содержит заключительное и незаключительное соcтояния. Если это верно, то автоматы эквивалентны.



Эквивалентность праволинейных грамматик и конечных автоматов


Как упоминалось выше, любой конечно-автоматный язык может быть определен праволинейной грамматикой, и наоборот, так что классы языков, определяемых этими формализмами, эквивалентны. Так, для конструирования праволинейной грамматики, соответствующей данному конечному автомату, достаточно включить в грамматику правила вида для всех переходов вида и правила вида для всех заключительных состояний .

Таким образом, класс языков, задаваемых праволинейными грамматиками, очень удобен в задачах компиляции, т.к. ему соответствует простой распознаватель (конечные автоматы), для которого алгоритмически разрешимы такие проблемы, как эквивалентность двух языков, пустота определяемого языка и проверка входной цепочки на принадлежность данному языку. Многие "локальные" свойства языков программирования, такие как константы, слова языка и строки, могут быть определены с помощью праволинейных грамматик - например, в следующей лекции мы покажем как этот формализм может быть использован в задачах лексического анализа.

Однако, класс языков, задаваемых праволинейными грамматиками, слишком узок для описания многих свойств современных языков программирования. Например, в большинстве языков программирования возникает потребность в согласовании подобных скобок и разделителей, таких, как begin-end, (), [], {}. Можно промоделировать подобное согласование с помощью "правильного скобочного языка", в котором алфавит состоит из символов ' (' и ' )', а количество открывающих скобок совпадает с количеством закрывающих и число закрывающих скобок никогда не превышает число встреченных открывающих скобок. Можно показать, что не существует праволинейной грамматики, описывающий данный язык, но зато его легко записать с помощью следующей контекстно-свободной грамматики: .

По этой причине контекстно-свободные грамматики получили значительно большее распространение в компиляции. С их помощью можно задать очень большую часть синтаксиса языков программирования.



Конечные автоматы


Конечный автомат - это один из самых простых механизмов, используемых при работе с языками. У этого распознавателя есть только фиксированный набор ячеек памяти, а управляющее устройство может только сдвигаться вправо по входной ленте и изменять состояния памяти. Основная часть конечного автомата - это функция перехода, определяющая возможные переходы для любого текущего состояния и любого входного символа. Подразумевается, что допускается возможность перехода сразу в несколько различных состояний автомата, т.е. управляющее устройство распознавателя может быть и недетерминированным. Недетерминированность надо понимать следующим образом: если возможно сразу несколько переходов из данного состояния, то создается несколько копий нашего автомата, по одному на каждое новое состояние. Цепочка считается принадлежащей языку, если хотя бы одна из последовательностей шагов завершается в заключительном состоянии.

После такого краткого объяснения основных идей мы можем дать формальное определение конечного автомата.

Определение. Конечный автомат - это пятерка

, где

Q - конечное множество состояний - конечное множество допустимых входных символов - отображение множества в множество P(Q) , определяющее поведение управляющего устройства (эту функцию часто называют функцией переходов) - начальное состояние управляющего устройства - множество заключительных состояний

В принципе, для определения последующих действий конечного автомата достаточно знать текущее состояние управляющего устройства плюс последовательность все еще необработанных символов на входной ленте. Этот набор данных называется конфигурацией автомата.



Литература к лекции


А. Ахо, Дж. Ульман "Теория синтаксического анализа, перевода и компиляции", Т.1 "Синтаксический анализ", М.: Мир, 1978Р. Хантер "Проектирование и конструирование компиляторов", ФиС, 1984



Магазинные автоматы


Магазинные автоматы, известные также как автоматы с магазинной памятью или как МП-автоматы, формально определяются следующим образом.

Определение. МП-автомат - это семерка, где:

Q - конечное множество состояний - конечный входной алфавит Г - конечный алфавит магазинных символов -- функция перехода, отображение множества в множество конечных подмножеств множества - начальное состояние управляющего устройства - символ, находящийся в магазине в начальный момент (начальный символ) - множество заключительных состояний.

Определение. Конфигурацией МП-автомата P называется тройка , где q - текущее состояние управляющего устройства, -- неиспользованная часть входной цепочки (если , то считается, что вся входная цепочка прочитана), - содержимое магазина (самый левый символ цепочки считается верхним символом магазина; если , то магазин считается пустым).

На каждом шаге работы МП-автомат может либо занести что-то в магазин, либо снять какие-то значения с его вершины. Отметим, что МП-автомат может продолжать работать в случае окончания входной цепочки, но не может продолжать работу в случае опустошения магазина.

Класс языков, распознаваемых МП-автоматами, в точности совпадает с классом языком, задаваемых КС-грамматиками (мы этого доказывать не будем).



Минимизация конечного автомата


Учитывая, что мы можем определять эквивалентные автоматы, хотелось бы научиться находить наименьший среди них. Задача нахождения наименьшего конечного автомата, распознающего данный язык, также разрешима, причем тоже конструктивным образом. Для описания процесса нахождения наименьшего конечного автомата, введем следующее определение.

Определение. Будем говорить, что строка различает состояния и , если существует такая входная цепочка , что является заключительным состоянием, а состояние не является заключительным состоянием, или, наоборот, не является заключительным состоянием, а состояние является заключительным состоянием.

Очевидно, что если некоторая строка различает состояния и такие, что и , то строка aw различает состояния и

Теперь перейдем к описанию процесса минимизации конечного автомата. Мы начнем с поиска и удаления всех недостижимых состояний. Затем мы должны найти такое разбиение множества состояний автомата, чтобы каждое подмножество содержало неразличимые состояния, т.е. если и принадлежат некоторому подмножеству, то для всех из и также принадлежат этому подмножеству.

Для этого мы разобьем множество состояний на два подмножества: и . В дальнейшем, мы попытаемся разбить каждое из подмножеств, соблюдая указанное выше условие. Если возникает ситуация, при которой мы не можем разбить никакое множество состояний, то мы заканчиваем процесс разбиения. В результате мы получим некоторый набор множеств состояний . Каждое из содержит только неразличимые состояния. Наконец, внесем в множество состояний минимизированного автомата по одному представителю каждого из множеств . На этом процесс завершается.

На следующем слайде мы приведем пример минимизации автомата.



Недетерминированные и конечные автоматы


Имеет место следующая теорема: если для некоторого недетерминированного конечного автомата , то для некоторого детерминированного автомата .

Эта теорема доказывается конструктивным образом, т.е. путем указания общего алгоритма построения детерминированного автомата , определяющего тот же язык, что и . Пусть ; тогда мы определим следующим образом:

совпадает с множеством состояний автомата для всех , где содержит p для некоторого

Можно показать, что задает тот же язык, что и . Таким образом, классы языков, задаваемых детерминированными и недетерминированными конечными автоматами, полностью совпадают. Естественно, детерминированные конечные автоматы удобнее, и в дальнейшем мы будем иметь дело только с ними. Следующий набросок программы демонстрирует моделирование конечного автомата (предполагается, что входная лента заканчивается символом end_of_file):

q = q0; c = GetChar(); while (c != eof) { q = move (q, c); c = GetChar(); } if (q is in F) return "yes"; else return "no";



Некоторые свойства грамматик


Отметим некоторые свойства грамматик, которые нам придется учитывать в дальнейшем при построении грамматик реальных языков программирования.

Во-первых, различные грамматики могут порождать один и тот же язык (такие грамматики называются эквивалентными). Например, приведенная выше грамматика эквивалентна следующей грамматике , где правила из P определены следующим образом: .

Несмотря на эквивалентность определяемых языков, одна грамматика может быть значительно удобнее другой с точки зрения ее использования в компиляторе. Поэтому в дальнейшем мы будем рассматривать некоторые приемы преобразования грамматик с целью улучшения удобства работы с языком.

Во-вторых, необходимо отметить, что определение грамматик не накладывает никаких ограничений на количество нетерминалов в левой части правил и приведенные выше примеры не должны создавать обманчивого впечатления, что все грамматики содержат один и только один нетерминал в левой части каждого правила. В качестве иллюстрации приведем следующий пример: , где содержит следующие правила: . Это абсолютно законная грамматика, порождающая язык .

В качестве другого примера приведем еще одну грамматику, эквивалентную грамматике , где . В этом варианте левая часть одного из правил содержит пару из терминального и нетерминального символа.

В-третьих, упомянем одно соглашение, которое нам пригодится впоследствии: для обозначения n правил вида мы будем использовать следующую запись: . В правилах такого вида вертикальная черта читается как "или".



О преобразовании грамматик


Как мы уже видели в предыдущем примере, иногда может возникнуть потребность в преобразовании КС-грамматик.

К сожалению, не существует общего алгоритмического метода приведения КС-грамматик к произвольному виду, как не существует и алгоритма, определяющего равенство языков, задаваемых двумя КС-грамматиками. Однако известен целый ряд преобразований, таких как устранение бесполезных символов и устранение цепных правил, которые позволяют привести грамматику к более удобной форме.

Кроме того, известно, что любая КС-грамматика может быть приведена к нормальному виду Хомского , в котором все правила имеют один из следующих видов:

, где А , B и C - нетерминалы, где a - терминал, при условии, что символ принадлежит языку, а нетерминал S не встречается в правых частях правил

Другим широко распространенным стандартным видом КС-грамматик является нормальная форма Грейбах , в которой все правые части правил начинаются с терминалов.

Перейдем к рассмотрению класса распознавателей, соответствующих классу языков, задаваемых КС-грамматиками - к магазинным автоматам.



Определение грамматики


Грамматики представляют собой наиболее распространенный класс описаний языков. При описании грамматики необходимо начать с определения алфавита языка, который задается как набор допустимых терминальных символов. Кроме того, необходимо определить набор правил вывода вида , с помощью которых строятся все цепочки языка. В левой и правой части этих правил могут встречаться специальные нетерминальные символы; в процессе вывода нетерминальные символы заменяются с помощью соответствующих правил до полной замены на соотвествующие терминалы. Наконец, грамматика должна включать в себя начальный символ , или аксиому, с которой начинается получение любого предложения языка.

Для формального определения грамматики нам потребуются следующие обозначения. Если есть алфавит, то обозначает множество всех строк (включая пустую строку ), составленных из символов, входящих в . Аналогично, определяет множество всех строк, составленных из символов, входящих в , но без пустой строки. Нетерминалы мы будем обозначать прописными буквами, а терминалы - строчными.

Итак, грамматика определяется как следующая четверка: , где

- конечное множество терминальных символов; - не пересекающееся с конечное множество нетерминальных символов; - конечный набор порождающих правил вида (, ), где , - начальный символ, где

Например, грамматикой, порождающей язык , является , где . Другой пример: рассмотрим грамматику, порождающую язык . Такая грамматика имеет вид , где набор правил определяется следующим образом:

.

Определим также понятие выводимости: если - цепочка, состоящая из символов языка , а - правило языка , то непосредственно выводима из в G). Рефлексивное и транзитивное замыкание этого отношения обозначим как

(цепочка выводима из ; имя грамматики можно опускать для краткости).



Пример магазинного автомата


Рассмотрим магазинный автомат, распознающий язык .

Пусть , где:

Работа автомата заключается в копировании в магазин начальных нулей из входной цепочки и последующем устранении по одному нулю из магазина на каждую прочитанную единицу.



Пример минимизации конечного автомата


Рассмотрим процесс минимизации автомата, представленного на слайде. Согласно алгоритму, вначале мы произведем удаление недостижимых состояний - в нашем примере состояние F очевидно недостижимо и потому не попадет в минимизированный автомат.

Затем мы произведем разбиение множества состояний автомата на классы эквивалентности. Укажем такую последовательность разбиений:

E, ABCD E, ABC, D, так как (D,b) = E. E, AC, B, D, так как (B,b) = D.

Таким образом, состояния A и C неразличимы. Поэтому получаем следующий автомат:



Распознаватели для различных классов грамматик


Под распознавателем мы будем понимать обобщенный алгоритм, позволяющий определить некоторое множество (в нашем случае - язык) и использующий в своей работе следующие компоненты: входную ленту, управляющее устройство с конечной памятью и дополнительную рабочую память. Обычно считается, что управляющее устройство может только читать информацию, записанную на входной ленте (чтение производится с помощью входной головки, указывающей на текущий символ) и продвигаться по ней вперед и, возможно, назад. Распознаватель также может изменять состояние памяти, которая может быть организована как конечный линейный список ячеек или как стек (в русской литературе называемый также магазином). В качестве примеров распознавателей можно назвать машину Тьюринга, конечные и магазинные автоматы, которые должны быть известны студентам из предыдущих курсов.

Язык определяется путем задания некоторого множества допустимых заключительных состояний распознавателя: если цепочка, поданная на входную ленту, позволяет распознавателю выполнить последовательность шагов и остановиться в заключительном состоянии, то цепочка принадлежит языку.

Оказывается, каждому классу грамматик из иерархии Хомского соответствует класс распознавателей, определяющий тот же класс языков:

Язык L праволинейный тогда и только тогда, когда он определяется (односторонним детерминированным) конечным автоматомЯзык L контекстно-свободный тогда и только тогда, когда он определяется (односторонним недетерминированным) автоматом с магазинной памятьюЯзык L контекстно-зависимый тогда и только тогда, когда он определяется (двусторонним недетерминированным) автоматом с магазинной памятьюЯзык L рекурсивно перечислимый тогда и только тогда, когда он определяется машиной Тьюринга (этими понятиями мы оперировать не будем; формально они определяются в курсе "Вычислимость" или в базовом курсе "Компьютерные науки").

Дальнейший материал лекции будет посвящен определению свойств распознавателей, упомянутых в этих утверждениях, и обсуждению их применимости на практике.



Расширенная форма Бэкуса-Наура


При определении синтаксиса языков Pascal и Modula-2 Вирт использовал расширенную форму Бэкуса-Наура (EBNF):

Нетерминалы записываются как отдельные словаТерминалы записываются в кавычках, например, " BEGIN "Вертикальная черта (|), как и прежде, используется для определения альтернативКруглые скобки используются для группировкиКвадратные скобки используются для определения возможного вхождения символа или группы символовФигурные скобки используются для определения возможного повторения символа или группы символовСимвол равенства используется вместо символа ::=Символ точка используется для обозначения конца правилаКомментарии заключаются между символами (* … *) эквивалентно [ ]

Пример.

Integer = Sign UnsignedInteger. UnsignedInteger = digit {digit}. Sign = ["+"|"-"]. digit = "0"|"1"|"2"|"3"|"4"|"5"|"6"|"7"|"8"|"9".

В 1981 году Британский институт стандартов (British Standards Institute) опубликовал стандарт EBNF. BSI стандарт получился более наглядным, чем расширенная форма Бэкуса-Наура, предложенная Виртом.

Элементы правил разделяются запятымиПравила заканчиваются точкой с запятойПробелы не являются значащими

Пример.

Constant Declaration = "CONST", Constant Identifier , "=", Constant Expression, ";", {Constant Identifier, "=", Constant Expression, ";"}; Constant Identifier = identifier; Constant Expression = Expression;



Свойства контекстно-свободных грамматик


Весь процесс синтаксическо анализа можно упрощенно рассматривать как определение принадлежности входной цепочки заданной контекстно-свободной грамматике (в дальнейшем, мы будем использовать сокрещение "КС-грамматика"). Однако надо оговориться, что такая формулировка сильно упрощена, так как процесс вывода цепочки по грамматике нетривиален и к тому же усложняется тем фактом, что далеко не все свойства языков программирования могут быть описаны КС-грамматиками.

Кроме того, КС-грамматики зачастую страдают от проблемы неоднозначности. Грамматика называется неоднозначной (ambiguous grammar) , если существует, по крайней мере, одна выводимая в этой грамматике цепочка, для которой существует более одного вывода. Например, можно рассмотреть язык G0, описывающий простые арифметические выражения со сложением и умножением, и задаваемый КС-грамматикой следующим набором правил: . Эта грамматика неоднозначна, так как в ней существует два различных вывода для выражения вида a+a+a или a*a+a (левосторонний и правосторонний вывод).

В данном случае проблему неоднозначности можно решить путем преобразования грамматики к эквивалентной грамматике . Но и у этой грамматики есть серьезный недостаток: операции + и * имеют один и тот же приоритет, и потому выражение a+a*a будет трактоваться как (a+a)*a . Для того, чтобы получить правильный приоритет операций, необходимо продолжить преобразование грамматик и перейти к следующему набору правил: . Более подробно проблемы, связанные с неоднозначными грамматиками, будут рассмотрены в лекции 8.



Задача определения языка


Одна из первых задач, возникающих в процессе компиляции - это определение рассматриваемого языка программирования. При рассмотрении языков, состоящих из конечного множества цепочек, проще всего явным образом перечислить все допустимые входные цепочки. Но что делать с языками, не вводящими никаких ограничений на длину входной цепочки? Для потенциально бесконечных языков нам потребуется ввести какой-то конструктивный способ описания, который позволит нам задать правила, описывающие порождаемый ими язык. Такое описание должно удовлетворять некоторым свойствам:

Само описание должно иметь конечную длинуДля данного описания языка должен существовать алгоритм, который мог бы проверить принадлежность некоторой входной цепочки языку

Существует целый ряд математических формализмов, в той или иной степени удобных для задания языков - вообще, этап анализа входной программы наиболее разработан и лучше всего поддержан математическими теориями. Наиболее распространенным механизмом являются грамматики, которые задают все подходящие цепочки языка с помощью некоторых порождающих правил. Очевидное достоинство грамматик заключается в том, что существует множество систем, которые по заданной грамматике генерируют программу, проверяющую соответствие входной цепочки определяемому языку. Более того, полезную работу синтаксического анализатора (например, построение дерева разбора) можно проводить параллельно с самим распознаванием языка.

Другая часто используемая идея заключается в том, что создается некоторый обобщенный алгоритм, проверяющий за конечное число шагов принадлежность данной цепочки языку. Такой алгоритм либо останавливается после конечного числа шагов и говорит "да", либо останавливается и говорит "нет". Теоретически, нас могло бы устроить и зацикливание алгоритма на неподходящих входных цепочках, но на практике такое поведение не совсем удобно.