Советы по анализу пользовательского формата файла

Во-первых, если вы хотите научиться синтаксическому анализу, напишите свой собственный синтаксический анализатор рекурсивного спуска. Язык, который вы определили, требует лишь нескольких производств. Я предлагаю использовать библиотеку Python tokenize, чтобы избавить себя от скучной задачи преобразования потока байтов в поток токенов.

Для практических вариантов разбора читайте дальше...

Быстрое и грязное решение - использовать сам python:

NINETY_NINE = 99       # Defines the constant `NINETY_NINE` to have the value `99`

rules = {
  '*': {     # Applies to all data
    'isYummy': {},      # Everything must be yummy

    'chocolate': {        # To validate, say `validate("chocolate", object)`
      'sweet': {},        # chocolate must be sweet (but not necessarily chocolate.*)

      'lindt': {          # To validate, say `validate("chocolate.lindt", object)`
        'tasty':{}        # Applies only to chocolate.lindt (and not to chocolate.lindt.dark, for e.g.)

        '*': {            # Applies to all data under chocolate.lindt
          'smooth': {}  # Could also be written smooth()
          'creamy': 1   # Level 1 creamy
        },
# ...
    }
  }
}

Есть несколько способов реализовать этот трюк, например, вот более чистый (хотя и несколько необычный) подход с использованием классов:

class _:
    class isYummy: pass

    class chocolate:
        class sweet: pass

        class lindt:
            class tasty: pass

            class _:
                class smooth: pass
                class creamy: level = 1
# ...

В качестве промежуточного шага к полному синтаксическому анализатору вы можете использовать синтаксический анализатор Python с включенными батареями, который анализирует синтаксис Python и возвращает AST. AST очень глубокий с большим количеством (IMO) ненужных уровней. Вы можете отфильтровать их до гораздо более простой структуры, отбрасывая любые узлы, у которых есть только один дочерний элемент. При таком подходе вы можете сделать что-то вроде этого:

import parser, token, symbol, pprint

_map = dict(token.tok_name.items() + symbol.sym_name.items())

def clean_ast(ast):
    if not isinstance(ast, list):
        return ast
    elif len(ast) == 2: # Elide single-child nodes.
        return clean_ast(ast[1])
    else:
        return [_map[ast[0]]] + [clean_ast(a) for a in ast[1:]]

ast = parser.expr('''{

'*': {     # Applies to all data
  isYummy: _,    # Everything must be yummy

  chocolate: {        # To validate, say `validate("chocolate", object)`
    sweet: _,        # chocolate must be sweet (but not necessarily chocolate.*)

    lindt: {          # To validate, say `validate("chocolate.lindt", object)`
      tasty: _,        # Applies only to chocolate.lindt (and not to chocolate.lindt.dark, for e.g.)

      '*': {            # Applies to all data under chocolate.lindt
        smooth: _,  # Could also be written smooth()
        creamy: 1   # Level 1 creamy
      }
# ...
    }
  }
}

}''').tolist()
pprint.pprint(clean_ast(ast))

Этот подход имеет свои ограничения. Окончательный AST все еще немного зашумлен, и определяемый вами язык должен интерпретироваться как допустимый код Python. Например, вы не могли поддержать это...

*:
    isYummy

... потому что этот синтаксис не анализируется как код Python. Однако его большим преимуществом является то, что вы контролируете преобразование AST, поэтому невозможно внедрить произвольный код Python.

Опять же, я не буду учить вас синтаксическому анализу, но ваш формат настолько близок к легальному YAML, что вы, возможно, захотите просто переопределить свой язык как подмножество YAML и использовать стандартный синтаксический анализатор YAML.

Если ваша цель — научиться синтаксическому анализу, я настоятельно рекомендую библиотеку стиля объектно-ориентированного программирования, например PyParsing. Они не такие быстрые, как более сложные варианты antler, lex, yac, но вы сразу же приступаете к парсингу.

Как предложил «Марсело Кантос», вы можете использовать python dict, преимущество в том, что вам не нужно ничего анализировать, вы можете использовать те же правила на стороне сервера, что и python dict, и на стороне клиента, используя объекты javascript, и можете передавать их с сервера на клиент или наоборот как JSON.

Если вы действительно хотите выполнить синтаксический анализ самостоятельно, см. это http://nedbatchelder.com/text/python-parsers.html

но я не уверен, что вы сможете легко разобрать язык с отступом.

Язык, для которого вы показали пример, вероятно, слишком сложен, чтобы написать для него простую (и безошибочную) функцию синтаксического анализа. Я бы посоветовал прочитать о методах синтаксического анализа, таких как рекурсивный спуск или синтаксический анализ на основе таблиц, таких как LL (1), LL (k) и т. Д.

Но это может быть слишком общим и/или сложным. Возможно, было бы проще упростить язык правил до чего-то простого, например, текста с разделителями.

Например, что-то вроде

шоколад:сладкий
шоколад.lindt:вкусный
шоколад.lindt.*:гладкий,кремовый(1)

Это было бы легче анализировать и можно было бы сделать без формальных парсеров.

Существуют библиотеки и инструменты, облегчающие синтаксический анализ. Одним из наиболее известных является lex/yacc. Существует библиотека Python под названием «lex' и файл руководство по его использованию.

какова мотивация кастомизированной файловой структуры? Можно ли преобразовать ваши данные в более известную структуру, такую ​​как XML? Если это так, вы можете использовать один из множества для анализа вашего файла. Использование принятого инструмента синтаксического анализа может сэкономить вам много времени на отладку и может сделать ваш файл более читабельным, если это необходимо.