Как обнаружить и отклонить подстроки json внутри более длинного текста, отличного от json?

Чтобы извлечь объекты JSON из строки, см. этот ответ. Функция extract_json_objects() из этого ответа будет обрабатывать объекты JSON и вложенные объекты JSON, но больше ничего. Если в вашем журнале есть список за пределами объекта JSON, он не будет выбран.

В вашем случае измените функцию, чтобы также возвращала строки/текст вокруг всех объектов JSON, чтобы вы могли поместить их все вместе в журнал (или заменить строку журнала):

from json import JSONDecoder

def extract_json_objects(text, decoder=JSONDecoder()):
    pos = 0
    while True:
        match = text.find('{', pos)
        if match == -1:
            yield text[pos:]  # return the remaining text
            break
        yield text[pos:match]  # modification for the non-JSON parts
        try:
            result, index = decoder.raw_decode(text[match:])
            yield result
            pos = match + index
        except ValueError:
            pos = match + 1

Используйте эту функцию для обработки строк журнала, добавляя их в список строк, которые затем объединяются вместе, чтобы создать единую строку для вывода, регистратора и т. д.:

def jsonify_logline(line):
    line_parts = []
    for result in extract_json_objects(line):
        if isinstance(result, dict):  # got a JSON obj
            line_parts.append(json.dumps(result, indent=4))
        else:                         # got text/non-JSON-obj
            line_parts.append(result)
    # (don't make that a list comprehension, quite un-readable)

    return ''.join(line_parts)

Пример:

>>> demo_text = """Hello, {"a": {"b": "c"}} is some json data, but also {"c": [1,2,3]} is too"""
>>> print(jsonify_logline(demo_text))
Hello, {
    "a": {
        "b": "c"
    }
} is some json data, but also {
    "c": [
        1,
        2,
        3
    ]
} is too
>>>

Другие вещи, не связанные напрямую, которые помогли бы:

• Instead of using json.dumps(x) for all your log lines, following the DRY principle and create a function like logdump(x) which does whatever you'd want to do, like json.dumps(x), or json.dumps(x, indent=4), or jsonify_logline(x). That way, if you needed to change the JSON format for all your logs, you just change that one function; no need for mass "search & replace", which comes with its own issues and edge-cases.
  • You can even add an optional parameter to it pretty=True to decide if you want it indented or not.
• Вы можете выполнить массовый поиск и замену всех существующих логлайнов, чтобы выполнить logger.blah(jsonify_logline(<previous log f-string or text>))
• If you are JSON-dumping custom objects/class instances, then use their __str__ method to always output pretty-printed JSON. And the __repr__ to be non-pretty/compact.
  • Then you wouldn't need to modify the logline at all. Doing logger.info(f'here is my object {x}') would directly invoke obj.__str__.