Как перечислить все исключения, которые функция может вызвать в Python 3?

Есть ли программный способ получить список всех исключений, которые может вызвать функция?

Например, я знаю, что os.makedirs(path[, mode]) может поднять PermissionError (и, возможно, другие), но в документации упоминается только OSError. (Это всего лишь пример - может быть, даже плохой; я не особо интересуюсь этой функцией - больше в проблеме в целом).

Есть ли программный способ найти все возможные исключения, когда они не документированы/плохо документированы? Это может быть особенно полезно в сторонних библиотеках и библиотеках, которые не поставляются с исходным кодом Python.

Решение, представленное в "Python: как узнать, какие исключения могут быть вызваны вызовом метода" не работает в Python 3; нет пакета compiler.


person hiro protagonist    schedule 14.09.2015    source источник
comment
возможный дубликат Python : Как я могу узнать, какие исключения могут быть вызваны вызовом метода   -  person Simon Gibbons    schedule 14.09.2015
comment
Вы хотите знать это во время кодирования или во время выполнения?   -  person J Richard Snape    schedule 14.09.2015
comment
нет пакета compiler. Затем, как предложено в вашей ссылке, используйте parser. Или встроенный compile или ast.parse   -  person 301_Moved_Permanently    schedule 14.09.2015
comment
чтобы использовать описанный там метод, мне нужны классы Name, Raise, CallFunc, Const, Getattr из пакета compiler. где бы мне их найти?   -  person hiro protagonist    schedule 14.09.2015
comment
я нашел Call, Name и Raise в модуле _ast. я посмотрю, что я могу сделать оттуда.   -  person hiro protagonist    schedule 14.09.2015
comment
Я не думаю, что вы можете получить гарантированно полный список для произвольного кода, если только этот список не может включать какое-то подстановочное значение. Ничто не мешает функции выполнять такие операторы, как raise user_provided_callable('Ouch!') или raise CONFIG['exceptions'].get('nitpick', ValueError)('Whoops!'). Такого рода вещи могут быть даже хорошей идеей в некоторых ситуациях, хотя я изо всех сил пытаюсь думать о чем-то еще, потому что я мог!   -  person Kevin J. Chase    schedule 14.09.2015
comment
@KevinJ.Chase, не говоря уже о встроенных исключениях, таких как NameError, KeyError или любом другом исключении, которое распространяется из вызова функции. Поиск полного списка функций, скорее всего, сведется к проблеме остановки.   -  person mike3996    schedule 14.09.2015
comment
Меня немного смущает вопрос - вы говорите, что os.makedirs может поднимать FileExistsError - но насколько я вижу на самом деле проглатывает FileExistsError здесь.   -  person J Richard Snape    schedule 14.09.2015
comment
вы правы FileExistsError не относится к исключениям makedirs может расие. моя ошибка. я исправил это в вопросе.   -  person hiro protagonist    schedule 15.09.2015


Ответы (2)


Вы не можете получить надежные результаты для некоторых (если не большинства) функций. Некоторые примеры:

  • функции, выполняющие произвольный код (например, exec(')(rorrEeulaV esiar'[::-1]) вызывает ValueError)

  • функции, написанные не на Python

  • функции, которые вызывают другие функции, которые могут передавать ошибки вызывающей стороне

  • функции, повторно вызывающие активные исключения в блоке except:

К сожалению, этот список неполный.

Например. os.makedirs написан на Python, и вы можете увидеть его исходный код:

...
try:
    mkdir(name, mode)
except OSError as e:
    if not exist_ok or e.errno != errno.EEXIST or not path.isdir(name):
        raise

Bare raise повторно вызывает последнее активное исключение (OSError или один из его подклассов). Вот иерархия классов для OSError:

+-- OSError
|    +-- BlockingIOError
|    +-- ChildProcessError
|    +-- ConnectionError
|    |    +-- BrokenPipeError
|    |    +-- ConnectionAbortedError
|    |    +-- ConnectionRefusedError
|    |    +-- ConnectionResetError
|    +-- FileExistsError
|    +-- FileNotFoundError
|    +-- InterruptedError
|    +-- IsADirectoryError
|    +-- NotADirectoryError
|    +-- PermissionError
|    +-- ProcessLookupError
|    +-- TimeoutError

Чтобы получить точные типы исключений, вам нужно изучить mkdir, функции, которые он вызывает, функции, которые вызывают эти функции и т. д.

Таким образом, получить возможные исключения без запуска функции очень сложно, и вам действительно не следует этого делать.


Однако для простых случаев, таких как

raise Exception # without arguments
raise Exception('abc') # with arguments

сочетание функциональности ast модуля и inspect.getclosurevars (чтобы получить классы исключений, введенный в Python 3.3) может дать довольно точные результаты:

from inspect import getclosurevars, getsource
from collections import ChainMap
from textwrap import dedent
import ast, os

class MyException(Exception):
    pass

def g():
    raise Exception

class A():
    def method():
        raise OSError

def f(x):
    int()
    A.method()
    os.makedirs()
    g()
    raise MyException
    raise ValueError('argument')


def get_exceptions(func, ids=set()):
    try:
        vars = ChainMap(*getclosurevars(func)[:3])
        source = dedent(getsource(func))
    except TypeError:
        return

    class _visitor(ast.NodeTransformer):
        def __init__(self):
            self.nodes = []
            self.other = []

        def visit_Raise(self, n):
            self.nodes.append(n.exc)

        def visit_Expr(self, n):
            if not isinstance(n.value, ast.Call):
                return
            c, ob = n.value.func, None
            if isinstance(c, ast.Attribute):
                parts = []
                while getattr(c, 'value', None):
                    parts.append(c.attr)
                    c = c.value
                if c.id in vars:
                    ob = vars[c.id]
                    for name in reversed(parts):
                        ob = getattr(ob, name)

            elif isinstance(c, ast.Name):
                if c.id in vars:
                    ob = vars[c.id]

            if ob is not None and id(ob) not in ids:
                self.other.append(ob)
                ids.add(id(ob))

    v = _visitor()
    v.visit(ast.parse(source))
    for n in v.nodes:
        if isinstance(n, (ast.Call, ast.Name)):
            name = n.id if isinstance(n, ast.Name) else n.func.id
            if name in vars:
                yield vars[name]

    for o in v.other:
        yield from get_exceptions(o)


for e in get_exceptions(f):
    print(e)

отпечатки

<class '__main__.MyException'>
<class 'ValueError'>
<class 'OSError'>
<class 'Exception'>

Имейте в виду, что этот код работает только для функций, написанных на Python.

person vaultah    schedule 14.09.2015

Поиск исключения в не встроенном исходном коде:

Как сказано в теме Python: Как я могу узнать, какие исключения могут быть вызваны вызовом метода, вы можете получить абстрактное синтаксическое дерево и искать возникшие исключения.

import ast

def find_raise(body):
    raises = []
    for ast_ in body:
        if isinstance(ast_, ast.Raise):
            raises.append(ast_)
        if hasattr(ast_, 'body'):
            raises += find_raise(ast_.body)
    return list(set(raises))


test = '''
def f(arg):
    raise OSError(arg)
'''

raises = find_raise(ast.parse(test).body)
print [i.type.func.id for i in raises] # print ['OSError']

Этот метод работает для каждого фрагмента кода, который вы написали.


Поиск исключения во встроенных методах

Вы не можете анализировать встроенную функцию, например os.makedirs.

Две альтернативы:

  • Вы можете просмотреть тесты, включенные в ваш дистрибутив Python (ex с cpython)
  • и если ваш целевой метод предлагает исходный код Python, вы можете разобрать его, как и раньше (код будет в /usr/lib/python3/*.py)

Для всех собственных методов C вы застряли в документации и должны доверять ей. Когда os.makedirs говорит, что возвращает только OSError, это правда, поскольку исключения PermissionError и FileExistError являются подклассами OSError.

Чтобы найти ошибки программно для встроенного, вы можете использовать этот пример:

>>> import re
>>> re.findall(r'\w+Error', open.__doc__)
['IOError', 'FileExistsError', 'ValueError']
>>> re.findall(r'\w+Error', os.makedirs.__doc__)
['OSError']

Он перехватывает все исключения с именем, оканчивающимся на «Ошибка», его, безусловно, можно расширить, чтобы найти все стандартные исключения.

person Cyrbil    schedule 14.09.2015
comment
«не могу разобрать встроенную функцию», я этого боялся; PermissionError нигде нет в os.py. я посмотрю на ваше решение. Спасибо! - person hiro protagonist; 14.09.2015
comment
Обратите внимание, что исключения PermissionError и FileExistError являются подклассами OSError. Таким образом, вы должны быть в порядке, только ловя OSError и фильтруя после, если это необходимо. - person Cyrbil; 14.09.2015
comment
истинный; но мне все равно нужно знать о существовании этих исключений. - person hiro protagonist; 14.09.2015
comment
Я добавил пример, чтобы найти форму исключения doc. Это не очень точно, но это хорошее начало... - person Cyrbil; 14.09.2015