Использование моего собственного API в Alloy

Что вы имеете в виду под «вашим собственным API»?

Я предполагаю, что вы разработали некоторые модули и предикаты в Alloy, которые вы хотите вызывать из Java API. В этом случае я не думаю, что вы можете сделать это напрямую с помощью API. Лучше всего писать выражения Alloy в виде простых строк на Java, затем анализировать их (например, используя CompUtil.parseOneExpression_fromString), а затем оценивать их (например, используя A4Solution.eval, при условии, что вы уже получили экземпляр A4Solution).