Есть ли в API-интерфейсе install4j какой-либо метод отмены операции, с помощью которого можно выйти из процесса установки?

Начиная с install4j 6.0.4 такого метода нет. Единственный способ отменить программно — добавить действие «Выполнить сценарий» со свойством «Сценарий», установленным на

return false;

а для свойства «Стратегия сбоя» установлено значение «Выход при сбое». Само действие может иметь «Выражение условия», чтобы вы могли в другом месте определить, следует ли отменять его.