Могу ли я использовать программу запуска install4j для перезапуска приложения Java?

Это не функция в install4j. Однако вы можете снова запустить программу запуска, используя java.lang.ProcessBuilder и вызвав System.exit().

Если средство запуска представляет собой средство запуска с одним экземпляром графического интерфейса, вы должны использовать другой исполняемый файл, который ожидает закрытия средства запуска, а затем перезапускает исходный исполняемый файл. Это можно легко сделать с помощью пользовательского приложения-установщика, которое содержит действие «Выполнить средство запуска» в своем узле «Автозагрузка». Пользовательское приложение-установщик запускается через API с аргументами

-q -wait 20

т. е. он выполняется в автоматическом режиме (без графического интерфейса) и ожидает максимум 20 секунд, пока все установленные программы запуска отключатся. Чтобы показать индикатор выполнения, добавьте

-splash "Restarting application"

к аргументам. Код для запуска пользовательского приложения установки выглядит следующим образом:

import java.io.IOException;
import com.install4j.api.launcher.ApplicationLauncher;

try {
    ApplicationLauncher.launchApplication("ID", new String[] {
       "-q","-wait","20"
    }, false, null);
} catch (IOException e) {
    e.printStackTrace();
    //TODO handle invocation failure
}

где ID нужно заменить на ID пользовательского приложения-установщика.