Как найти имя ярлыка по имени программы?

Приложение ничего не знает о ярлыках, созданных для указания на него, поэтому это невозможно. Вам придется перебирать каждый файл в папке пользователя на рабочем столе в поисках файлов ярлыков, открывать их с помощью IShellLink и смотреть, запустили ли они приложение, которое вы ищете. Вот пример того, как это сделать. Вам нужно будет добавить ShellAPI к пункту uses. FileName — это полное имя файла ярлыка.

function GetLinkPath(const FileName: WideString): String;
var
  ShellLink: IShellLink;
  Path: array[0..MAX_PATH] of Char;
begin
  Result := '';
  ShellLink := CreateComObject(CLSID_ShellLink) as IShellLink;
  if (ShellLink as IPersistFile).Load(PWideChar(FileName), STGM_READ) = 0 then
  begin
    if ShellLink.GetPath(Path, MAX_PATH, nil, SLGP_SHORTPATH) = 0 then
      Result := Path;
  end;
end;