qsort: передать саму функцию компаратора или параметры в теле функции компаратора?

Вы должны избегать последнего случая, потому что это недопустимо.

Чтобы два типа функций были совместимы, возвращаемые типы должны быть совместимы, а соответствующие типы параметров должны быть совместимы. const void * несовместим с const double *, поэтому типы функций несовместимы. Вызов функции через несовместимый тип указателя приводит к неопределенному поведению.

Обратите внимание: тот факт, что два типа могут быть неявно преобразованы, не означает, что они совместимы. На примере const double * и const void * преобразование между двумя типами может выполняться без приведения, однако представление двух типов не обязательно должно быть одинаковым.

Это означает, что способ передачи const double * функции может отличаться от способа передачи const void * функции. Таким образом, вызывая функцию типа int (*)(const double*, const double*) так, как если бы она имела тип int (*)(const void*, const void*), параметры могли быть переданы неверным образом.

Хотя системы x64 и ARM обычно используют одно и то же представление для всех типов указателей, вы можете обойтись без первого варианта, но это все равно не гарантируется. Современные компиляторы часто предполагают, что неопределенное поведение не произойдет, и выполняют оптимизацию на основе этого факта.

Первый случай является правильным методом, поскольку сигнатура функции совместима с тем, что ожидает функция qsort.

В качестве дополнения, есть еще одна стратегия вызова qsort: создать промежуточную qsort требуемую функцию-прототип, которая вызывает функцию сравнения с поддержкой типов.

#include <stdlib.h>
#include <stdio.h>

static int double_cmp(const double *d1, const double *d2)
    { return (*d1 > *d2) - (*d2 > *d1); }

static int double_void_cmp(const void *v1, const void *v2)
    { return double_cmp(v1, v2); }

int main(void) {
    double p[] = { 2.18, 6.28, 3.14, 1.20, 2.72, 0.58, 4.67, 0.0, 1, 1.68 };
    const size_t n = sizeof p / sizeof *p;
    size_t i;
    qsort(p, n, sizeof *p, &double_void_cmp);
    for(i = 0; i < n; i++) printf("%s%.2f", i ? ", " : "", p[i]);
    fputs(".\n", stdout);
    return EXIT_SUCCESS;
}

Хотя у этого есть свои проблемы, можно использовать double_cmp в качестве компаратора для других вещей, не относящихся к qsort. Кроме того, он не требует приведения типов или явных присваиваний, согласно моей интерпретации ISO 9899 6.3.2.3,

Указатель на void может быть преобразован в или из указателя на любой незавершенный или объектный тип. . . и обратно.

В дополнение к отличному ответу dbush следует отметить, что случай альтернативной функции сравнения с прототипом int cmp(const char *s1, const char *s2), таким как strcmp, не так ясен, как тот, что указан в вопросе. Стандарт C указывает, что:

6.2.5 Типы

[...] Указатель на void должен иметь те же требования к представлению и выравниванию, что и указатель на символьный тип. Точно так же указатели на квалифицированные или неквалифицированные версии совместимых типов должны иметь одинаковые требования к представлению и выравниванию. Все указатели на типы структур должны иметь одинаковые требования к представлению и выравниванию. Все указатели на типы объединения должны иметь одинаковые требования к представлению и выравниванию. Указатели на другие типы не обязательно должны иметь такие же требования к представлению или выравниванию.

Таким образом, указатели на функции с прототипами int cmp(const void *v1, const void *v2) и int cmp(const char *v1, const char *v2) несовместимы, но маловероятно, что последовательность вызовов будет отличаться даже для тех чрезвычайно редких целей, где int cmp(const double *v1, const double *v2) будет проблематичным (ранние системы Cray и процессоры, не обладающие байтовой адресацией). .

Вы не предоставляете код для функций сравнения: распространенной ошибкой является простое возвращение разницы значений (*d1 - *d2). Это не работает для значений с плавающей запятой, а также для значений int, поскольку вычитание может переполниться.

Вот реализация возрастающего порядка, которая работает для всех типов чисел:

int cmp(const void *v1, const void *v2) {
    const int *p1 = v1, *p2 = v2;
    return (*p1 > *p2) - (*p1 < *p2);
}

Для типов с плавающей запятой может потребоваться специальная обработка значений NaN:

// sort by increasing values, with NaN after numbers
int cmp(const void *v1, const void *v2) {
    const double *p1 = v1, *p2 = v2;
    if (isnan(*p1)) {
        return isnan(*p2) ? 0 : 1;
    } else
    if (isnan(*p2)) {
        return -1;
    } else {
        return (*p1 > *p2) - (*p1 < *p2);
    }
}