стесни разликата между подплотовете в pyplot

Имам четири матрици на объркване, които да начертая в pyplot. По-долу е моят код и получената снимка:

confmatmap=cm.YlOrBr    
fig = plt.figure()

plt.clf()
ax = fig.add_subplot(221)
ax.set_aspect(1)
res = ax.imshow(np.array(norm_conf_1), cmap=confmatmap, interpolation='nearest')
plt.xticks(range(2), ['T', 'F']); plt.yticks(range(2), ['T', 'F'])

ax = fig.add_subplot(222)
ax.set_aspect(1)
res = ax.imshow(np.array(norm_conf_2), cmap=confmatmap, interpolation='nearest')
plt.xticks(range(2), ['','']);plt.yticks(range(2), ['','']);
ax = fig.add_subplot(223)
ax.set_aspect(1)
res = ax.imshow(np.array(norm_conf_3), cmap=confmatmap, interpolation='nearest')
plt.xticks(range(2), ['','']);plt.yticks(range(2), ['','']);
ax = fig.add_subplot(224)
ax.set_aspect(1)
res = ax.imshow(np.array(norm_conf_4![enter image description here][2]), cmap=confmatmap, interpolation='nearest')
plt.xticks(range(2), ['','']);plt.yticks(range(2), ['','']);


fig.subplots_adjust(left=0, bottom=0, right=1, top=1,wspace=0, hspace=0.1)

Но разликата между левите и десните подсюжети е твърде голяма за мен. Искам както вертикалните, така и хоризонталните пропуски да са с размер приблизително символ. Мога да стесня разликата между горните и долните подграфики, като задам hspace на много малка стойност, но wspace не работи. Предполагам, че това е възможно, защото подграфиците имат някаква празна част, която е бяла.

Как мога да стесня пропуските до която и да е зададена стойност тук?