Android — заполнение значка ActionBar с помощью Navigation Drawer

Я хочу создать панель действий, например WhatsApp, с изображением пользователя в качестве значка действия. У меня проблема в том, что ActionBar показывает слишком маленькую картинку. Я знаю, как решить эту проблему с помощью Custom Layout для ActionBar, но когда я использую его вместе с Navigation Drawer (ActionBarDrawerToogle), он также автоматически ставит индикатор Drawer + AppIcon.

Как я могу поместить только индикатор Drawer и установить значок как ImageView из моего CustomLayout или изменить заполнение значка по умолчанию в этом случае?

Спасибо.