当時の庶民からも「サル」と呼ばれていた

たとえば、中国地方の戦国大名・毛利氏の家臣だった玉木吉保という武将が、秀吉の顔を見たときの印象を「赤ひげにサル眼で、空うそを吹いてお出ましになった」と、彼の自伝『身自鏡』に書いています。

特に目のあたりがサルに似ていたのでしょう。

『図解 豊臣秀長』（監修：本郷和人／興陽館）
すべての写真を見る

「空うそを吹く」というのは何のことかよくわかりませんが、すっとぼけた顔といった意味でしょうか。

また、秀吉の別邸・聚楽第の塀に「まつせとは　べちにはあらじ　木の下の　さる関白を　みるにつけても（木下のサルが関白になるようでは世も末だ、といった意味）」という秀吉を批判する狂歌が落書きされる事件もあったことから、当時の庶民も秀吉のことを「サル」と呼んでいたことがうかがえます。