雖說余文樂沒有正式宣告退出演藝圈，但事實是：他已淡出娛樂圈。

其中的原因主要來自：其有關港臺等方面言論的“兩面派”。

早在2018年以前，余文樂的演藝事業順風順水。到了2017年，更與臺灣富家女王棠云結了婚。

但在2018年，他卻因潮牌店發貨上的標注問題翻了車。具體是：余文樂所屬的潮牌店鋪的發貨地將我國的港澳臺等地歸列為海外，這一舉動遭到眾多網友的強烈反對。雖然，他在事后出面致歉，但又在2019年支持港D網友，再次陷入了立場風波中。

2020年，他第三次陷入了敏感手勢風波中。這一次，網友再也沒相信他的話了，期間，他的潮牌店更因抄襲等問題被爆而相繼關閉。此時的余文樂演藝事業也受阻，已經三年未有接到戲。

聲譽、演藝和生意多重的受阻，使得他在娛樂圈難以繼續，臉上也多了些滄桑。