贺若弼这次回答得很婉转，说：“这可得由陛下您来选择。”言下之意，大将是非他莫属的。
现在眼见着远不如自己的杨素居然成了一人之下，万人之上的宰相，而自己还是个将军，贺若弼怎么能平静得了呢？这一不平，管不住嘴的老毛病又犯了，不满之意不仅写在了脸上，而且带在了嘴上，不论场合，不分对象，抱怨的话如小河流水一般，顺口而出。终于，他因为出言不逊，对朝廷不满而被免职。
丢了官，贺若弼没有丝毫收敛，不平之色更浓了，埋怨和忿恨得更加厉害。有人打了小报告，文帝杨坚很生气，质问他说：“我任命高颍、杨素为宰相，你每每议论，说这二人只会吃饭，是什么意思啊？”
贺若弼回答说：“高颍是我的老朋友，杨素是我的表兄弟，我都知道他们的为人，所以才说这些话。”
公卿大臣商议他的罪名，认为应当处死，文帝怜惜他过去的功劳，只是将他贬为平民，但不久又恢复了他的爵位。
然而，经历大起大落的贺若弼却没有得到任何的教训，开皇十九年（公元599年），文帝杨坚在仁寿宫宴请王公大臣，命贺若弼做五言诗，结果诗呈上来，还是牢骚满腹，满是愤愤不平之气。文帝虽然不高兴，但还是宽容了他。
可在杨广继位后，贺若弼就没有这样幸运了。公元607年，隋炀帝巡行到榆林，素来好大喜功的杨广命人建了一座可容千人的大帐幕，然后召见突厥启明可汗，意在摆摆场面，彰显一下大国的威风，别人没说什么，贺若弼又忍不住了，发牢骚说太奢侈了，还找到高颍、宇文弼等人私下里议论得失，结果被人告发。隋炀帝可没有他老子那份仁厚和爱心，下令将其处死，时年64岁。
贺若弼完成了父亲统一江南的宏愿，却仍然没能管得住自己的这张嘴，最终也和他父亲一样，死在了舌头上，怎么能不让人扼腕叹息呢？其实说话只是一件小事，贺若弼真正没有管住的，是自己的欲望啊。（智者：清风慕竹）
