尽管在凌烟阁功臣中位列首位，又是唐太宗李世民的大舅子，长孙无忌却也一直都是行事低调，丝毫没有摆架子的意思，但是，这些都只是早年的长孙无忌。而后来，他却被李治逼得，细究其原因竟然有一条是他太过狂妄，这就让很多人不理解了，长孙无忌与狂妄两个字，又是如何搭上边的呢?

永徽六年(655年)，唐高宗经过艰苦努力最终完成了废王立武这件大事。武则天也通过此事为自己后来空前绝后的女皇帝之路奠定了基础，而曾经不可一世的凌烟阁第一功臣长孙无忌却落得个的凄惨结局。

实际上对于长孙无忌的最终结局，长孙皇后和唐太宗都早有预感。长孙皇后生前不让自己的哥哥参与朝政，临终前的唐太宗则提醒长孙无忌不要走上权臣之路。而早年的长孙无忌也确实行事低调，以至于当年的太子李建成都不将其视为主要威胁。

但是到了永徽年间，特别是永徽四年(653年)的高阳公主谋反案之后，几乎将所有的政敌与潜在政敌消灭的长孙无忌基本上完成了对朝政的垄断，架空了唐高宗。而从一件小事上就可以看出，此时的长孙无忌狂妄到了何等地步。

贞观年间的宰相大多数都非常清廉，比如魏征直到去世家里都没有正屋。但长孙无忌算是贞观宰相中的另类，他的府邸非常豪华，甚至都成了当时长安城的著名旅游观光景点。而长孙无忌也经常在自己的府邸里宴请宾客，显示自己的声望。

大约在永徽四年(653年)后的某天，长孙无忌又一次大宴宾客。在宴会达到的时候，长孙无忌突然向宾客们问道：我长孙无忌本来没什么本事，依靠运气和皇帝的赏识，如今已经是人臣富贵至极了。诸公说说我和隋朝的越国公比如何呢?

隋朝越国公就是杨素。在隋炀帝刚登基的时候，杨素成为隋朝最有权势的大臣，朝廷五贵中三个都是杨素家族的人。不过晚年的杨素为了摆脱隋炀帝的猜忌，用不吃药的方法慢性而死。而杨素的儿子杨玄感后来谋反被杀，九族尽灭，杨素也被开馆戮尸。

因此长孙无忌突然在宴会问宾客们自己和杨素相比的问题，很多宾客不知道长孙无忌到底是什么意思?有些宾客就奉承长孙无忌，说长孙无忌比当年的杨素强多了;有些相对冷静的宾客觉得这里有问题，就说长孙无忌现在还是比不上杨素。

在听宾客们的回答后，长孙无忌说道：我自己觉我确实比不上当年的越国公杨素，主要是有一项比不上他。越国公杨素位极人臣的时候年龄已经很大了，而我位极人臣的时候还很年轻!长孙无忌这里明显是正话反说，其实他是觉得自己比杨素强多了。

杨素是隋朝最有权势的大臣，最后也因为自己的权势而身败名裂，九族尽灭。而永徽年间的长孙无忌不仅不以杨素为前车之鉴，反而觉得自己比杨素还厉害。可见此时的长孙无忌狂妄到何种程度，这预示了他之后的悲惨结局。