开皇中后期，太子杨勇逐渐失去杨坚夫妇的宠爱，而晋王杨广则异常得宠，杨坚夫妇心里都已经有了废立之意。有一天，杨坚想试探一下高熲的态度，就说：“有神梦中告诉晋王妃，说晋王当有天下，你看该怎么办？”高熲一听这话很不对劲，赶紧跪地，说：“长幼有序，太子绝不可轻废！”杨坚默然良久，一句话也没有再说。

当时，独孤后一心要废黜杨勇、另立杨广（参见第二十三章《夺嫡进行时》），得知高熲的态度后，当即下定决心要把高熲搞掉，否则，太子废立必然遭遇极大阻力。

事实上直到此刻，杨坚对高熲还是相当信任的。但是，紧接着发生的一件事，却让他对高熲生出了极大的防范之心。

这件事是关於东宫的卫队问题。

由於杨坚已经不放心杨勇，所以就打算征调东宫的一部分精锐卫士进入皇宫。高熲极力以为不可，说：“若把东宫精锐调入宫中，那东宫的守卫就太薄弱了。”杨坚一听脸色就变了：“我经常出宫，身边需要精锐护卫，太子在东宫修养德行，要那么多卫队干什么？其实，在东宫设立强大卫队，本身就是一种陋规，要照我的意思，宫中禁军轮值交班的时候，分出一部分去戍卫东宫就够了。宫中禁军与东宫卫队，本来就不该有归属和建制上的分别，若合二为一，岂不是一项很合理的改革？我对历史上有关这方面的得失利弊清楚得很，你大可不必拘泥於古人之法。”在历史上，东宫依靠强大卫队发动政变、夺取皇位的例子并不算少，比如南朝刘宋时期，宋文帝因担心皇族政变，就极大地加强东宫兵力，致使太子刘劭的卫队多达一万人，与皇宫禁军的兵力相等，所以后来刘劭发动政变时，猝不及防的禁军根本无法抵御，导致宋文帝惨死在儿子手中。

像这种事，杨坚比谁都清楚，所以他必然要削弱东宫兵力，以防重蹈宋文帝覆辙。而在杨坚看来，高熲之所以反对裁减东宫兵力，根本就不是为了维护古制，而是为了维护他自己的利益——因为，高熲之子高表仁娶了杨勇之女，一旦将来杨勇即位，高表仁就成了驸马，而高熲就能以天子亲家的身份继续掌权、长保富贵。

一想到高熲有这么大的私心，杨坚长期以来对他的信任顿时消失了一大半。

开皇十七年，高熲的元配病卒，独孤后就对杨坚说：“高仆射年纪也老了，没了老伴怪可怜的，陛下何不帮他再娶一位正室？”杨坚觉得有道理，就对高熲提了出来。没想到，高熲一听，不但没有喜色，反而声泪俱下，说：“臣已经老了，每日退朝，唯有吃斋念佛、诵读佛经而已，虽然陛下厚爱老臣，但续娶正妻一事，实在非臣所愿。”杨坚听了，也就作罢。不久，高熲的小妾生了个儿子，杨坚得知后，也很替他高兴。不料，独孤后却在旁边发出冷笑。杨坚问她为何如此，独孤后说：“陛下到今天还在信任高熲吗？当初，您要帮他娶一房正室，他心里想着小妾，就说得冠冕堂皇，欺骗陛下。现在，小妾的儿子都生了，他那些什么吃斋念佛的鬼话，您还信吗？说大一点，他这个人的品质，您还能相信吗？”杨坚一听，觉得大有道理，从此对高熲的信任荡然无存，开始日渐疏远他。

开皇十八年春，高丽王高元纵兵入寇辽西。杨坚大怒，即命汉王杨谅为元帅、高熲为副帅，率王世积、周罗睺等将领及三十万大军，分水陆两路进攻高丽。不料大军启程后，陆路便遭遇水患，粮食不继，加之瘟疫流行，士卒大量死亡，而水路则在海上遭遇风暴，舰船大量沉没，不得不相继班师。

回师后，清点人数，三十万大军居然死了十之八九。此次出征，堪称隋朝自开国以来最惨痛的一次失败，也是最令人郁闷的一次失败，因为隋军连敌人的影子都没见着就差一点全军覆没了。

此次出征高丽，高熲原本就极力反对，如今损兵折将又劳而无功，至少可以证明高熲的意见是正确的。然而，这件事到了独孤后嘴里，却又成了高熲的一桩罪状。她对杨坚说：“高熲本来就不想走这一趟，是陛下硬逼着他去的，像这种赶鸭子上架的事情，臣妾早就知道不会有什么好结果。”平心而论，不管高熲赞成不赞成此次出征，碰上天灾都不是他可以预料的，更不是他想要的，而独孤后这么说话，好像此次失利都成了高熲的责任似的。要是在平时，独孤后这种逻辑混乱的话倒不至於影响杨坚的判断力，可现在杨坚正在气头上，且近来对高熲一直很不满，所以这话一到杨坚耳朵里，对高熲的杀伤力还是相当大的。

此外，汉王杨谅虽挂名为此次东征的元帅，但他毕竟还年轻，所以军事大权其实都在高熲手里。而高熲自认为肩负杨坚厚望，而且凡事都出於公心，所以也就不避嫌疑，对於杨谅很多不靠谱的提议都予以了否决。

高熲这么做，当然极大地伤害了这位五皇子的自尊心。回京后，杨谅就去找母亲独孤后哭诉，说：“儿臣这次出征，差点就被高熲杀了。”独孤后马上告诉了杨坚。杨坚闻言，对高熲的不满和怨恨又增加了几分。

开皇十九年，王世积案发，有关部门审问王世积时，问出了一些宫禁中的事情。这些事虽属鸡毛蒜皮，但身为地方大将的王世积本来是不应该知道的。审讯官赶紧追问，王世积供称是从高熲那里听来的。这下子，高熲的麻烦大了。

有关部门将此事上奏，杨坚一听，顿时大为惊愕。在杨坚看来，这件事的关键并不在於高熲向王世积透露了什么，而是高熲身为首席宰相，居然与手握重兵的封疆大吏私下讨论宫禁中事，这种事情的性质是极其严重的，给他定一个谋反的罪名都不算冤枉他。

紧接着，审讯官又再接再厉，从王世积口中挖出了更让人惊骇的事情：说高熲和左卫大将军元珉、右卫大将军元胄等人，都曾与王世积私下交结，还收受了王世积的名马馈赠。

本来，大臣之间互相馈赠物品，也属人之常情，没什么好大惊小怪的，可对於现在正风声鹤唳、草木皆兵的杨坚来说，这种种迹象似乎都能与结党和谋反挂上钩。

杨坚当即撤了元珉、元胄二人的禁军大将职务。此时，京师内外许多大臣都看出皇帝很可能要对高熲动手了，於是纷纷上疏，异口同声地证明高熲无罪。在声援高熲的人中，为首的有上柱国贺若弼、吴州（今浙江绍兴市）总管宇文弼、刑部尚书薛胄、民部尚书斛律孝卿、兵部尚书柳述等人。

面对这样一个力挺高熲的豪华阵容，杨坚这一惊真是非同小可——怎么回事？你们这些当朝重臣和封疆大吏拿着我杨坚的薪水，屁股怎么都坐到高熲那边去了？莫非你们都成了高熲的私人班底，早就不把我这个大隋皇帝放在眼里了？

贺若弼等人的声援显然帮了高熲的倒忙，不仅在最危急的时刻又把他往深渊里推了一把，而且也害了他们自己。

很快，怒不可遏的杨坚便一声令下，把所有参与声援高熲的大臣全部抓起来扔进了监狱。至此，满朝文武再也没人敢替高熲喊冤。开皇十九年八月，杨坚正式宣布了对高熲的处理结果：罢免上柱国、左仆射等职，以齐国公的身份致仕。

应该说，跟虞世则、王世积等人比起来，高熲这样的结局已经算很不错了。不难看出，杨坚对他还是有念旧情的。虽然高熲的仕途已就此完结，但至少保住了元勳的身份和待遇，也保住了一个平安的晚年。