北周韦孝宽暗地制造谣言：“百升飞上天，明月照长安。”又说：“高山不推自崩，槲木不扶自举。”间谍将谣言播扬于邺城。祖王廷也添油加醋的说：“盲老公背受大斧，饶舌老母不得语。”让妻兄郑道姜向后主奏报。祖王廷、陆令萱解释：“百升，是斛字。盲老公，是说祖王廷。饶舌老母，是说陆氏。且斛律氏几代为大将，斛律光字明月，他的名声振动关西；斛律羡字丰乐，他的威望到了突厥那边。女儿是皇后，儿子娶了公主。谣言有一定道理啊。”北齐后主向韩长鸾询问，长鸾以为谣言不可信，事情才平息。恰逢丞相府佐封士让秘报说：“斛律光从前讨伐西面，回来却威迫京城，将做出不法之事。他家藏弓弩铠甲，奴婢僮仆数以千计，如不早计议，后果不可预料。”后主召祖王廷商议，祖请求说：“派使者赏赐斛律光骏马，他一定来朝廷感谢，趁此机会拘捕他。”于是照他的话去办，斛律光来到凉风堂，刘桃枝从背后打他。斛律光没有跌倒，回视说：“桃枝经常做这样的事情。我没有辜负国家。”刘桃枝和三个大力士将斛律光拉死，血流于地，虽用铲除，血迹还残留不去。后主下诏说斛律光要谋反，将他的两个儿子也杀死。祖王廷派郎官邢祖信登记斛律光的家产，得到十五张弓，宴会聚集时习射的箭一百支，刀七把，赏赐给他的长矛两杆。祖王廷问：“还得到什么？”邢祖信说：“还得到枣木棍二十捆，是准备奴仆和别人殴斗，不论曲直，立即杖责奴仆一百下。”祖王廷听了面有惭愧之色。邢祖信出来，人们都责怪他太耿直。邢祖信愤激的说：“德才兼备的丞相尚且被杀死，我为什么还顾惜这幸存的生命。”后主派贺拔伏恩乘驿车去捉拿斛律羡。贺拔伏恩到了幽州，守城门的人告诉斛律羡：“使者内穿甲衣，马身流汗，应当关闭城门。”回答：“皇帝的使者难道可以拒绝吗？”于是出城见使者。贺拔伏恩拘捕并杀死斛律羡，还杀了他五个儿子。北周武帝听到这个消息后，高兴地在全国实行大赦。过了两个月，北齐后主又废黜了他的皇后斛律氏。斛律家族的灭亡，也昭示着北齐国势的日渐衰弱。
古语说：“三世为将，必有祸殃。”从斛律家族的兴衰上的确看得出来。斛律功高震主，为北齐君臣共嫉。作为政治手段，被除掉也是必然的。不过，从斛律的治军手段来看，不亚于数百年后的岳武穆，颇可敬佩！
