偏李斯已知中计，且闻有查办李由等情，因上书劾奏赵高，历陈罪恶。二世略阅斯书，便顾语左右道：“赵君为人，清廉强干，下知人情，上适朕意，朕不任赵君，将任谁人？丞相自己心虚，还来诬劾赵君，岂不可恨！”李斯越弄越糟。说着，即将原奏掷还。李斯见二世不从，又去邀同右丞相冯去疾，将军冯劫，联名上书，请罢修阿房宫，请减发四方徭役，并有隐斥赵高的语意。惹得二世越加动怒，愤然作色道：“朕贵为天子，理应肆意极欲，尚刑明法，使臣下不敢为非，然后可制御海内。试看先帝起自侯王，兼并天下，外攘四夷，所以安边境，内筑宫室，所以尊体统，功业煌煌，何人不服。今朕即位二年，群盗并起，丞相等不能禁遏，反欲举先帝所为，尽行罢去，是上不能报先帝，次又不能为朕尽忠，这等玩法的大臣，还要何用呢？”赵高在旁，连忙凑趣，请即将三人一并罢官，下狱论罪。二世当即允准，遂由赵高派出卫士，拿下李斯、冯去疾、冯劫，囚系狱中。