眼见杨广已把话挑明，严禁僚属私下替他上位、夺宗谋划、活动，张衡把心一横，肃然劝谏道：“王爷一心为朝廷建功立业，浑不知您已被推到了万丈悬崖边上，再不惕然警醒，图谋进取，随时都会有性命之忧啊！”
“我自问心无愧，他人又能奈我何？”杨广把头一扬，根本不相信张衡的话。
“若没有两个多月前圣上、娘娘急调王爷还朝那件事，或许王爷还可安安稳稳地做一个藩王，然而，一旦世人都知道了王爷是圣上和娘娘属意的下一任太子的人选，王爷又不欲入主东宫的话，下官担心王爷再想安于现状，只做个藩王也难了。历朝历代的前车之鉴，难道王爷都想不起来了吗？”张衡痛心疾首地苦劝杨广道。
“就是王爷做不成了，待日后我能和厄儿带着一群娃儿退隐山林，共享天伦之乐，也就知足了。”杨广知道张衡是发自真心地替自己的将来着想，遂强忍着心头的不快，放缓语气说道。
张衡见不管自己如何劝说，杨广仍执迷不悟，一门心思地要做个与世无争的隐士，情急之下，一撩衣襟，“扑通”跪倒在杨广面前，嘶声叫道：“太子失德，诸皇子中能够承继圣上之宏愿，恢复汉室江山者，唯有王爷一人了。若王爷甘愿弃祖宗社稷，舍天下苍生于不顾，则我大隋危矣！”
“张衡，你是要本王篡位谋反吗？”杨广冲张衡怒喝道。
“下官并非要王爷谋逆篡位，只是恳请王爷顺应天意、民心而已。”张衡面对已是满面怒容的杨广，毫无惧意，凛然说道，“若论对朝廷、对圣上的忠心，太子身为天下储君，并无尺寸之功，却大肆收受贿赂，私扩东宫六率，不臣之心早已昭然若揭，而王爷您，自稚龄出藩以来，统率大军北平突厥，南灭南陈，称得上是战功卓著，对朝廷耿耿忠心；若论气度、格局，太子连身边的太子妃都容不下，不惜出卖东宫僚属（成氏兄妹）来替自己顶罪，而王爷您却有容人、恕人之气量，不仅善待、厚葬了宇文般若安插在您身边的细作安若溪，而且不久前还宽赦了前来行刺您的诸葛项；姑且将以上种种统统抛开不论，更重要的是，唯有王爷您能不拘泥于成例，敢为天下先，为大隋开疆拓土，造福天下苍生，这是太子远远不及王爷之处。故而，下官坚信，假以时日，圣上终将会册立王爷为太子的，唯愿王爷切莫辞而不就，辜负了天恩、民意才是。”
张衡这番言辞虽然激烈却切中肯綮说得杨广心中“怦怦”直跳，若不是身为一名穿越者，已经预知隋朝是亡于杨广之手，而他又立志要改变历史，发誓不做皇帝的话，他险些被张衡说服，起了做皇帝的念头。
勉力稳了稳心神，杨广依然板着脸，戒告张衡道：“今日之事，就到此为止吧。方才你所说的这番话，再不得对他人提起，关于将来的事，还是留待将来再说吧。不过，无论你，段达、宇文述，还是有别的什么人，都须立即停止替本王的所谓谋划、活动，如有违令者，就甭怪本王无情了。目下你要做的事，便是帮助本王掌好在江南推行均田制这个总，其它的事不用你来操心，本王自有主意。”
