宋人王铚的《默记》中载，宋徽宗做皇帝后，翻出章悖当年以“端王轻佻”为由阻止自己上位的旧账，借口他曾怠慢、诋毁宣仁太后，将他贬到睦州做参军。
　　此时章悖已是风烛残年，他深知自己得罪的旧党中人太多，这辈子很可能再也无法返京，于是乐得游山玩水，尤其喜欢访禅问道，过着闲云野鹤的生活。更让他得意的是纳了个年方二八的小妾，名叫茜英，秀外慧中、善解人意，深得他的宠爱。
　　一天，章悖的儿子章援去乌龙寺拜访住持，恰巧住持不在，他便在住持的禅房里翻看字画，忽然发现一方用作镇纸的玉界尺格外眼熟，仔細一看可不得了——那是他老爹心爱的文玩，怎会在此？
　　章援觉得事有蹊跷，也不作声，悄悄将玉界尺揣入怀中，回家后召集府中丫鬟，严词责问。几个丫鬟这才战战兢兢地吐露真言，原来茜英早与住持暗通款曲，那玉界尺估计就是她偷偷送给住持的。
　　章悖听了儿子的汇报，起初根本不信——我待茜英不薄，魅力难道还不如一个和尚？他甚至怀疑一众丫鬟是因妒恨茜英而故意构陷，于是找来茜英亲自询问，谁知茜英竞供认不讳。章悖虽羞恼不已，但忘不了茜英的好处，觉得她也不易，只要能回心转意，他便不再追究。于是他让茜英换上布衣、做些粗活，指望她受此惩戒后能改过自新。但其他丫鬟就没这么幸运了，成了章悖撒气的对象，被捆起来暴打一顿。
　　章悖指使章援将住持痛殴一顿后押送官府，以断茜英的念想。郡守一看昔日丞相受辱，不敢怠慢，亲自审问并以大刑伺候。谁知住持竞有几分功夫，衙役使劲用棍打他的背，堂中灰尘都被震得四下乱飞，他却岿然不动、稳如泰山。有传闻说他是寄身佛门的世家子弟，郡守怕惹麻烦，关他几天了事，此后他便远走他乡。
　　茜英倒是痴情，过了一个月的苦日子，形容憔悴，却仍不改心志，没说半句求饶的话。章悖心下不忍，对她说：“你还是像以前那样服侍我吧，旧事不再提了。”可茜英听说住持离开的消息后肝肠寸断，万念俱灰地说：“您还是把我押送官府吧，如今我只欠一死。”
　　章惇终究舍不得她，将她软禁起来，吩咐下人严防她寻短见。一天，茜英走进章悖的书房，捧起那方玉界尺恸哭不已，下人听得心烦，纷纷避开。茜英擦干眼泪，略施粉黛后悬梁而亡。章悖伤心欲绝，此后再没纳妾。
　　宋人笔记中关于章悖的八卦还有很多，比如他是父亲与其外祖母乱伦而生，还有他与婶娘偷情的丑事等。其实这些“惊天大瓜”不见得保真，更像当朝文人为发泄私怨或公愤而泼向他的脏水，谁让他为相时不肯积德，把旧党中人往死里整，连老友苏轼都不放过，还建议宋哲宗将死去的司马光、吕公著剖棺鞭尸。这些素有清名雅望的人遭此大劫，他们的徒子徒孙怎肯善罢甘休，自然要把章悖往死里骂。