这句话的来源，有一个说法是关于王安石和小妾的故事。

      民间传说，北宋著名宰相王安石，妻子死后他又娶了一个18岁的小妻子姣娘。此女不仅出身好，琴棋书画样样精通，也颇有姿色。那时候王安石身居高官，每天忙得脚不沾地，所以在婚后不久，他就冷落了娇娘，有时还经常不回家。久而久之这无疑就会让娇娘常常独守空房，正值妙龄的娇娘就变生出了异样的心思来了，后来便跟府中一位年轻的仆人有了地下私情。很快，王安石就知道了俩人的奸情，决定设计来抓二人。

      一天，他对姣娘说自己上朝去了，其实却偷偷藏在家里。到了晚上，他偷偷潜入卧房前偷听，恰好听见小妻子和情夫调情。火冒三丈的王安石正准备砸门进去捉奸时，脑海里闪过一个念头，自己乃是一朝宰相，为了爱妾如此动怒似乎有些不值得。于是，他咽下了这口气，准备离开。

     没想到王安石一不注意，撞上了大树，树上正好有一个老鸹窝。他眼睛一转，既然自己无法正面阻止姣娘，那就用计。他拿起竹竿捅了几下鸟窝，老鸹吓得惊叫而飞，那仆人做贼心虚，立马跳窗逃走了。事后，王安石没有找他们的麻烦。

     直到中秋，王安石约小妾花前赏月，借着酒意作诗，王安石即席吟诗一首：“日出东来还转东，乌鸦不叫竹竿捅。鲜花搂着棉蚕睡，撇下干姜门外听。”道明自己已经知道妻子出轨的事儿。

    姣娘是个才女，已品出这首诗的寓意，知道自己跟仆人偷情的事被老爷知道了。忙跪在丈夫面前认错，也吟了一首诗：“日出东来转正南，你说这话够一年，大人莫见小人怪，宰相肚里能撑船。

    王安石一听，也认为自己已经老了，姣娘还小，倒不如成全他们。于是他拿出一笔钱，让他们俩离开王府，找一个别人不认识他们的地方成婚。后来，这事儿被传开来，世人很钦佩王安石的肚量。