可能是方姨娘风头太盛，让叶氏听到了，心里又多了几分嫉恨。
朱氏听说苏炳仁的官职比她相公还好还能赚钱，当时就不满意了，又是一通闹腾，甚至当着苏炳仁的面把他臭骂一顿，说他如何败家如何不要脸云云。
当时苏炳仁气急了，连夜收拾包袱带着一家老小就搬出府去，然后第二天租了车队，中午来接方姨娘准备次日离京。
可接人的时候他们怎么也找不着老姨娘，问叶氏要人，叶氏却说方姨娘原本是她的贴身丫鬟，方姨娘的卖身契还在她手里，她不允许方姨娘离京，不管说什么都没用。
苏炳仁恼怒之极却全无办法，只能暂住在府外想办法。
他们试了无数种办法，一来寻不着方姨娘本人，二来上任有时间限制，百般无奈，苏炳仁去找叶老太婆谈判。
叶老太婆提出一个条件，想接走方姨娘没门儿，不过你想让她过得好，就每月往京中送五千两银子，那是苏炳仁欠苏家的，也是苏姨娘的生活费。
苏炳仁怒极，当时就跟叶氏撕破了脸，发誓再不进这家门，然后愤然离京。
苏炳仁脾气也倔，离京后一封信不来，一文钱不给叶氏。叶氏也发了狠，不知从哪儿弄个老小子回来送到方姨娘房里，然后带群人把他们捉奸在床。
这样的大罪本是要沉塘除名的，叶氏不知为何只法办那老小子，却故意留下方姨娘，把她贬为最下等老奴，扔进一个偏僻的小院子里，任她自生自灭。