忆德祖师刚好独立修建一座寺院，就主动提出去永安寺。虽然忆德祖师不算是少林寺弟子，但是忆德祖师的请求得到了少林寺高层的默许。忆德祖师是英国公，再说他自愿去修建一个寺院，这本身就死一个天大的好事。少林寺为忆德祖师开出证明，任命忆德祖师为永安寺代理主持。忆德祖师当着大家的面接手了这个任务，没想到这么一接手耗费了他后半生的心血。
忆德祖师自从开悟后，就已经决定放弃英国公职务，反正家里有好几个弟弟，谁都可以代替他接任英国公职务。他以为建造一个并不大的寺院很容易，只要有钱只要自己亲自监督，用不了多久就可以建造一个不错的寺院。到时候忆德祖师就算不是寺院的当家师傅，也可以做一个普通僧人，一直留在这个寺院里面修佛学佛。
忆德祖师回到家里找来了几个弟弟说粗自己的想法。对于忆德祖师自愿放弃地位，几个弟弟没有意见反而心里很开心。但是忆德祖师说要英国公全力资助营造一个寺院时，几个弟弟都觉得为难。最后忆德祖师拍板，以自己放弃继承权的代价，获得英国公家三分之一财产作为建造永安寺的资金。忆德祖师亲自写下自愿放弃爵位，把爵位顺延给弟弟的奏折。等到朝廷批准之后，得到修建永安寺的资金就会离开。
不久之后朝廷同意了，新任的英国公也爽快地把钱交给了忆德祖师。忆德祖师低着几个自愿和自己一起修行的下人连夜赶到了永安寺。虽然永安寺的破旧令大家大吃一惊，但是忆德祖师依然决定住下来。也就在这个晚上，忆德祖师在破旧的永安寺大殿许下了一个大愿。当永安寺修建完成的时候，就是忆德祖师出家的日子。
忆德祖师以为资金够了，忍受总会好办的，材料可以花大价钱买，没想到事情没有这么简单，永安寺不但破旧了而且欠着许多人的钱。永安寺想要打工必须先把欠着的钱补上，还债用去了总资金的一成。忆德祖师私下一打听才知道材料和人手问题也很严重。由于海上不太平，山路难走，就算有材料也运不进来，何况现在材料价格一天一个价格老贵了。人手的问题主要是大家都不愿意白干活。这里的老百姓太穷了她们干活不好意思让他们白干。老百姓信佛的不多，当然不愿意上山干活。要是忆德祖师利用衙门的力量逼打击干活的话，是会让大家更加不愿意信佛失去了在这里建立寺院的最初目的。要是话大家前倾老百姓干活的话，光是工钱就会一年过去总资金的三成，忆德祖师的钱看来远远不够。
忆德祖师决定一边购买材料，一边由她亲自去化缘求有钱人出资建造永安寺。【】忆德祖师首先在福|建本地化缘，没想到他不但没有说服一个有钱人帮助，反而被人当做骗子抓进了衙门。虽然最后衙门的人确认了忆德祖师的身份放了忆德祖师，但是忆德祖师一个堂堂的英国公传人做了一个化缘和尚的事情令大家唏嘘。忆德祖师见当地要不到钱，就回家说服弟弟们捐钱。可是这一次忆德祖师没有要到太多的钱，弟弟们躲瘟疫一样躲着他。忆德祖师索性进京向勋贵们化缘，希望大家看在自己的面子上，看在做善事的目的上，帮助永安寺渡过难关。
忆德祖师终于感受到了悲哀，这些勋贵宁愿醉生梦死也不愿意做一件有意义的事情。勋贵们喜欢看见忆德祖师落魄的样子，希望看见忆德祖师低三下四，但是就是不愿意粗浅。以前对忆德祖师十分客气的大家，指挥笑话或者讽刺忆德祖师。更有几个被忆德祖师选不中小姐现在的贵妇人，羞辱忆德祖师，说出十分难听的话。永安寺，让大家捐钱，忆德祖师忍受了一切。所得到的结果也不过是区区数百两银子，忆德祖师却成整个贵族的笑柄。
最后还是忆德祖师的妻子薛家小姐的弟弟得知这件事情后，说服他的父亲拿出一半家产帮助忆德祖师。忆德祖师拿着这笔钱回到了永安寺，开始了她下一步的计划。知道这些钱来之不易后，忆德祖师不敢大手大脚花钱。材料他亲自选，价格他亲自商量，运费计算到一分一厘。人工，他带着大家亲自抬材料上山。短短几年之间当初那个英俊潇洒的贵公子不见了，在大家眼前的是一个结实又精打细算的居士。
忆德祖师一边修建寺院，一边用空余时间帮助老百姓，尽量用大家听得懂的粗浅道理论述佛法。在忆德祖师的努力下，越来越多的当地老百姓开始信仰佛教。这些人成永安寺心得信仰者，自愿自发过来帮忙，他们也是忆德祖师的第一批弟子。那一年忆德祖师二十七岁了，可是不知道他正是年纪的人都以为他已经过了中年。
忆德祖师十四岁成家，十八岁那一年失去了父母妻儿。十九岁在武夷山第一次接触到了佛经《地藏菩萨本愿经》。二十一岁在九华山开悟。二十三岁在嵩山少林寺醒悟，并承担起建造永安寺的任务。二十四岁脱离英国公府，放弃英国公爵位。在永安寺许下大愿兴建新永安寺。二十五岁忆德祖师进京化缘，成为勋贵的大笑柄。二十七岁忆德祖师第一次收徒。三十五岁的忆德祖师宣布在原有的永安寺基础上兴建新的永安寺。忆德祖师六十七岁那一年，永安寺终于建成了。新永安寺根据当时嵩山少林寺的格局一比一建造，除了方位和地点之外，几乎和嵩山少林寺一模一样。
永安寺建成的那一天可能是忆德祖师最开心的那