沭阳吕府始建于清康熙初年，为沭阳吕氏孝思堂始迁祖谦伯公及其后人府邸。据民国《沭阳地图》载录，吕府前临城内大街，东至大元头巷，西至四老爷巷，北接公园路。因吕巷和忠武街贯穿吕府之中，构成王字形，故也被世人称为“王字街”。据《沭阳乡土志略》记载，吕府分为东西两宅院，东院又名“莱园”。府内设计考究，门楼高大，院落、园林层次分明。沭阳吕府历经300余年，是地方标志性建筑。惜毁于战火与文革。