北洋军阀时期，这里是北宁铁路局局长的私宅，日本占领时期成了日本宪兵队司令部，抗战胜利后又成为国民党“励志社”的所在地。因为当年铁路局局长在这里自杀，这座大院被人称为北京“四大凶宅”之一。

冯牧最为好客，尤其喜欢聪明的少年。他家里一天到晚人流不断，周巍峙、贺敬之、张光年等常来做客。他很爱聊天，茶前饭后爱站在院里，无论老少都能和他聊到一起，而且一聊起来就没完，直到家人喊吃饭了才散。

《联合国人权理事会专家谴责美赦免4名前"黑水"雇员》1961年，中国派出了庞大的作家代表团出席这次会议。团长巴金，副团长冰心和刘白羽，沙汀、杨朔、李季、叶君健等为团员。