اواخر دوره قاجار و حتی در دوره پهلوی هم هنوز خانوادههایی در آن قلعه زندگی میکردند که شماری از آنها از اهالی محله چیذر بودند. در دوره پهلوی، به جز کارگران فصلی که گذرشان به شمیران میافتاد باغدارهایی هم برای سکونت به این قلعه میآمدند تا در فصل گرم سال با چیدن میوه باغهای آبادیهای اطراف از باغداران دستمزد بگیرند. قلعه قیطریه خانه کارگرها بود. بسیاری از ساکنان این قلعه علاوه بر کشاورزی و باغداری، با مشاغلی، چون مقنیگری و نعلبندی روزگار میگذارندند.