دیوار‌های سنگی و بلند نخستین نمایی است که رهگذران خیابان‌های شهرآرا و پاتریس لومومبا هنگام گذر از مجموعه کاخ سنگی با آن مواجه می‌شوند. گفته می‌شود عملیات ساخت این کاخ در زمینی به وسعت ۱۲ هزارمترمربع، به درخواست «رحیم علی خرم» از افراد سرمایه‌دار حکومت پهلوی دوم و صاحب نفوذ در دربار بوده شروع شد.
