در اواخر دوره زند، باغ ارم شیراز در اختیار خان‌های ایل قشقایی بود. بنای اصلی آن توسط اولین ایلخان قشقایی و پسرش محمدقلی‌خان، در زمان فتحعلی شاه قاجار ساخته شد. در دوره سلطنت ناصرالدین شاه، حاج نصیرالملک شیرازی این باغ را خریداری می‌کند و عمارتی را در آن بر اساس بنای اصلی باغ و به جای آن می‌سازد که همان بنایی است که هم‌اکنون در باغ می‌بینید؛ حاج محمدحسن‌خان یکی از معروف‌ترین معماران شیراز این عمارت را طراحی کرد.