ناصرالدین شاه دستور ساخت باغ و عمارت عشرت آباد را در سال 1291 ه.ق (1253 خورشیدی/1874 میلادی)صادر کرد.طرح باغ در شمال تهران به اجرا درآمد.ناصرالدین شاه در همان سال 4 اصله درخت کاشت و این سنتی شد که درباریان به تقلید از شاه،درخت های زیادی در باغ به یادگار کاشتند. مدارکی که در دست است نشان می دهد که این باغ یک ساختمان بزرگ به نام خوابگاه و 17 ساختمان کوچکتر مخصوص سوگلی های درباری را در خود جای داده بود.
ناصرالدین شاه اغلب در قصر (عشرت آباد) اقامت می کند.ساختمان آن بدیع و از لحاظ سبک ساده و عبارت از یک برج بلند چند طبقه است که از هر طبقه ای یک دستگاه ساختمان به شاه اختصاص دارد به استثنای یک تالار بسیار زیبا که حال و هوای ایرانی و تزییناتی با شیشه های کوچک هندی دارد.اسباب و اثاث اروپایی سایر اتاق ها بسیار بازاری و عاری از سلیقه ی خوب است.اهالی مشرق زمین بدون برخورداری از بصیرت لازم یک نوع جنون خاصی دارند که اتاق های خود را به جای استفاده از ذوق هنری و ملی کشورشان با اشیا و آشغال های محصول اروپا تزیین نمایند.
قسمت حارجی قصر عشرت آباد از آجر های جلادار پوشیده شده و تقلید ناشیانه ای از سنگفرش های قدیمی است که بر سردر بسیاری از کاخ های باستانی دیده می شود.پرده هایی از پارچه های کتانی سفید و نگاری از منسوجات سیاه،سرخ یا آبی تمامی قسمت های بنا را از تابش خورشید محفوظ نگاه می دارد و از این پرده های بسیار قشنگ معمولا در همه ی کاخ های سلطنتی استفاده می شود.ضمنا یک عمارت برج مانند در وسط باغ پر از حوض،چشمه و فواره ها جدا از ساختمان های دیگر سر به آسمان کشیده است.دور تا دور پایه ی آن در حدود 30 خانه ی کوچک دو اتاق خوابه به شکل نیم دایره ای ساخته شده و در هر کدام از این خانه ها یکی از زنان شاه ساکن است.نحوه ی معماری کاملا ابتدایی است.دیوار ها با آهک سفید شده است،در ها و چارچوب پنجره ها از چوب سفید و دارای چفت و بست بسیار زمختی است.این خانه ها شبیه نوعی طویله هایی است که در بعضی از املاک کشاورزی انگلستان ساخته می شود.
قصر عشرت آباد که هنگام مراجعت شاه از اروپا احداث شده است بیشتر به برگذاری مراسم عروسی شاه اختصاص دارد چون ناصرالدین شاه اگرچه زنان متعددی دارد ولی باز هم زنان تازه ای می گیرد و تنها زنان اصل و نسب دار قسمت اندرون را پر نمی کنند بلکه بیشتر همسران وی از میان زنان روستایی،دهکده های مجاور که بعدها مادر های شاه آینده ی ایران خواهند شد انتخاب شده اند.شاه چون در قصر های متعددی که در اطراف تهران دارد به طور دائم یا به مدت زیاد سکونت نمی کند و تنها هر از چند گاهی برای گذراندن چند روز کوتاه به اتفاق زنانش سری به آنها می زند به این جهت در هر سفر زنان وسایل لازم را برای مرتب کردن اتاق های خود با خود همراه می برند و مجموعه ی اسباب و اثاث آنها به قدری کم است که در فرصت بسیار کوتاه می شود همه ی آنها را در یک جا بسته بندی و جمع و جور کرد
یکی از زیبا ترین تصاویر موجود از عشرت آباد،تصویری است که توسط محمود خان ملک الاشعرا در سال 1264 خورشیدی (1885 میلادی) ترسیم شده است.تابلو نقاشی محمود خان ملک الشعرا طوری ترسیم شده که عمارت خوابگاه و ساختمان های همسران شاه و استخر مدور بزرگ آن به خوبی نشان داده شده است.ساختمان های اختصاص یافته به همسران شاه طوری در کنار استخر طراحی شده اند که یادآور پلاژ های سواحل دریاست.ساختمان کلاه فرنگی عشرت آباد عمارتی سه طبقه و مشرف به استخر است که هر طبقه شامل یک تالار و دو اتاق می باشد.تالار طبقه دوم تالار آیینه است که سراسر آن آیینه کاری و خاص استراحت ناصرالدین شاه بوده است.در طبقه ی سوم تالار خوابگاه قرار دارد که طرفین آن دو مهتابی وسیع بنا شده و این دو مهتابی یکی مشرف بر استخر و دیگری مسلط بر باغ است.کاشی ها،کتیبه ها و تابلو ها در هر قسمت بر زیبایی ساختمان می افزوده است.ناصرالدین شاه عمارت کلاه فرنگی را برای اقامت انیس الدوله تخصیص داد.بعد از کشته شدن ناصرالدین شاه،حرمخانه به تدریج از رونق افتاد زیرا مظفرالدین شاه و شاهان بعد از او آنچنان گرفتار وقایع و اتفاقات سیاسی بودند که توجهی به حرمسرا نداشتند.به این جهت عشرت آباد که آن همه مورد منایت ناصرالدین شاه بود کم کم به دست فراموشی سپرده شد.
