یکی از کارهای نیک در زمان گذشته ساختن کاروانسرا بود؛ زیرا امکانات کم و مسافت های طولانی در سفر نیاز به استراحتگاه داشت.کاروانسرای مشیرالملک هم یکی از همین استراحتگاه ها بود که در مسیر تجاری شیراز به بوشهر، در شهرستان دشتستان به مرکزیت برازجان، واقع شده بود.
کاروانسرای مشیرالملک در سال 1250خورشیدی (1288 قمری) با دستور حاج میرزا ابوالحسن خان مشیرالملک و هنر دست معمار سازنده کاروانسرای دالکی و پل مشیر، حاج محمدرحیم شیرازی ساخته شد. این استاد ماهر با ساروج وتخته سنگ های بزرگ و کوچک بنایی به سبک معماریه زندیه با هزینه 40 هزار تومان آن زمان ساخت.
کاروانسرا یا دژ برازجان مانند دیگر مکان های مشابه خود 4 برج با ارتفاع بیش از 12 متر دارد. مساحت کلی بنا 7000 متر مربع است که 4200 متر آن در قالب 68 حجره، اتاق شاه نشین ، مکان پخت و پز ومکان نگهداری حیوانات ساخته شده و بقیه محوطه حیاط و فضای باز آن است. البته طی تغییراتی که در سال های مختلف روی آن انجام شده تعداد حجره ها متغیر می باشد.
کاروانسرای مشیرالملک تنها 50 سال کاربرد کاروانسرا داشت؛ از سال 1300 به مدت 35 سال محل استقرار نظامیان بود و سپس در سال 1335(زمان دوره دوم پهلوی) در اختیار شهربانی قرارگرفت. شهربانی کاروانسرا را به زندان تبدیل کرده بود. این مکان در سال 1362 با شماره 1638 ثبت فهرست آثار ملی شد؛ پس از تثبیت طبق پیگیری های مدیر میراث فرهنگی در جهت استفاده فرهنگی از فضا از شهربانی خواست تا کاروانسرا را تخلیه کند. سرانجام پس از 42 سال در سال 1377 کاروانسرا تخلیه و تصمیم گرفتند تعمیرات و بازسازی انجام پذیرد که طی این اقدام دیوار های بیرونی و فضاهایی که از زمان ساخت (دوره قاجار) فروریخته بود مرمت شد.
