محل اولیه سکونت اجداد این روستاست که نزدیک یک هکتار وسعت دارد و پیرامون آن را حصاری بلند و کنگره‌دار با برج‌های نگهبانی در بر گرفته که دیواری کوتاهتر به ارتفاع سه متر و خندقی عمیق با عرض نزدیک شش متر دورتادور آن است که اکنون از این خندق‌ها اثری نیست.

در این باره باید گفت که درب چوبی قطور با تخته پلی متحرک که روز‌ها روی خندق و شب‌ها در جلوی درب قلعه قرار می‌گرفته، امکان هر گونه دسترسی متجاوزان را به قلعه غیر ممکن می‌ساخته است.

لازم به ذکر است دورتادوراین قلعه حصارهای کوتاهی موسوم به" شیراجی "و خندق نیز وجود داشته که اثری ازآن نیست و درسنوات اخیرا درب ورودی قلعه نیز توسط برخی سودجو تخریب شده و گل میخ های آن را به یغما برده اند ومابقی نیز موریانه خورده است.

 همچنین ساختمان درونی قلعه، تماماً دو یا سه طبقه روی هم بنا شده و محل زندگی، انبار و محل نگهداری حیوانات در این طبقات جداگانه دیده می‌شود. از اماکن عمومی موجود در قلعه، آب انبار جایگاه ویژه‌ای دارد.

قلعه عزآباد مربوط به دوره افشاریه است و در شهرستان صدوق، بخش مرکزی، دهستان رستاق، روستای عزآباد واقع شده و این اثر در تاریخ ۷ اسفند ۱۳۸۶ با شمارهٔ ثبت ۲۱۷۰۷ به‌عنوان یکی از آثار ملی ایران به ثبت رسیده است.