قلعه رستم در جنوب شرقی شهر خوسف و غرب روستای گنج، بر فراز تپه‌‏ای مشرف بر جلگه خوسف و دشت ماژان قرار گرفته است.

قلعه قدیمی خوسف از مکان های تاریخی و دیدنی شهرستان خوسف بوده و درمرکز این شهر واقع شده است. این قلعه متعلق به عصر افشار می باشد. با توجه به روایات گفته شده، دیوار های قلعه در زمان حکومت نادرشاه بر ایران و زمامداری کاظم خان پایه ریزی شد، در اواخر عصر زندیه، در زمان حکومت محمد رضا خان دوم و حکومت امیر علم خان (جد اسدالله علم)، ابنیه و فضاهای داخلی آن بسته به نیاز آن زمان توسعه یافت.

شهر خوسف از جمله شهر های کهن استان خراسان جنوبی با جمعتی نزدیک به 6هزار نفر (در سال 1395) است و ارتفاع آن از سطح دریا 1300 متر می باشد.