سكان بلدة عسكر، أغلبيتهم من عائلة دويكات، ويرجع أصولهم إلى مدينة الخليل، إضافة إلى عائلات ميالة، الرواجبة، السوقي، كانت عائلة النابلسي تملك أراضي البلدة سابقاً، ولهم فيها قصر مكون من أربع طبقات فوق الأرض، واسطبلات قديمة ومباني لإقامة العاملين، وهو مهجور حاليا وهو شاهد على مرحلة الإقطاعية في فلسطين.