赵郡李氏出自赵将武安君李牧
李牧是战国后期山东六国中最为杰出的将领，“战国四大名将”之一
作为赵相，他足智多谋，治国有方，又长于用兵，抵匈奴，打东胡，屡有战功，甚得军心。
多次率军伐燕破秦，使秦国不敢轻易侵伐赵国。
公元前233年（肥之战）与前232年（番吾之战），李牧两次大破秦军。
秦国惧怕李牧，就收买赵王嬖臣郭开，诬陷李牧造反，赵王迁优柔寡断，听信谗言，终于在公元前229年杀害了李牧。
李牧一死，秦始皇的大将王翦立刻率大军消灭了赵国，可见李牧在赵国有着举足轻重的作用，李牧战绩卓越，有着崇高的威望，被后世赵郡李氏族人尊为先祖。
一世祖李楷，字雄方，为李牧后人李左车的十七世孙
在西晋先后任司农丞、治书侍御史
时八王之乱，赵王司马伦自称皇帝，引起宗室诸王的兵讨，战乱空前。李楷为避战乱，带领全家徙居于赵国平棘县南（今河北省赵县西南、高邑县东北）
即唐代李吉甫《元和郡县图志》所述赵郡李氏旧宅所在，亦称“三祖宅巷”
郡望赵郡李氏祖居平棘县，属赵郡管辖，因西晋李楷居平棘南时，此地依照当时的行政区划属于赵国，所以赵郡李氏的后人也常称为“赵国李氏”，即沿用士族形成初期祖居之地的区划名称做为籍贯
《北朝赵郡李氏的迁徙分布及其与李唐先世之关系》中的考证 ，北朝时赵郡李氏以平棘县为主轴，不断向西南太行山麓周围各地辐射，先后迁徙到柏仁、元氏、高邑、赞皇等县，呈扇形分布状态，宗族庞大，支系繁盛，如《北史》记载：“集诸李数千家于殷州西山，开李鱼川方五六十里居之，显甫为其宗主。”
张葳《隋唐时期河北地区赵郡李氏活动略论》指出：“在北朝和隋唐前期，赵郡李氏家族势力始终盘踞周旋在赵郡常山一带，没有发生过大的变化。”
房支李楷定居赵郡常山平棘后，生有五子
李辑
李晃
李棨
李劲
李睿
后来五个兄弟分居
老五李睿的儿子李勖兄弟，居住在巷东
老四李劲的儿子李盛兄弟及老三李棨一家，居住在巷西
老大李辑与老二李晃两房子孙，则南徙故垒
以此三个方位，将赵郡李氏分为三大支系。
定著房赵郡李氏定著六房
一曰南祖
二曰东祖
三曰西祖
四曰辽东
五曰江夏
六曰汉中
宰相十七人
禁婚家唐朝显庆四年，唐高宗李治下禁婚诏，禁止七姓十家互相通婚 ，赵郡李氏东、南、西三祖为西晋李楷的后人，都被列入禁婚家的范畴，博文约礼，门第清华，冠于卿族。
李绛，出自东祖，唐宪宗宰相
李珏，出自东祖，唐文宗宰相
李藩，出自南祖，唐宪宗宰相
李固言，出自南祖，唐武宗宰相
李怀远，出自西祖，唐中宗宰相
李游道，出自南祖，武则天宰相
李吉甫，出自西祖，唐宪宗宰相
李峤，出自东祖，武则天、唐中宗、唐睿宗宰相
李德裕，出自西祖，唐文宗、唐武宗、唐宣宗宰相