1、源于姜姓。據《通志》載：柴氏，姜姓。齊文公子高之后。高氏傒，以王父字為氏。十世孫高柴，仲尼弟子。柴孫舉，又以王父字為柴氏。2、源于鮮卑族和氐族、羌族等，出自東漢時期鮮卑吐谷渾部，屬于漢化改姓為氏。3、源于蒙古族，屬于漢化改姓為氏。4、源于滿族，屬于漢化改姓為氏。據典籍《清朝通志·氏族略·滿洲八旗姓》記載：滿族賽密哷氏，亦稱塞蒲里氏，源出金國時期女真白號姓氏，以姓為氏，滿語拼音為Saimire Hala，世居薩哈爾察（今黑龍江北岸 布列亞河流域）、齊齊哈爾、長白山區和黑龍江沿岸等地，后多改漢字姓為柴氏、賽氏等。隨后達斡爾人中也出現柴姓。