秘姓的由来有两个，一说来自“秘祝”，又一说来自“羌姓”。
秘姓的由来说法之一秦朝以来有所谓“秘祝”之官，相传最早由战国末期秦国相邦吕不韦秘密创立，以维护秦始皇的功德尊严，汉朝沿袭之。
“秘祝”的主要任务是，凡当有帝王国君有不详的灾难、祸事、过错等发生，就将其移过于指定的臣子名下，由该臣子承担灾过，这个过程称为“秘祝”。
其职能，类似于战国初、中期的各诸侯国宫廷卜师或太史令“行褂”。不过，卜师或太史令是公开“行褂占卜”、祈算福祸，而“秘祝”则是当已发生灾祸或有灾祸苗头时，或在帝王国君有过错时，将其秘密地转嫁给臣子或民众。
当然，“秘祝”有时也有在帝王的旨意下将祥福之事秘密转移给亲信臣子之事，但毕竟极少。
“秘祝”之官由王族贵胄或帝王极其亲信之人担当，仅对帝王一人负责，多为世袭，权势极大。
汉文帝对此官职曾深感痛恶，他在汉前元十三年(公元前166年)下诏，废除了“秘祝”之官职，并且对众大臣声明：“即便是官的错误和罪过，也要由皇帝来负责！”由此，开启了汉王朝“文景之治”的宏伟篇章，为后来的汉武帝创建雄居东方的大汉帝国奠定了基础。
“秘祝”的后裔以其官职之称为姓氏，以念先族威赫，世代相传，称秘氏。
这个由来记录在史籍《姓氏考略》：“汉有秘祝之官，以官为氏，望出天水。其后裔以官名秘为姓。”
秘姓的由来说法之二南朝刘宋著名史学家范晔在《后汉书》中记载：“西羌之本，出自三苗，姜姓之别也。其国近南岳。”又据史籍《西秦录》记载，“秘姓为西羌姓，出南安郡西羌豪门，其首领秘宜曾帅诸羌胡五万余人归降于西秦国。”
公元385年11月，代镇使持节、都督讨西胡诸军事、镇西将军乞伏国仁，在苑川河畔建立了西秦国，东征西讨，使西秦国雄傲一时，位于南安郡(今甘肃陇西)的西羌族豪门首领秘宜，将所统部族归附于乞伏氏所建西秦国。这部分西羌族人的后裔中，有人取其氏族首领“秘宜”的汉字谐音为姓氏，称秘氏。这个说法在南朝刘宋著名史学家范晔的《后汉书》中记载：“西羌之本，出自三苗，姜姓之别也。其国近南岳。”又在史籍《西秦录》有记载：“秘姓为西羌姓，出南安郡西羌豪门，其首领秘宜曾帅诸羌胡五万余人归降于西秦国。”
