上古时期虽然有太学，但一开始明堂、太学混而不分，布政、祭祀、学习等各种活动都搅和在一块儿，不具备封建教育的专业性与系统性，这只能说是太学的萌芽。
东汉大儒郑玄曾经注解：“上庠为大学，在王城西郊。”
至于夏商周，大学在夏为东序，在殷为右学，在周有东胶，而周朝又曾经设立过五大学：东为东序，西为瞽宗，南为成均，北为上庠，中为辟雍。到了汉代，在京师设太学，为中央官学、最高学府，太学祭酒兼掌全国教育行政。隋代以后改名为国子监，而国子监内同时也设太学。
由于在西汉早期，黄老之学盛行，只有私家教学，没有政府设立的传授学术的专业学校，于是汉武帝罢黜百家定儒一尊之后，采纳董仲舒的建议，始在长安建立太学。
最初太学中只设五经博士，置博士弟子五十名。从武帝到新莽，太学中科目及人数逐渐加多，开设了讲解《易经》《诗经》《尚书》《礼记》《公羊传》《谷梁传》《左传》《周官》《尔雅》等的课程。汉元帝时博士弟子达千人，汉成帝时增至三千人。王莽秉政，为了树立自己的声望，并笼络广大的儒生，在长安城南兴建辟雍、明堂，又为学者筑舍万区。博士弟子达一万余人，太学规模之大，实前所未有。武帝到王莽，还岁课博士弟子，入选的便可补官。
所谓五经博士，指的是专门讲授儒家经典《诗》、《书》、《礼》、《易》、《春秋》的士人。
汉宣帝时博士增至十二人，王莽当政时又增至三十人。五经博士的学生们被称为“博士弟子”或“太学弟子”。太学初建时为50人，汉昭帝时增至100人，王莽时增至10000人，“博士弟子”有免除赋役的特权。“博士弟子入选”，内由太常负责选择，外由郡国察举。武帝还下令天下郡国设立学校官，初步建立起地方教育系统。太学和郡国学主要是培养能够维护统治的封建官僚，不过太学的行办在传播文化方面，也起了重要的积极作用。
魏晋至明清或设太学，或设国子学、国子监，或同时设立，均为传授儒家经典的最高学府……