岳陽文廟歷史悠久，始建于北宋。據(jù)《巴陵縣志》記載：“宋慶歷六年（公元1046年），知府滕宗諒（滕子京）創(chuàng)建。”那時稱岳州學(xué)宮，為當(dāng)年岳州“百廢俱興”   之一。文廟建成后，滕子京請好友、文學(xué)家尹洙為其撰寫了《岳州學(xué)宮記》，詳細(xì)地記述了滕子京建文廟的經(jīng)過：“滕公凡為郡，必興學(xué)，見諸生，以為政先。慶歷四年守巴陵，以郡學(xué)府為通道，地迫制單，講肄無所容，乃度牙城之東，得形勝以遷焉。會京師倡學(xué)，詔諸郡置學(xué)宮，廣生員。公承詔忭曰：天子有意三代之治，守臣述上德，廣鳳教，宜無大於此，庸敢不虔於是？”“慶歷六年（1046年）遷建岳州文廟，興其官學(xué)……”“大其制度以償之，廟儀既成，乃建閣以聚書，辟室以授經(jīng)，兩序列齋，以休諸生。掌事司儀，差以等制；繕爨浣沐，悉嚴(yán)其所；小學(xué)賓次，皆列于外……”。
 岳陽文廟今存大成至圣殿，“系磚木混合結(jié)構(gòu)。面闊五間，寬28.17米，進深三間，長19.74米，占地面積548.5平方米。殿高約16米，帶前廓。用大墻石柱23根支撐上部建筑，三面磚墻起間隔作用。殿內(nèi)有18根金柱，其中最大的兩根，直徑達(dá)66厘米，其余略次。大柱立在石墩上，石墩為須彌坐式，上呈仿唐制的樟木墊墩以防潮。柱為梭形，下大上小，前后施明木伏 ，其下置枋，兩者之間，加如意形木‘撐拱’，其彩繪圖案，保持了宋、明、清三代藝術(shù)特色。”從正立面看殿的外貌，殿的上檐置一斗三升拱，下檐則出抱頭梁承托。屋頂為重檐歇山式，翹首飾鳳，蓋琉璃瓦，黃綠相間。脊上飾二龍戲珠的主體陶制裝飾，外形莊重。為江南罕有的最古老的文廟，展示了古代勞動人民在建筑藝術(shù)上的卓越智慧和創(chuàng)造才能。
      文化大革命時期，文廟作為“四舊”遭到破壞。“1985年岳陽市人民政府撥專款一萬元，重建1974年批孔運動中拆除的泮湖及狀元橋，并全部采用條石砌筑，便于游人參觀游覽”。“1990年國家文物局撥專款180萬元，遵循‘整舊如舊’的原則，組織高水平的技術(shù)力量，對大成殿進行保架大修。1994年‘國際儒家文化與當(dāng)代世界文化走向?qū)W術(shù)討論會’在新落成開放不久的文廟舉行了盛大的祭孔儀式，20多位專家學(xué)者和市黨政領(lǐng)導(dǎo)參加盛會。”岳州文廟重現(xiàn)了昔日的風(fēng)采。

文廟于每年春秋時兩次祭祀孔子，群儒官宦屆時聚集。廟宇極其尊嚴(yán)，稍有缺損，就必修繕。宋治平年間（1064—1076年），知州趙尚奉旨重建。修葺竣工后，由大理學(xué)家胡寅撰寫了《岳州府儒學(xué)記》。明隆慶《岳州府志》載修葺后規(guī)模是：主殿五舍，有殿庭，左右為兩院，各七舍，前為戟門，七舍。這樣，在滕子京修建的基礎(chǔ)上，極大地豐富了文廟的內(nèi)容，擴大了其規(guī)模。爾后，屢有興廢。從北宋慶歷六年始建，至清同治十一年最后一次補修，共歷時826年，其重建和修葺的次數(shù)近30次，文廟才具有相當(dāng)宏偉的規(guī)模。據(jù)光緒《巴陵縣志》記載：“岳州府學(xué)，在縣治南高阜，中為大成殿，殿之旁為東西廡，前為大成門，門左為名宦祠，右為鄉(xiāng)賢祠，外為欞星門，欞星門外為泮池，周以紅檣，左右門書‘德配天地，道冠古今’。殿后為崇圣祠，祠東為明倫堂。”以上建筑設(shè)施，從清代末期到民國以來又逐漸廢建，今除大成殿外，其余均不存在，有的房屋早已改建為學(xué)校教室。

      2001年，岳州文廟公布為國家重點文物保護單位。