Abjas alustati hariduse andmist 1812. aastal. Aastakümnete jooksul toimus see vallakoolides. Nendeks olid Kaidi, Niitsaadu, Vanamõisa ja Pussi koolid. 1861. aastal lisandus vene õigeusu kihelkonnakool Penujas. 1912. aastal alustati laste õpetamist Abja-Paluoja alevikus.
Liivimaa Rahvakoolide Direktori määrus 3. oktoobrist 1914.a. Lubada kooliselts “Idule” avada ja ülal pidada eripõhikirja alusel kaheklassilist kooli (5 jaoskonnaga eraalgkooli).
1919. aastal toimus Eestis ühtluskooli reform. Praeguses Abja vallas töötasid pärast seda Kaidi (kuni 1934. aastani), Abja-Paluoja, Penuja, Laatre ja Pussi algkoolid.
Abja-Paluoja algkool töötas endises kõrtsihoones. 1940. aastal ehitati nõuetekohane koolihoone. Samal aastal muudeti kool gümnaasiumiks. 1945. aastast oli kooli nimeks Abja Keskkool. Esimene lend lõpetas 1946. aastal.
1949 – 1998 toimus õppetöö ka vene õppekeelega klassides I – VII (hiljem I – VIII ja I – IX kl-ni).
Kooli juurdeehitus valmis 1964. aastal. Õpilaste arv koolis kasvas pidevalt, kuna ümbruse väiksemad koolid suleti: Vana-Kariste kool 1971, Halliste kooli vanemad klassid 1972, Penuja kool 1974, Kosksilla kool 1980. Kõige rohkem oli õpilasi 1975. aastal – 718. Klassikomplekte oli siis 31.
1970. aastal algas koolis üleminek kabinetsüsteemile. 1972. aastal tunnistati Abja Keskkooli kabinetid ja neis toimuv õppetöö 3. koha vääriliseks vabariigi ulatuses.
Koolil oli silmapaistvaid saavutusi ümbruse kujundamisel. Klassivälises töös oli heal tasemel sport, rahvatants ja teatripäevade korraldamine. 1990-ndail aastail osaleti omanäolise kooli liikumises. 1993. aastal viidi sisse parandusõpe. Alates 1995. aastast saavad soovijad ettevalmistuse piirivalvetööks, 2003. aastast sisekaitse alal.
1998. aastal nimetati kool ümber Abja Gümnaasiumiks.
Koolile tehti suurem remont 2001.-2003. ja 2007. aastal. Õpilaskodu hoone valmis 2006. aastal. Samast aastast võetakse õppima koduse hooldusraskusega lapse ka teistest maakonna valdadest.
Gümnaasiumi (keskkooli) on lõpetanud 77 lendu. Lõpetajaid on 2099. Kuldmedaliga on lõpetanud 41, hõbemedaliga 47 õpilast.