1873 m. Kvietiškio dvaro žemėje pradėtos projektuoti Marijampolės kareivinės. Pirmieji pastatai iškilo jau 1880 m., o per paskutinįjį XIX a. dešimtmetį – administraciniai statiniai, arklidės, kareivinės, dirbtuvės, valgykla, virtuvė, mokymo pastatas ir kiti panašaus pobūdžio vienaukščiai statiniai.
Pirmojo pasaulinio karo metu, rusams pasitraukus į Rytus, kareivinėse apsigyveno vokiečių karininkai. Lietuviai karinį kompleksą atgavo tik 1919 m., todėl jame pradėjo formuotis 1–asis pėstininkų batalionas. 1919-06-02 jis buvo perorganizuotas į 10–ąjį pėstininkų batalioną, kuris kovėsi nepriklausomybės kovose su lenkais. 1924 m. šis pulkas buvo išformuotas, o vietoje jo atkeltas 9–asis pėstininkų Lietuvos didžiojo kunigaikščio Vytenio pulkas. Tarpukaryje kareivinėse neiškilo jokių naujų pastatų, kompleksas buvo prižiūrimas, restauruojamas ir apželdinamas. Pirmosios sovietinės okupacijos metu čia įsikūrė rusų kariai. Antrojo pasaulinio karo metu dalį pastatų naudojo vokiečiai, o pokario metais vėl sugrįžo sovietinė armija. Okupacijos metu buvo nugriauti senieji mediniai pastatai, vietoje jų išaugo menkaverčiai mūriniai. Atkūrus Lietuvos nepriklausomybę čia įsikūrė Lietuvos kariuomenės Didžiojo kunigaikščio Vytenio bendrosios paramos logistikos batalionas.
Iki šių dienų išliko keletas vertingų senųjų statinių: 2 kareivinės, kareivių klubas, virtuvė, maniežas, 2 dirbtuvės, 2 karininkų gyvenamieji namai, daboklė, pirtis, sandėlis. Vienas vertingiausių yra pagrindinis kareivinių raudonų plytų pastatas. Analogiški kareivinių namai tuometinėje carinėje Rusijoje buvo statomi visur, skyrėsi tik jų dydis ir puošyba, tačiau Marijampolės kareivinės išskirtinės savo istorija ir tarpukaryje pačių kareivių pieštomis freskomis. Jos buvo rastos po penkiais tinko sluoksniais 2000 m. restauruojant pastatą. Geriausiai išlikusios: „Kunigaikštis Kęstutis“, „Jotvingių karys“, „Dr. Jonas Basanavičius", „Karininko Juozapavičiaus mirtis Alytuje“, „Lietuvos didžiojo kunigaikščio Gedimino laidotuvės“ ir „Lietuvių kunigaikštis“. Užnemunėje tai vienintelė išlikusi tarpukario laikų sieninė tapyba. Batalione yra išlikęs XIX a. pab. statytas beveik 2 000 m2 ploto arklių maniežas. Šis objektas unikalus savo lubų konstrukcija ir akustika, be atramų ir nesulaukęs rekonstrukcijų – tai vienintelis toks pastatas Lietuvoje, todėl yra įtrauktas į kultūros paveldo registrą.