Išvykus į Seinus, prasidėjo naujas, griežtomis regulomis suvaržytas klieriko gyvenimas. Rimtas, atsakingas, sau keliantis itin didelius reikalavimus jaunuolis, seminarijoje susidūręs su pirmaisiais sunkumais, vos neatsisakė kunigystės. Naujos sudėtingos disciplinos, griežti, reiklūs dėstytojai, sudėtingos užduotys ir didžiulis literatūros kiekis – nemenkas iššūkis visiems seminaristams. Juozas Montvila pradėjo abejoti savo jėgomis ir gabumais, todėl po atostogų nusprendė į seminariją nebegrįžti.
Pasilikęs namuose, Juozas talkino namiškiams ūkio darbuose. „Taip ir Juozas įsijungė į rugių kūlimą. Bet jis buvo nepratęs, nesutarė kulti. Kokiu tai reikalu užėjo kaimynas Žolynas. Pamatė bekuliantį studentėlį ir sako jam: „Juozuk, čia ne tavo darbas“. Tą metą Juozas pasiliko namuose. Parsinešdavo knygų iš kun. Čėsnos ir jas skaitydavo. Vasarą į laukų darbus nebeėjo, tvarkė medelius sode, prižiūrėjo bičių spiečius, Šešupėje meškeriojo. Motina jį globojo, leido miegoti seklyčioje.
Kartą jis motinai pasakojo sapną: „Yra labai gražus kalnas, apsodintas žydinčiom gėlėm, bet ant to kalno sunku užeiti. Kelias apaugęs dygliais“. Noras tapti kunigu nugalėjo ir Juozas vėl ryžosi kopti į tą kalną. Galiausiai, rektoriui Jonui Giedraičiui sutikus, grįžo į tą patį kursą, iš kurio buvo pasitraukęs.
Nors Seinų seminarijoje buvo dėstoma lenkų kalba, dauguma klierikų buvo tautiškai susipratę: lietuvių ūkininkų vaikai, todėl seminarijoje visuomet buvo gyvas lietuviškas judėjimas. Ši aplinka galutinai suformuoja J. Montvilos asmenybę bei nubrėžia jo gyvavimo tikslus. „Kunigas Juozas Montvila, – rašė kun. K. Montvila, – buvo susipratęs lietuvis, brangino gimtąją kalbą, lietuviškus papročius ir palaikė viską, kas lietuviška.“ Baigęs seminariją, 1908 m. kovo 22 d. Varšuvoje buvo įšventintas į kunigus.
