Nemuno ir Veliuonėlės santakoje, apie 30 m aukščio kalvoje, vienas šalia kito dunkso du piliakalniai – Gedimino kapo ir Pilies kalnai. Apie didžią Veliuonos praeitį primena nebylūs liudininkai – vos keletą sau prilygstančių Lietuvoje turįs gynybinių įrengimų kompleksas. Iš kur kilo Veliuonos miestelio ir upelio pavadinimai? Anot viduramžių legendos, Veliuonoje stovėjusi mirusiųjų deivės Veliuonos šventykla. Kalbininkai žodžio šaknį „vel-“ sieja su senovės lietuvių pomirtinio gyvenimo įvaizdžiais, vėlėmis ir jų valdove Veliuona.
Veliuonos miestelis, išaugęs vieno galingiausių visos Lietuvos gynybinių kompleksų priešpiliuose, prie Nemuno prekybinio vandens kelio, ypatingą vietą Lietuvos istorijoje užėmė XIII a. – kryžiuočių grėsmės akivaizdoje. Archeologiniai radiniai liudija, kad XII – XIII a. čia galėjo būti ne tik vietinės prekybos, bet ir prekybos su kitomis valstybėmis centras. Ties Veliuona, upelių klonių nuo visos aukštumos atidalintame Nemuno slėnio aukštame šlaite, yra beveik 2 km ilgio laivelio pavidalo Margio kalnas. Jo smaigalį atidalijant skersinėmis perkasomis, buvo kuriami patogūs gintis piliakalniai ir papiliai. Tiesa, XIII a. Veliuonos vardas rašytiniuose šaltiniuose dar neminimas – spėjama, kad anksčiau ši vietovė vadinta Junigėda ir tik nuo 1315 m. pradėta vadinti Veliuonos vardu (kai kurie istorikai mano, jog tai buvo dvi skirtingos pilys).
Tikslios datos, kada statyta Veliuonos pilis, nėra. Vienų šaltinių liudijimu, tai buvo 1245 m., kiti pilies statybos pradžia laiko 1251 m. K. Sidaravičiaus teigimu, svarbiausioji tvirtovė atsparai prieš kryžiuočių ekspansiją iš Ragainės pradėta statyti 1291 m. balandžio mėn., vietoj apleidžiamos Kolainių pilies. Veliuonos pilis, apjuosta 4 m gylio perkasa, stovėjo ant 32 m stačiašlaičio nupjauto kūgio pavidalo Pilies kalno. Aikštelės plotas – apie 3200 m2.
Nepaisant dažnų puldinėjimų, Veliuonos pilį kryžiuočiams pavyko paimti tik 1348 m. Tačiau jau 1349 m. ji buvo atkovota ir atstatyta. Skaudus smūgis Lietuvai buvo suduotas 1362 m., kai kryžiuočiai sugriovė Kauno pilį, o grįždami panemune atgal sudegino ir Veliuoną. 1364 m. ordino magistras puolė gerai įtvirtintą Veliuoną. Tuo metu pilį saugojo dvigubos sienos, o visas gynybinis kompleksas užėmė dabartinę Gedimino, Pilies (Ramybės), Bažnyčios ir gretimas kalvas, iš visų pusių ginamas papildomo aptvaro. Šiame puolime buvo panaudotos naujos siendaužės mašinos. Po keliolikos dienų pilies priešpiliai buvo paimti, bet jos gynėjai pilies komendantas Goštautas ir bajorai Surminas ir Matevikas su gausia įgula kryžiuočiams nepasidavė. Tuomet sukrovus didžiulius laužus pilis buvo padegta ir jos gynėjams teko pasiduoti. 1367 m. atstatyta pilis vėl buvo užpulta, tačiau šį kartą pilies gynėjai atsitraukdami patys ją padegė. Praradusi Veliuoną Lietuva, anksčiau netekusi Peštvės (Pieštvės) ir Kauno pilių, prarado ir Nemuno žemupio dešiniosios pakrantės apsaugą. (Kairioji buvo prarasta dar XIII a. pab.).
Ruošdamasis karui su Aukso orda ir norėdamas užsitikrinti ramų užnugarį, Vytautas 1398 m. spalio 12 d. pasirašė Salyno sutartį, kuria vakarinė Lietuvos dalis iki Nevėžio upės bei vakarinė Užnemunės dalis atiteko ordinui. Į kryžiuočių rankas perėjo ir Veliuonos pilis, kurią ordino vadovybė pasirinko savo valdžios Žemaitijoje buveine. Tačiau sukilę žemaičiai 1401 m. pavasarį kryžiuočius nustūmė iki Klaipėdos. 1402 m. ordinas ir dėl Lietuvos sosto kovojęs Švitrigaila surengė paskutinį didelį žygį į Lietuvą ir pasiekė net Vilniaus žemes, o 1403 m. – Trakus. 1404 m. gegužės 14 d. Racionžo sutartimi Vytautas diplomatiniais sumetimais vėl užrašė ordinui Salyno sutartimi perleistas žemes. Tačiau kova prieš ordiną išsiplėtė po visą Žemaitiją. Veliuonos pilies vietoje pastatyta Friedenbergo pilis 1404 m. ar 1405 m. buvo sudeginta. 1411 m. vasario 1 d. pasirašyta Torūnės sutartimi Žemaitija iki Vytauto ir Jogailos mirties liko Lietuvai, tačiau nebuvo nustatytos nei teritorinės ribos, nei Klaipėdos statusas. Tai tapo naujų ginčų ir konfliktų priežastimi. 1412 m. Ragainės komtūrui buvo pranešta, kad Vytautas prie Nemuno atstatė dvi stiprias pilis – Peštvės (Pieštvės) ir Veliuonos. Veliuonos pilyje jis įkurdino 400 vyrų įgulą, vadovaujamą seniūnų Mingailos ir Kareikos. Prie pilies buvo įrengti trys priešpiliai. 1413 m. konfliktas vis aštrėjo, vėl prasidėjo puldinėjimai, kol 1414 m. liepos 18 d. Vytautas su Jogaila paskelbė ordinui karą ir jungtinė Lietuvos – Lenkijos kariuomenė įžengė į ordino valdas. 1414 m. spalio 7 d. Strazburge, tarpininkaujant popiežiaus legatui, dvejiems metams buvo sudarytos paliaubos. 1418 m. gegužės 15 d. išsiskirstęs Konstancos susirinkimas neišsprendė Žemaitijos klausimo, o tik pratęsė paliaubas su ordinu.