A Rongyos Gárda 1919. április 18-án alakult meg az első világháborút megjárt tisztekből és katonákból, szegény napszámosokból, illetve a Székely Hadosztály maradványaiból Prónay Pál vezetésével.
Az önszerveződő (irreguláris) fegyveres csoport célja a magyarországi Tanácsköztársaság ideje alatt a kommunistákkal szembeni ellenállás volt, majd annak bukása után tevékenyen vettek részt a fehérterrorban.
A százhatvan fős szabadcsapatot 1919 augusztusának végén állítólag a helyi nagybirtokos, Széchenyi Andor Pál hívta „rendteremtés végett” Marcaliba. Prónay a helyi ügyésztől annak tiltakozásával nem törődve, önkénnyel átvette a belügyminiszteri távirat alapján korábban letartóztatott személyeket, akik „vezető jellegű politikai tevékenységet fejtettek ki”, többek között Simon József káplánt és Zsirka Kovács József párttitkárt.
„ | Prónay: Jövetelemkor már kb. harmincan ültek a szolgabírói börtönben, vagy tizenöt zsidó főbűnöst, azonkívül egy katolikus papot maga Tóth szolgabíró jelölt meg, mint olyanokat, akik az akasztófára érettek. «Továbbá:» A pap érdekében jártak nálam többen, sőt még az esperes maga kért kegyelmet kollégája részére. De nem érdemelte meg, tehát nem is adtam meg.» | ” |
– Somogyi Néplap, 1969. augusztus (25. évfolyam, 176-201. szám) |
A Simon káplán érdekében közbenjáró volt helyi plébános, Rumi István felkereste a Széchenyi-kastélyban megszállt Prónayt, de válaszul csak annyit kapott, hogy „a papok és tanítók számára nincs kegyelem, azok tudták, mit cselekszenek”. Augusztus 28-án a Prónay-különítmény tagjai Simont és társait halálra kínozták.
Simon emlékezetének fennmaradásához hozzájárult Hamburger Jenő 1930-ban moszkvai emigrációban írt és később széles körben ismertté vált Latinka-ballada c. költeménye; a szintén a Prónay-különítmény által szeptember 16-án éjjel meggyilkolt Latinca Sándor és társainak emléket állító költemény név szerint említi („«Állj elő, hát Szalma János, / te is Farkas komisszáros.» / – Szól a báró Prónay – / «Mehettek már Marcaliba / Simon paphó’ meggyónni!»”).
A trianoni békeszerződésben Magyarországtól elvett Sopron környéke megtartása volt, de más elfoglalt területeket is vissza akart szerezni Magyarország számára. Megakadályozták az osztrák reguláris hadsereget a vidék elfoglalásában, sőt az Őrvidék, a ma Ausztriához csatolt Burgenland, területét visszafoglalták, ahol kikiáltották a Lajtabánságot. Ez vezetett az 1921. december 14-16. közötti soproni népszavazás megtartásához.
A felkeléshez mintegy száz bosnyák és albán muszlim önkéntes is csatlakozott, Durics Hilmi Huszein vezetése alatt. Egy Ahmet nevű katona el is esett az osztrákokkal vívott harcokban, így a nyugat-magyarországi felkelés mártírja lett.
A felkelők emellett radikális nézeteket vallottak, Szabó József százados irataiból kitűnik, hogy még a félterrorista módszerektől sem riadtak vissza. Ezt elsősorban azon helybeli horvátok ellen, akik szimpátiát tanúsítottak Jugoszlávia felé.
A korabeli osztrák sajtóban fegyveres rablóbandaként tüntették fel őket és a lakosság kirablásával vádolták rendszeresen a gárdát őrvidéki és osztrák oldalon. Ez annyiban igaz, hogy a gárda nem egy tagja valóban fosztogatta a vidéket, de a gárda maga nem rablás és fosztogatás céljából működött. Egyes fegyelmezetlen rongyosok, mint pl. az Alföldről jövő, aluliskolázott, nem katonaviselt és szegény fiatalemberek, valamint a balkáni önkéntesek több ízben fogtak bele saját zsebre történő rablásokba. Másoknak viszont kényszerből kellett elvenniük létfontosságú dolgokat (élelmiszert, ruhát, igásállatot) a helyiektől, mivel a felkelés utánpótlása rossz és lassú volt. Az öncélú rablások ellen a felkelőparancsnokságok igyekeztek fellépni, mivel a felkelés számára elengedhetetlenül fontos volt a lakosság támogatása. Történtek ezen ügyekben felelősségre vonások is, de nem vizsgáltak ki minden esetet és a rablásoknak egyszer sem tudták a parancsnokok elejét venni. Emiatt sok helyi lakos, akik ellenezték ugyan az Ausztriához való csatlakozást, de igen bizalmatlanok voltak a rongyosokkal szemben.
1938-ban az első bécsi döntést megelőzően a Rongyos Gárda újjászerveződött. Október első napjaiban mintegy ezer „rongyos” önkéntes szivárgott át a csehszlovák határon, hogy nyomást gyakoroljanak a csehszlovák kormányra és a nemzetközi közvéleményre. A gárdisták telefon- és távírókábelek elvágásával, katonai alakulatok elleni gerillaakciókkal keltettek zavart az ellenség köreiben, majd észak felé vonultak, és a baráti Lengyelországba mentek át. A gyengén fölfegyverkezett Rongyos Gárda tagjai 1939. január 6-án Munkácson, a helyi lakosság és a rendőrség támogatásával visszaverték a Kárpátalján állomásozó csehszlovák haderő páncélosok fedezésével indított támadását.
Az 1939–40 telén Finnország ellen folytatott szovjet téli háborúban a finnek oldalán fellépő magyar önkéntesek jelentős része a Gárda egykori tagja volt. A finn közvéleményre rendkívül jó benyomást tett a magyar alakulat, bár a kiutazás hosszadalmassága miatt tényleges harci cselekményekben már nem vehettek részt.
A Gárda tagjai közül (bosnyákok és magyarok) sokan küzdöttek 1944 körül Lengyelországban az úgynevezett Honi Hadsereg oldalán a német nácik ellen. Ezt interpellációban egy nyilas magyar országgyűlési képviselő jelezte felháborodva a Kormányzónak.
A gárda létszáma az őrvidéki felkelés idején csupán pár száz fő volt, amely bár a rendőri egységeket meghátrálásra kényszerítette, nagyobb reguláris erőnek egyszerű partizánharccal nem tudott volna ellenállni. Ausztriában új hadsereg szerveződött, miként a kisantantállamokban, ezért lett az Őrvidék a Gárda célpontja. A tanácsköztársaság ellen szerveződő antikommunista szervezetek és az ellenforradalmi kormányok támogatói közül sokan tagjai lettek a későbbi Rongyos Gárdának.