První zmínka o osidlování Malé Úpy se objevuje v roce 1566, kdy svahy v okolí Malé Úpy začali osidlovat dřevaři z Tyrolska, Korutan a Štýrska.
Místní horalé museli dlouhou dobu chodit na mše, svatby, křtiny i pohřby do sousedního Maršova dlouhou cestou přes Albeřice nebo Dlouhý hřeben. Vše se ale změnilo roku 1779, kdy do Malé Úpy zavítal císař Josef II s legendárním generálem Laudonem.
Ti na své inspekční cestě přijeli do Malé Úpy na koni přes Albeřice a Lysečiny a přespali v Kneifelově, později Mohornově mlýně (jedná se o dnes již neexistující objekt v lokalitě Spálený Mlýn). Dle pověsti se císař podivoval tomu, jak si horalové dobře žijí. Nikdo mu nechtěl prozradit, čím to je. Až Erika, dcera mlynáře z Mohornova mlýna slíbila, že jim to prozradí, ale jen když nechá v Malé Úpě postavit kostel. Císař souhlasil a Erika mu prozradila, že blahobyt horalů pochází z pašování zboží ze sousedního Pruska. Císař svůj slib dodržel, Malá Úpa získala kostel, ovšem posléze bohužel i celní a pohraniční stráž na Pomezních Boudách. Stavba kostela začala 24. června 1788 a dřevěný kostelík byl vysvěcen 22. února 1791. Jeho patrony se stali apoštolové Petr a Pavel. Hornickou minulost obce dokládá sv. Barbora i hornický znak na bočním oltáři.
V roce 1806 do kostelíka udeřil blesk a celý vyhořel. Nový kostelík byl již zděný a v roce 1807 v něm byla sloužena první mše.
Při větších vnitřních úpravách v roce 1936 byl postaven nynější hlavní oltář. Oltáři dominují patroni kostela Petr a Pavel. Na levé straně oltáře vidíte svatou Terezu jako příklad zbožnosti a napravo svatou Alžbětu Durynskou jako příklad dobročinnosti. Boční oltář vlevo je zasvěcen svaté Barboře, ochránkyni horníků, boční oltář vpravo Matce boží. Oltář je památkou na hornickou minulost Malé Úpy. Horníci, kteří pracovali na slezské straně hor severně od Pomezních Bud, oslavovali každoročně svatou Barboru slavnostním průvodem zakončeným mší svatou na její počest. Dnes se koná pravidelná pouť ze sousedních Kowar při příležitosti svátku sv. Petra a Pavla.
Jako poděkování císaři Josefu II byl při stoletém výročí na stropní oblouk mezi presbytářem a lodí umístěn malovaný císařský dvouhlavý orel a pamětní nápis s letopočtem 1791.
Zajímavé jsou i věžní hodiny, které Malé Úpě věnovala císařovna a poslední česká korunovaná královna Marie Anna Savojská, které vyrobil roku 1882 Leopold Plesnivý z Prahy – Bubnů. Stroj však dožil a díky veřejné sbírce mohl být v listopadu 2012 nahrazen novým ciferníkem a elektronickým strojem. Starý mechanický hodinový stroj je vystaven na Infocentru na Pomezních Boudách.
Kostel ztratil už třikrát své zvony. Poprvé při požáru v roce 1806, podruhé 1916 pro válečné účely a ze stejného důvodu i v roce 1943. Jenom malý zvon ve věžičce všechny války přečkal.
Varhany pocházejí z roku 1833 z dílny Wenzela Kunze. Několikrát byly vylepšeny nebo opraveny a dodnes hrají.
Objekt je od roku 1958 na seznamu kulturních památek.
Poslední oprava kostela proběhla za těžkých podmínek v roce 1986. Nebýt vydatné finanční pomoci krajanů žijících dnes v Německu, zřejmě by k renovaci vůbec nedošlo. Založení kostela mělo pro horaly a Malou Úpu zásadní význam. Nedaleko vyrostla fara, hospoda, škola, hájovna. Administrativní centrum v okolí kostela se během 20. století přesunulo na lépe dostupné Pomezní Boudy s hraničním přechodem. Kostelík je stále důležitým symbolem obce, což potvrzuje i fakt, že si jej obec Malá Úpa dala do svého znaku.
V roce 2018 obec Malá Úpa převzala kostel sv. Petra a Pavla do svého vlastnictví, zejména za účelem snadnějšího postupu při jeho opravě. Cílem je také, aby do kostela vrátil život a konaly se v něm i jiné kulturní i společenské akce duchovního významu. Stále se však jedná o církevní stánek, kde farnost Janské Lázně koná pravidelné bohoslužby.
Nedílnou součástí kostela je i přilehlý hřbitov, kde se pohřbívalo od konce 18. století až do konce 2. světové války. Po odsunu Němců byl hřbitov takřka zapomenut, v jedné chvíli mu dokonce hrozila likvidace. Zásluhou několika starousedlíků se zachoval a opět tu nachází věčný klid ti, kterým se Malá Úpa stala více než domovem.
O kostel i hřbitov se dnes stará několik místních lidí, kterým za jejich práci děkujeme. Stejně tak i německým starousedlíkům za finanční podporu.