Schon sehr früh, etwa im 13. Jh., dürfte bereits eine Kapelle zu Erdberg bestanden haben. Im Jahr 1333 hören wir von der Stiftung eines Weingartens "bei St. Paul im tiefen Graben", die Stephan der Chrigler zwecks Abhaltung eines Jahrtages macht. Aus der zweiten Hälfte des 14. Jh.s erfahren wir erstmals den Namen eines Pfarrers zu St. Paul "in Erdpurch"; so wird ein gewisser Ortolf 1387 genannt. In späterer Zeit werden die Angaben immer ausführlicher.
Diese bereits im 14. Jh. anzutreffenden Nennungen von Pfarrern dürften so zu erklären sein, daß es sich hiebei wohl um eine Art Vorläufer der späteren Pfarre Erdberg gehandelt hat. Wie im Kapitel über Erdberg schon erwähnt wurde, residierten bereits die Babenberger in dieser Gegend. Man wird daher in der Nennung von "Pfarrern zu Erdberg" am ehesten die Existenz einer eigenen hier bestandenen Herrschaftspfarre ableiten können, die in späterer Zeit zu existieren aufhörte; erst nach der langen Phase der Einpfarrung zu Simmering kam es dann schließlich im 18. Jh. zu einer Pfarrgründung im modernen Sinne.
Eine Quelle des 16. Jh.s gibt den Besitz der Pfarre wie folgt an: "10 Viertel Äcker in St. Pauls Grund, ein Baumgarten zu Penzing, zwei behauste Güter zu Erdtpurg, ein Garten hinter St. Niclas Kloster und 10 Viertel Weingärten in St. Pauls Grund." 1529 wurde die bis dahin existierende Kirche zerstört. Erdberg selbst blieb bis 1642 nach Simmering eingepfarrt. Nach der Zerstörung durch die Türken kam es im 17. Jh. zu einem Wiederaufbau. Ein Glockenturm sowie ein umliegender Friedhof waren ab der Mitte des 17. Jh.s in Funktion. Bei der Zweiten Türkenbelagerung im Jahr 1683 wurde die Kirche neuerlich zerstört und blieb lange Zeit in Schutt und Asche liegen. Erst 1700 nahm man den Wiederaufbau des Gotteshauses in Angriff, die Kirche entstand in ihrer heutigen Gestalt. 1726 wurde die Kirche den Aposteln Petrus und Paulus geweiht. Etwas später erst errichtete man die Frontmauer samt den Figuren der beiden Apostel sowie die Kanzel. Diverse Erweiterungsarbeiten dauerten noch bis 1771, bis die Kirche in ihrer jetzigen Gestalt fertig war, von 1783 an war sie dann Pfarrkirche im heutigen Sinn. Der Friedhof vor der Kirche wurde zu dieser Zeit aufgelassen (heute nimmt seinen Raum der Platz vor der Kirche ein), und die Toten wurden ab diesem Jahr im St. Marxer Friedhof beigesetzt. Wohl kam es auch noch in der Folgezeit zu Änderungen, so etwa wurde ein neuer Altar zu Anfang des 19. Jh.s geschaffen sowie 1850/51 die Kapelle zur hl. Maria Magdalena, im wesentlichen hatte das Gotteshaus jedoch seine Gestalt bereits erhalten. Das tempelartige Äußere der Kirche wirkt nüchtern und bescheiden. Zu beiden Seiten des Eingangs finden wir Sandsteinfiguren der Apostelfürsten. Das einschiffige Innere zeigt an Stelle des Querschiffes Ausbuchtungen der Langhauswand, über den Seitengängen erheben sich Emporen, das Presbyterium schließt im Halbrund. Hervorzuheben ist auch noch das Bild "Maria Immaculata" von einem unbekannten Meister; es befindet sich im linken Seitengang der Kirche. Das Hochaltarbild stellt den Abschied der Apostel Petrus und Paulus vor dem Martyrium dar und stammt von Georg Schilling, der es 1810 schuf. Neben dem Pfarrhof befindet sich eine Statue des hl. Johannes von Nepomuk. Außerdem ist bis heute in der Pfarre das Mutterhaus der "Schulschwestern vom 3. Orden des hl. Franciscus Seranhicus" untergebracht.