Heute künden nur noch die Ruinen von der einst bedeutsamen Burg Schwarzenberg. Aus den rücksichtslos geführten Machtkämpfen zwischen den Grafen von der Mark und den Kölner Erzbischöfen heraus entstanden, diente sie ihren Herren knapp ein Jahrhundert lang sowohl zur Sicherung der Grenzen, als auch als Ausgangspunkt für weitere Eroberungszüge.
Das 13. und 14. Jahrhundert in Mittel- und Nordeuropa: Heftige Interessenkonflikte zwischen den weltlichen Herrschern und den Erzbischöfen führten zu massiv geführten kriegerischen Auseinandersetzungen. Die Kriegsführung jener Zeit war vor allem defensiv orientiert. Mächtige Burgen waren oft wichtiger, als ein großes Heer von Soldaten. Von Türmen, Plattformen und Terrassen aus wurden die Angreifer oft mit Schießmaschinen, Steinen sowie kochenden und brennenden Stoffen beworfen. Für die Besatzung der Burg war es im Belagerungsfall jedoch überlebenswichtig über ausreichend Wasservorräte zu verfügen. In diese wechselvollen Zeiten fiel der Bau der Burg Schwarzenberg.
Es war ein langer Weg, den die Grafen von der Mark beschreiten mussten, um ihre Unabhängigkeit von den Kölner Erzbischöfen durchzusetzen. Denn im 13. und 14. Jahrhundert suchten die Grafen nach Möglichkeiten, um der Oberhoheit der Geistlichen aus dem Rheinland entfliehen zu können. Denn die Erzbischöfe besaßen bis dahin nicht nur die Hoheit über das Gogericht Attendorn, dem auch Plettenberg unterstellt war. Sie waren auch die höchste Instanz, deren Einverständnis zum Bau von Verteidigungsanlagen eingeholt werden musste.
Das Jahr 1288 und eine Schlacht, die relativ weit von Plettenberg stattfand, bildeten den „Grundstein“ zur Erbauung der Burg Schwarzenberg. Denn in diesem Jahr schloss sich nahezu der gesamte westfälische und niederrheinische Adel gegen den Erzbischof von Köln, Siegfried von Westerburg, zusammen und schlug diesen bei der Schlacht von Worringen. In diesem Zuge musste der hohe Geistliche auch den märkischen Grafen Eberhard II. als gleichberechtigten Partner anerkennen. Fortan waren die märkischen Landesherren nicht mehr auf die Erlaubnis der Erzbischöfe angewiesen, um Befestigungsanlagen bauen zu dürfen.
Bereits seit Beginn des 13. Jahrhunderts stand das Kirchspiel Plettenberg unter märkischer Herrschaft. Die Grafen von der Mark suchten nach ihrem Sieg gegen den Kölner Erzbischof nicht nur nach einer Möglichkeit, ihre märkische Südgrenze zu sichern, sondern auch nach einem günstig gelegenen Ausgangspunkt zur Eroberung weiterer Gebiete. Ihr Augenmerk fiel dabei auf Plettenberg. An einer strategisch günstigen Lage wurde am 2. Oktober 1301 die Burg Schwarzenberg fertiggestellt.
Von hier aus konnten die Grafen von der Mark ihr Gebiet nicht nur nach Südosten, ins Interessengebiet der Grafen von Arnsberg, sondern auch bis in das Bilsteiner und Fredeburger Land ausdehnen. Doch nach fast hundert Jahren geriet das Gebiet, auf dem sich die Burg Schwarzenberg befand, in die Hände der Grafen von Berg. Die Burg verlor fortan an Bedeutung.