Der Ort selbst findet mit der Errichtung einer Gnadenkapelle Maria-Hilf im Jahr 1670 - als Vorläufer des Klosters Schwarzenberg - erstmals urkundliche Erwähnung. Dass der Ort erheblich älter sein muss, belegt schon die deutsche Literaturgeschichte. J. W. Goethe lässt sein berühmtes Theaterstück über den Bauernkrieg (1525) "Götz von Berlichingen" in einer "Schenke zu Schwarzenberg" beginnen. Diese Gaststätte soll an der Kreuzung der Alten Bamberger Straße und des Fahrweges vom Schloss gestanden haben.
Klosterdorf selbst, das heute gut 200 Einwohner hat, bildet jedoch keine eigenen Strukturen, sondern entwickelt sich durch seine Nähe zum Kloster. Die Franziskanermönche, in das katholisch regierte Fürstentum Schwarzenberg gerufen, um die Beschlüsse des Augsburger Religionsfriedens zu vollziehen, gründen dieses Kloster, nachdem sie das evangelische Scheinfeld wieder in einem katholischen Ort verwandelt haben (Scheinfeld hat ab 1687 wieder einen Eigenen Pfarrer). 1702 können die Mönche den Südflügel ihres neuen Klosters beziehen. Im Jahr 1735 wird die Klosterkirche konsekriert (eingeweiht). Die Pläne stammen von Baltharsar Neumann, der jedoch - wie so oft - auf Wunsch der Würzburger Fürstbischöfe umplanen und vereinfachen musste.
Am 23. Juni 1960 vernichtet ein Großfeuer das gesamte Kloster und das Dach der Wallfahrtskirche. Das Kloster wird bis 1962 wieder aufgebaut und dient heute als Schulungszentrum für die deutschen Franziskaner-Minoriten (Noviziatskloster).
Gleichzeitig betreibt das Kloster ein weithin bekanntes Bildungshaus mit 70 Gästebetten und einem großen Angebot an Seminaren, Kursen und Vorträgen. Gegenüber dem Kloster wurde mit dem Herrmann-Schütte-Haus ein weiteres Angebot für Tagungen und die Jugendarbeit geschaffen. Ein schöner Wanderweg führt von Schwarzenberg über Klosterdorf - das Kaltbachtal querend - nach Thierberg; zwei weitere durch den Wald bzw. durch das Schloss nach Scheinfeld.