Po Piastach, w XIV wieku, zamek przejęli Czesi, ale na krótko. Ich król, niewidomy Jan Luksemburski, sprzedał po kilku latach budynek wrocławskiemu patrycjuszowi. Następnie zamek jeszcze kilka razy przechodził z rąk do rąk. W tym czasie gmach był przebudowywany. Niestety, nie ominęły go również zniszczenia. Podczas wojny 30-letniej w XVII wieku został zrujnowany. Niebawem obiekt trafił do wrocławskiego rodu von Forno.
- W ich rękach zamek leśnicki pozostawał, z krótką przerwą na początku XVIII w., do 1733 r., kiedy został sprzedany wrocławskiemu Zakonowi Krzyżowców z Czerwoną Gwiazdą - ich wrocławską siedzibą był budynek przy ul. Szewskiej, mieszczący dziś zbiory Ossolineum. Zamek leśnicki został przez krzyżowców przebudowany na okazałą, barokową budowlę - opowiada Marek Burak, wrocławski historyk.
To właśnie czas, gdy w Leśnicy panowali von Forno, jest najbardziej mroczny w dziejach zamku. Jeden z dziedziców rodu najbardziej dał się we znaki okolicznym mieszkańcom i swojej służbie. Znany był z tego, że ciął batem poddanych tak, że z rozszarpanych ciał tryskała krew. Z równym zainteresowaniem uwodził miejscowe niewiasty. Jedna z nich, która nie uległa szlachcicowi, zaczeła uciekać. Widząc, że nie uda się jej wy-mknąć, rzuciła się do Bystrzycy i utonęła...
Legenda głosi, że gdy von Forno umarł, lud nie posiadał się z radości. Na krótko jednak. Bo na zamek wrócił duch zwyrodnialca. - Potwierdzam - mówi Elżbieta Lenczyk, dyrektorka Centrum Kultury Zamek. - Do tej pory czasami dzieją się tu dziwne rzeczy.
Elżbieta Lenczyk opowiada, że wieczorami słychać trzaskanie drzwiami, choć w zamku niekogo nie ma. Złośliwy duch potrafi również zepsuć aparaturę nagłośnieniową. - Na pięć minut przed pokazem wszystko działało, a gdy zaczynaliśmy jedno z przedstawień, to nagle wszystko się popsuło - wspomina dyr. Lenczyk.
Jednak oprócz ducha w zamku przez wieki gościły znamienite postacie. Marek Burak wymienia je jednym tchem: - W 1348 r. król czeski i niemiecki (późniejszy cesarz) Karol IV, w 1563 r. cesarz Maksymilian II. Przed bitwą pod Lutynią w 1757 r. pałac stał się kwaterą dowództwa wojsk austriackich z ks. Karolem Lotaryńskim na czele, zaś po bitwie (5 grudnia) przebywał tu król pruski Fryderyk II, który wracał do tego miejsca jeszcze kilkakrotnie. W dobie napoleońskiej, podczas oblężenia Wrocławia (1806/07), w zamku kwaterowały wojska francuskie i bawarskie, w 1808 r. mieszkał tu ks. Hieronim Bonaparte, a w 1813 r. marszałek Michel Ney.