Teren ziemi wałeckiej zamieszkiwało kilka rodów szlacheckich. Niewiele z nich pozostawiło po sobie ślad w postaci rodowej siedziby. Na tym tle wybija się rodzina Golców, która już w XIV wieku panowała na Kłębowcu. Dzieje tego rodu, podobnie jak i ich pałacu, są niezwykle burzliwe. Wielokrotne zatargi z sąsiadami, spory wewnątrz rodziny, walki religijne, kilkakrotnie sprowadziły na Golców, a także Kłębowiec, gniew sąsiadów, władców i obłożenie ich karami. Prowadzanie dość awanturniczego trybu życia wymagało siedziby, która zapewniłaby ochronę. Pierwsza, której powstanie datuje się na XIV wiek, miał charakter obronny. Usytuowanie w pobliżu rzeki dawało jej dodatkowe atuty. To w miejscu owego zamku powstała późniejsza siedziba rodowa.
Budowa zespołu pałacowego przypada na przełom XVII i XVIII wieku. Projekt pałacu nawiązywał do barokowej stylistyki. Składał się z korpusu głównego (jednopiętrowego), do którego przylegały budynki gospodarcze (kształt litery U). Część główna, pięknie zdobiona ryzalitami, pilastrami oraz gzymsami, wysunięta jest w kierunku dziedzińca. Elewację urozmaicają także zdobienia otworów okiennych. Również wnętrze miało być bogato zdobione, nie zachowały się, niestety, żadne materiały źródłowe na ten temat. Pałac zapewne był wielokrotnie przebudowywany i dostosowywany do aktualnych mód. Nie jesteśmy obecnie w stanie odtworzyć tych zmian. W czasie działań wojennych w 1945 roku pałac, prawie w całości, strawił pożar. Zachowało się tylko jedno skrzydło boczne, przerobione na kaplicę pałacowa (ewangelicką). Pałac otacza park z ciekawymi okazami drzewostanu.
Obecnie pałac popada w coraz większa ruinę. Istnieje jednak legenda, ze dopóki gniazdo bocianie utrzyma się na jego czubku, a jego mieszkańcy będą wiosną wracać, to pałac nie zniknie zupełnie.