Lipowiec to ruiny zamku biskupów krakowskich, którego dokładna data powstania nie jest znana. Istnieją hipotezy, według których na wysokim wzgórzu nad wsią Babice stało wczesnośredniowieczne grodzisko, a później drewniany zamek bandytów. Jednakże, na przełomie XIII i XIV wieku biskup Jan Muskata lub jego poprzednik wybudował nowy zamek, który został nazwany Lipowcem. Zamek ten pełnił rolę centrum administracyjnego, był bardzo dobrze ufortyfikowany i wielokrotnie przebudowywany.

Niestety, w XVII wieku zamek uległ pożarowi dwukrotnie – raz przypadkowo, a raz został podpalony przez Szwedów podczas wojen. Co ciekawe, zamek kilkakrotnie służył również jako więzienie dla księży.

W 1800 roku zamek został zniszczony przez kolejny pożar i popadł w ruinę, jednak dzięki rekonstrukcji, która trwała od 1961 do 1975 roku, zamek został odrestaurowany. Obecnie jego piękny i antyczny wygląd przyciąga turystów do zwiedzenia jego wnętrza.