Da første etape af Kalundborg Rådhus på Holbækvej 141B i Kalundborg i 2002 blev bygget til Teknisk Forvaltning, var der i byggesummen afsat et beløb til kunstnerisk udsmykning. Størstedelen af beløbet blev anvendt til en skulpturgruppe med Keld Moseholm Jørgensens små, tykke mænd og på en stor granitskulptur af Erik Heide (født 1934). I forbindelse med opstillingen i efteråret 2003 skrev Erik Heide denne tekst om sin skulptur Hesten og Højen: ''Først var der det blide landskabs bølgende linjer, så kom huset, dernæst højen. Det var smukt at se fra Holbækvej, en dejlig helhed. Jeg så det en dag for længe siden, da jeg kørte forbi. Vi har lidt penge, vil du komme med et forslag til en skulptur - blev jeg spurgt. Så måtte jeg se en ekstra gang, og det første indtryk var korrekt. Et smukt sted, hvor mange passerede forbi. Men så de forbipasserende, hvad de passerede? Jeg ville prøve at fange deres opmærksomhed. Men hvordan? - Med en stor sten ved den blide højs fod. Den store sten lå hos Danstein i Jyderup, den kom fra Halmstadbruddene i Sverige. Jeg kendte den 5 m lange sten fra mit arbejde hos Danstein, men nu kendte jeg også stedet til den, og jeg så pludselig hesten i den. Jeg så en hest i slægt med den hest, der stikker ud mod øst højt fra Vejerslev Kirkes korgavl. Den har siddet dér, set ud over land, fæ og folk siden 1200-tallet. Den er en del af mit arvegods her fra Mors, hvor jeg er født, bor, arbejder og dør. Da huggede vi en hest hos Danstein - hestens hoved, hestens krop var stenen. Vi talte forskellige tungemål, mine medarbejdere og jeg, slovakisk, polsk, russisk, jysk, men hestens hoved dukkede ud af larmen og tågerne fra sten, støv, vand og ild; da maskinerne tav, lød mejselslagene - lyset sås i hestens øje. Nu ligger den på sin plads ved højen mod Holbækvej. Et vers fra Adam Oehlenschlägers “Guldhornene” rinder mig i hu, når jeg nu kører forbi: Rhymfaxe den sorte puster og dukker og i havet sig begraver. Morgenens porte Delling oplukker, og Skinfaxe traver i strålende lue på himlens bue''
Granithesten måtte i 2015 flyttes et lille stykke mod øst, da rådhusudvidelsen havde medført, at skulpturen i dagtimerne var skjult bag parkerede biler. Erik Heide deltog selv i flytningen, så hesten kunne finde en passende, ny høj at lægge sig til hvile på. I receptionen på rådhuset kan man over hovedindgangen se Erik Heides lille arbejdsmodel i granit til skulpturen.