Da pladsen øst for Vor Frue Kirke i 1952 stod foran en omlægning, foreslog medlem af Det særlige Kirkesyn, arkitekt Mogens Koch sin kollega havearkitekt C.Th. Sørensen (1893-1919) til opgaven.
I Kalundborg havde der været en årelang kamp mellem to modstående synspunkter. Skulle kirken omgives af tæt, lav bebyggelse som i middelalderen, eller skulle kirkens nære omgivelser fritlægges, så kirken også på afstand kunne opleves i sin helhed? Sidstnævnte synspunkt sejrede og banede vejen for en omlægning af arealet øst for kirken.
C.Th. Sørensen havde allerede i 1931 med bogen Parkpolitik i sogn og købstad og udformningen af en skrammellegeplads i 1940-41 i Emdrup slået sit navn fast. Den geometriske have i Herning og Universitetsparken i Århus har yderligere medvirket til at slå hans navn fast blandt Danmarks fremmeste havearkitekter. Sørensen løste opgaven ved at udforme et parterre; altså et geometrisk udformet haveanlæg efter gammelt fransk forbillede. Beplantningen består af berberis og liguster, og tanken var, at berberissen de første år skulle beskytte ligustervæksten. At folkeviddet har omdøbt parterret til Hundekirkegården, fortæller vel blot, at lokalbefolkningen på sin egen facon har taget medejerskab til anlægget.
Anlægget blev fredet i 2011 med bl.a. disse begrundelser: Havens modernistiske design bidrager til at give Vor Frue Kirkes Plads en klar tidsdybde, samtidig med at den volumenmæssigt understøtter og forener pladsens tilstødende bygninger. Havens ”tæppekarakter” giver pladsen en særlig miljømæssig kvalitet ved, at den binder de omkringliggende bygninger sammen, så de tilsammen fremstår som væggene i et rum. Samlet udgør dette et af Danmarks mest interessante byrum fra efterkrigstiden.
I dansk havekunst fremstår Vor Frue Kirkes Plads som både en nyskabelse og en udvidelse af en tradition. Pladsen viser, hvordan den historiske parterrehave fik fornyet aktualitet efter Anden Verdenskrig og blev en parallel til senmodernismens arkitektur og kunst. Gennem sit skarpe formsprog og beherskelse af stor og lille skala står haven som et referenceværk i efterkrigstidens havekunst og er et af de stærkeste eksempler på geometriske haveanlæg i Danmark.