Tegenover de Grote Kerk staat rijksmonument het Poorthuis. Onder die naam kent iedereen het pand dat oorspronkelijk een tuinmanswoning is. Het ‘echte’ Poorthuis is allang verdwenen. De tuinmanswoning stamt uit 1858, maar er zijn verschillende elementen van een eerdere bebouwing teruggevonden.
Op een tekening van Jan van Diepenem uit 1641 is het Poorthuis, ook wel Rechthuis genoemd in die tijd, ingetekend. De rechtszaal bevindt zich boven de poort.