De oorspronkelijke pastorie van Kaulille bevond zich niet op de huidige plaats, maar op de schans aan de huidige Raakstraat. Dat terrein was eigendom van de gemeente. In 1654 kreeg pastoor Vander Straeten er de toelating om een woning te betrekken. Enkele decennia later, in 1726, werd op diezelfde plek een nieuwe pastorie gebouwd.
Meer dan anderhalve eeuw later kwam er verandering: in 1868 werd de oude pastorie verkocht. Een jaar later, in 1869, verrees de huidige pastorie op de plaats waar ze vandaag nog altijd staat.
Zo vertelt de pastoriegeschiedenis van Kaulille niet alleen iets over het religieuze leven, maar ook over de wisselwerking tussen gemeente en parochie doorheen de tijd.