Tussen 1792 en 1797 lieten Wolfgang-Guillaume, derde hertog d'Ursel, en zijn echtgenote Flore d’Arenberg dit opmerkelijke paviljoen aan de Scheldedijk bouwen.
Het paviljoen deed niet alleen dienst als belvedère met hertogelijke ontvangstsalons, er bevond zich eveneens een woning voor de schippersfamilie en een herberg voor het volk.
In onbruik geraakt en geteisterd door o.a. de overstroming van 1953 werd De Notelaer van het definitieve verval gered door de tweede eigenaar, de familie Camu. In die periode was het een echt kunstenaars-trefpunt en werd het bezocht door vooraanstaande personen waaronder koning Albert II en koningin Paola.
Ook toen de derde eigenaar, kunstenaar Vic Gentils, het paviljoen bewoonde (1970–1983), behield De Notelaer zijn aantrekkingskracht.
Vervolgens kocht het Ministerie van de Vlaamse Gemeenschap De Notelaer en zocht een zinvolle bestemming voor deze parel aan de Schelde. De vzw De Notelaer (1984) werd geboren en het gebouw werd opengesteld voor het publiek.
Sinds 1999 is het gebouw in erfpacht gegeven aan Herita; het vroegere Erfgoed Vlaanderen. De werking wordt gerealiseerd door de vzw De Notelaer. En de foto's ervan kan je hier (klik) bekijken.
