Dwór w Krasnogrudzie, położony w starym parku, na skarpie opadającej do jeziora, przy granicy Polski i Litwy, jest dziedzicem pamięci jagiellońskiej Rzeczpospolitej. Pierwszy dokument z 1676 r. podaje, iż właścicielką Krasnogrudy była Krystyna z Giblów, córka mieszczanina wileńskiego. Od końca XVII w. do 1939 r. władały tu rody ziemiańskie Eysymontów i Kunatów. Z tych ostatnich wywodziła się matka Czesława Miłosza, Weronika.
Dla poety to jeden z najbliższych sercu zakątków rodzinnej Europy. Decydowały o tym tradycja Wielkiego Xsięstwa Litewskiego, młodzieńcze przysięgi, miłosne wtajemniczenia i wiersze, w których jeszcze w starości powracał do tego miejsca "wielu sprzecznych przeżyć". Ciesząc się z daru powrotu w 1989 r. zapragnął, aby dwór - wbrew wyrokom historii - odrodził się i służył budowaniu "tkanki łącznej" między narodami i kulturami. Wraz z bratem Andrzejem, symbolicznie przekazał Krasnogrudę "Pograniczu" i objął patronat honorowy nad Międzynarodowym Centrum Dialogu.