一座方圓不過四公裏的小島浮在I海灣瀕臨太平洋的S郡最南邊。這座遠離其餘島嶼的小島宛如一個綠色的饅頭扣在那裏，但即便是M縣的住戶恐怕都未發覺這一奇異的景象。眼下，這綠色的饅頭除了周圍的漁民偶爾興起過去轉轉外，根本無人光顧，簡直成了一座荒島。除此之外，小島地處海角頂端，周圍經常波濤洶湧。若不是遇到風平浪靜的日子，小船要冒很大的危險才能靠近小島，得不償失。當地人稱小島為衝之島。不知何時，其主人變成了T市的菰田家——M縣的首富。
菰田家過去有一幫膽大妄為的漁民，在島上建起小房子住下來，並在當地晾曬漁網，建造倉房。然而，這些臨時建造的房屋前幾年忽然都被拆除了，小島上開始大興土木。每天都有幾十人乘坐特製的電動船來到島上，有挖土的工人，也有園丁。各種來路不明、奇形怪狀的大石頭，以及鋼筋、木材和無數水泥桶等都被運到島上。眾人開始在這座荒島上建造大型工程，卻不知是建造房屋還是園林，十分神秘。
衝之島所屬的郡相當偏僻，政府建造的鐵路乃至百姓自建的輕便鐵路、公共汽車道，在這裏都看不到。小島對岸有幾個又小又窮的漁村，每個村的住戶都不到一百戶。這些漁民家的房屋稀稀疏疏分散在海岸邊。各個漁村之間隔著高聳的山崖，往來困難，這是一片未開化的地區。正因為這樣，對岸莫名其妙開始大興土木的消息隻是在這些漁村之間傳播。這種消息傳播得越遙遠，其本身就會變得越匪夷所思。這項工程如此奇異，若傳到鄰近的小城，會在當地的報紙社會版上熱鬧一段日子，若是傳到京城附近，必然會引發大風波。
附近的漁民都不明白，菰田家不惜血本在荒島上挖土栽樹、修建圍牆、建造房屋，到底是為了什麽。小島如此偏僻，菰田家總不至於要搬到這裏生活。可是如此大興土木，若隻為了建一座園子，未免太荒誕了，菰田家的男主人莫非已經發了瘋？漁民們這樣議論著，而這並非毫無依據。