小洋山歷史悠久，唐大中四年（850）即有關(guān)于該島的文字記載，據(jù)稱當時島上有座隋煬帝廟，不能不說是一件離奇之事。自宋至元、明的漫長世紀，洋山漁汛一直盛如海上大都會。作為明清水師海防要地，曾埋設(shè)有軍事界碑，在島上仰天蓋山的東側(cè)山岙中，有座稱天后宮的寺廟，廟內(nèi)原存江、浙二省巡哨分界碑。清初聲勢浩大的海上反抗運動，常取道洋山。順治十五年（1658）九月，鄭成功、張煌言再次在洋山會師北伐，遭遇大風(fēng)而損失甚慘，傳說鄭成功部屬在島上烹羊而食，因此招來海難。此事雖純屬附會，但洋山確也養(yǎng)羊，今居民牧羊多移往相鄰的錦雞島。1949年8月，國民黨政府在大陸即將全面崩潰之際，蔣經(jīng)國先生曾赴小洋山活動。

小洋山除豐富的人文景觀外，自然石景風(fēng)光頗稱獨特。著名景點為石龍、小觀音山摩崖群兩處，其他有姐妹石、高泥奇沙、烏龜石等。石龍景點位島東部的大城子山中，為嵊泗第二大石之奇觀。進山步步有景，游人首先看見烏龜石，石重數(shù)噸，斜依崖頂而引首向上，又稱"石雞望空"。沿石道攀登，石龍偃臥于山深幽壑處，分上下兩條，背腹分明，相互偎依，蜿蜒于山崗之上，長約百米。細觀石紋斑駁如龍鱗，龍前端有球狀花崗石數(shù)顆，似二龍戲珠；龍尾處凹陷一洞，稱石龍洞，深不可測。景點峰巖巍峨，石色渾厚而略泛金黃，游山有恍然誤入畫境之感。

小觀音山有古摩崖石刻8處，山小而大石疊接，如巧匠所壘之天然碑石之山。"海闊天空"鐫于山頂巖壁石匾中，為明萬歷三十六年（1608）游兵都司張文質(zhì)書，是島上最早的一方題刻。"倚劍"二字堪稱"大字王"，鐫于西坡巨壁，每字高3.8米，寬3.5米，系明萬歷四十一年青田知縣舉人李楷所書，筆力遒健，豪氣撼人，是浙江島嶼中最大的摩崖石刻。其他題刻如"鯤鵬化處"、"中流砥柱"、"水天闊處"和"海晏波寧"等，皆渾雄大氣，游客大多喜歡于此攝影留念。

大、小洋山以及沈家灣島和唐腦山等均為崎嶇列島主要島嶼，列島由83個小島礁組成，多裸巖禿石，如路之崎嶇不平，故名。