主要分佈於海岸山脈和花東縱谷南段的河階、海階或山區的緩坡地。重要遺址有卑南、掃叭、富山、漁場、漁場南、東河Ⅰ、東河Ⅲ等。出土大量鐮刀、石刀等農具，而且器型也有大型化的趨勢，可見農耕更形發展，也更重要了。
至於海岸地區的遺址則出土豐富的網墜、尖器等漁業用具，又顯示對海洋資源的依賴，這毋寧是人類為了生存而和個別環境互動的自然現象。
遺址的範圍都相當大，像卑南遺址的面積就有八十萬平方公尺，聚落龐大，而且建築物成排分佈，格局嚴謹，已經是頗具組織的社會結構。以卑南遺址所發現的文化內涵而言，生業型態以農業為主，斧鋤形器雖不多，但有大量的石刀，石鐮和去殼用的石杵，推測是種植小、米陸稻；此外狩獵工具的矛、簇也很多，但漁具就相當缺乏。生活用具的陶器以夾砂素面紅陶為主，墓葬內有特別製作的陪葬用豎把罐。很可能有人專門從事玉石飾品製作，並以玉製器物來交易。
有數以千計的石板棺埋在建築物底部，成帶狀分布，而且與地上建築物的座向相同，顯然意義非比尋常。棺內更有豐富又精美的陪葬玉器、陶器，可見當時人已有靈魂觀念，相信死後另有世界，並且有相沿成俗的喪葬儀禮。
另外，也發現了被獵頭的無頭遺骸，很可能是因為族群擴張領域、爭奪自然資源，開始出現部落間的爭戰。
位於舞鶴台地的掃叭遺址（舊稱舞鶴遺址）亦屬於卑南文化系統，立在地卑南遺址已經劃定為國家第一級古蹟保護區，同時籌設文化公園，預備將部份遺址開挖作為現地展示的博物館。面的兩根大石柱，最是著名，為台灣已知最高大的立石，與卑南遺址的石柱極為神似。兩根石柱頂部都刻有槽溝，南邊的則和北邊不同的是，在近底部刻有倒三角型的圖案，日本學者鹿野忠雄認為石柱雕刻類似排灣族群的祖先雕像，至於石柱本身，學者普遍認為是建築結構。民國77年內政部公告本遺址為國家三級古蹟。
- 卑南遺址發現的礫石建築結構(引自宋文薰、連照美 1988)
- 卑南文化的雙把罐(引自宋文薰、連照美 1987)
- 卑南文化陶器復原圖
- 卑南遺址上的大型石柱(月形石柱)、是建築結構的一部分
- 石棺群是卑南文化的特色之一(引自宋文薰、連照美 1988)
- 掃叭石柱及附近出土的打製石斧
卑南文化是誰的祖先
一般人可能會誤解，以為既然稱作卑南文化，那自然是現在卑南族的祖先。其實考古學上的某某文化，通常其命名都取自該文化代表性遺址所在地的地名。卑南文化的代表性遺址是卑南遺址，而卑南遺址位於日據時代原稱為卑南社的台東市南王里，所以稱為卑南文化，跟原住民卑南族倒沒有必然的關係。
至於卑南文化人是誰的祖先，本書撰述計劃主持人認為，卑南文化的晚期有兩個演化方向：一是往山區移民，適應山地生活方式，成為後來排灣族或排灣群（包括排灣族、卑南族、魯凱族）的祖先。理由是卑南文化人和排灣族都住石板屋、葬在石板棺，都有拔牙的習俗。其次，排灣、魯凱兩族舊社出土的陶器器形和卑南文化晚期非常接近。
另一個演化方向，就是留在原來的平原及海岸台地，成為阿美族的祖先。間接證據是兩者居住地區及環境相同，而卑南社人相傳卑南遺址是阿美族的舊社。究竟何者屬實，往後的考古學研究當可進一步指認。
排灣族來義社頭目家的石板屋建築，其基礎結構和卑南遺址的建築有部分相似(引自森丑之助著，宋文薰編審 1977)