På Selja slo de seg ned i en fjellhule. Da Håkon Ladejarl kom med hærfolk for å drepe disse uønskede innvandrerne, ba Sunniva om at Gud måtte frelse dem fra den vanhellige døden som hedningene ville gi dem. Da lot Gud fjellet styrte ned foran hulen, dermed ble det ikke hedningene som drepte dem. De som døde i hulen regnes som Norges første martyrer, og Sunniva ble gjort til helgen.
Senere lot Olav Tryggvason oppføre en kirke ved hulen. Rundt år 1100 startet byggingen av et kloster, som ble viet til St. Albanus. Klosteret var i drift frem mot reformasjonen, tidlig på 1500-tallet. Etter nedleggelsen ble klosteret plyndret. Stein fra klosterbygningene ble bl. a. fraktet til Danmark og gjenbrukt til bygging av slott og andre praktbygg. Ruinene på Selje gir et et godt bilde av hvordan klosteret må ha sett ut. Her kan du få omvisning og lære mer. St. Sunniva er skytshelgen for Bergen, i betydningen Bergen bispedømme, som omfattet hele Vestlandet.
Klostervågen ligger nordvest på Selja. Det er en flytebrygge i betong og en trekai nedenfor klosteret. Der kan vi fortøye longside eller med anker ute. Kaien ved siden av flytebryggen er til skyssbåten. Det er også mulig å ligge for anker nordøst i Klostervågen. Ankommer vi fra sør, går vi øst for Kjeholmen – og øst for 1,3 meters grunnen øst for denne – før vi tørner styrbord og går inn sør for Klosterholmen.
Kommer vi fra nord, sørger vi for å holde oss øst for det urene farvannet ved Litleskjeret og Hesten, og sikter oss inn mot Klosterholmen den veien. Klostervågen egner seg bare som godværs- og dagsturhavn, her står Sildagapet og Stadthavet rett inn.
