Olavsundet har fått navn etter Olav den hellige. Et sagn forteller at han en gang var på flukt, og da han satte kursen inn mot Hellesund delte fjellet seg. Olav slapp inn og var ute av syne for fienden. I sundet kan du se Olav den helliges profil i fjellveggen. Senere har flere konger satt sitt monogram i fjellsiden. Søndagen nærmest Olsok er det gudstjeneste i Olavsundet.
Ny-Hellesund var et sentrum for skipstrafikken langs kysten. Fra 1500 til 1800 gikk Nord-Europas viktigste handelsled like utenfor Sørlandskysten. Tusenvis av tyske, hollandske og engelske skip fulgte den tryggeste leden inn i Østersjøen, og den gikk forbi Ny-Hellesund. Det er vanskelig å forestille seg den voldsomme trafikken. Midt på 1800-tallet kunne man, fra toppene av øyene, se over 100 seilfartøy på vei mot øst eller vest. Tolldokumenter viser at så mange som 32 000 ikke-danske skip passerte Skagens odde hvert år i 1860-årene.
Du kan fortsatt se byggeskikk og skipperhus som minner om storhetstiden. Her var det losstasjon, tollstasjon og skipsverft. I 1865 var det registeret 250 fastboende på 50 husholdninger på de små øyene. Øygruppa hadde skole, butikk og gjestgiveri. Nå er det kun noen få fastboende igjen her, men om somrene er det et yrende liv. Skipsverftet nordøst på Kapelløya var i drift helt til 2008. Det åpnet på nytt i 2013 under navnet Verftet, med mange spennende aktiviteter for store og små som kajakkutleie, klatrevegg og sommeråpen kafé. Det er ca. 1 km å gå fra sørvestsiden av Olavsundet til Verftet.
Gjestgiveriet som lå nord på Kapelløya ved Hellesundet fikk status som «Det kongelige privilegerte gjestgiveri» av kong Christian IV. Kapelløya fikk navnet sitt fordi det lå et kapell her frem til ca. 1750. Restene etter kirkegårdsmuren og gravplassene midt på jordet mellom brygga i Olavsundet og Lydersbukta i sørvest, er der fortsatt. Sjøfolk som døde om bord eller som ble funnet drivende i strandkanten etter skipsforlis, ble begravet her. Innerst i Lydersbukta, også kalt Daumannsbukta, står Claus Ørntofts skulptur «Innadvendt stranding». I området er det utsiktspunkter, benker og grillplasser, badeplasser og sandstrand. Det er også toaletter og søppelkasser.
Det er fine turstier på begge sider i Olavsundet. På vestsiden kan du ta den omtalte stien til Verftet, og på østsiden anbefales turen opp til Tvillingvardene. Se omtale under forrige havn. Fergen stopper på østsiden av Olavsundet flere ganger om dagen.
