Dopo la caduta dell'impero romano il porto di Varigotti, odierna Baia dei Saraceni, offriva un approdo sicuro alle navi bizantine che mantenevano i collegamenti con le fortificazioni ancora attive lungo l'Appennino ligure e le Alpi marittime: l'orografia di questi luoghi era infatti perfetta per proteggerli dalle continue incursioni di barbari e saraceni che all'epoca tormentavano le coste.
Risale proprio a quell'epoca la creazione di un castrum (fortificazione) bizantino collocato su Punta Crena, con gli edifici civili posti vicino al porto e sul versante orientale del promontorio, dove oggi rimane un muro perimetrale.
Secondo alcune fonti Varigotti fu una delle basi sulla terraferma dei saraceni del Frassineto, possibile riparo per gli stessi pirati finché non decisero di fermarsi stabilmente e unirsi alla popolazione locale.