Antes da chegada dos portugueses, as terras eram ocupadas pelos povos indígenas Tupinambás, que também habitavam a vizinha Guarajuba. A colonização europeia começou em 1551 com Garcia D'Ávila. Nesse mesmo ano, foi erguido o Forte de São Francisco Xavier com o objetivo de proteger o litoral baiano de invasões de piratas e corsários.
A herança dessa época deixou uma das maiores marcas históricas do país: o Castelo Garcia D'Ávila, situado nos arredores da vila, considerado a única construção em estilo medieval na América Latina tombada pelo Iphan.
Durante séculos o vilarejo funcionou apenas como uma comunidade tradicional de pescadores. A virada aconteceu na década de 1980, quando a busca pelas piscinas naturais impulsionou o turismo. No mesmo ano de 1980, foi fundado o Projeto Tamar, voltado à preservação das tartarugas marinhas, cujos centros de visitantes reúnem hoje 600 mil litros de água salgada em tanques e aquários de pesquisa.