Kokkolan huvila-asutus sai alkunsa Sannanrannalla 1860-luvulla. Kaupungin porvarit ja varakkaat virkamiehet halusivat pois kaupungin kiireistä ja arkipäivästä rentoutumaan. Merenranta oli houkuttelevaa aluetta ja näin Sannanranta alkoi kehittyä huvila-alueeksi. Sannanrannan pohjoispuolella sijaitsi matala saari, Elba. Tähän aikaan Elbassa oli suolamakasiini, jonka seinät kostealla ilmalla kimalsivat suolasta.
Myöhemmin rakennus purettiin ja hirsistä rakennettin koulu Vitsariin. Jo tähän aikaan Elba oli suosittu kesänviettopaikka ja myös Elban alueelle alettiin rakentaa kesähuviloita.
Kamreeri Torsten Wilhelm Sevón osti maatalon 1890-luvulla, jonka hän siirsi Elbaan huvilaksi. Neiti Gunvor Björklund osti talon vuonna 1928. Myöhemmin hän avioitui tohtori Ragnar F. Neunstedtin kanssa.
Rakennus koki merkittäviä muutoksia vuonna 1930, kun tohtori Ragnar F. Neunstedt korotti huvilan kaksikerroksiseksi ja kunnosti sen nykyiseen asuunsa. Samalla huvilan ulkoväri muuttui punaisesta valkoiseksi, ja sen arkkitehtuuriin haettiin vaikutteita Italiasta. Huvilan nimi, Elba, juontaa juurensa samaan perinteeseen kuin monet muutkin Kokkolan vanhat huvilat, jotka saivat nimensä kauppiaiden ja merenkulkijoiden matkoillaan näkemien eksoottisten paikkojen, kuten Palman, Elban tai Marokon mukaan.
Huvilan yhteyteen rakennettiin laiturisauna vuonna 1932, joka on tänä päivänä Elban merkittävin maamerkki.
Täällä tohtori Neunstedt vietti joulun, pääsiäisen ja kesän perheensä kanssa. Venetsialaiset eli huvilakauden päättäjäiset, oli myös merkittävä tapahtuma. Tapahtumaa varten oli ostettu rapuja, ruokaa ja juomaa, jota säilytettiin pation alla olevassa maakellarissa. Parvekkeella laulettiin ja tanssittiin tohtorin soittaman banjon tahtiin. Rantaa ja terassin kaidetta koristeltiin soihduilla.
Fredrikinpäivä oli myös suuri juhla, koska Neunstedtin miesten toinen nimi oli Fredrik. Tohtori oli myös urheiluhenkinen ja tuki Sannanrannan Pallopoikia. Kalastus ja purjehdus oli myös tärkeää hänelle. Elbassa on myös toimiva purjehdusseura, Kokkolan Purjehtijat ry, joka toimii vielä tänäkin päivänä. Vastarannalla toimii toinen seura, nimeltään Gamlakarleby Segelförening r.f.
Nykyään Villa Elba on suosittu kokous-, leiri- ja juhlapaikka meren äärellä. Järjestämme luontoelämyksiä, juhlia, yhden tai usean päivän kokouksia ja tapahtumia, saunoineen ja tarjoiluineen.
Villa Elban luontokoulu on yksi Suomen vanhimmista ja heidän tarjoama ohjelma tukee suomalaista koulutusjärjestelmää erinomaisesti. Villa Elban kansainvälinen toiminta on vuosien saatossa laajentunut huomattavasti ja se onkin nykyään nuorisokeskuksen tärkeimmistä painopistealueista.