Myöhemmin rakennus purettiin ja hirsistä rakennettin koulu Vitsariin. Jo tähän aikaan Elba oli suosittu kesänviettopaikka ja myös Elban alueelle alettiin rakentaa kesähuviloita.
Alun perin Elba oli matala saari, mutta maannousun myötä se on vähitellen liittynyt mantereeseen. Tämä on konkreettinen esimerkki siitä, miten Pohjanlahden rannikko on muuttunut vuosisatojen aikana. Useat Sannanrannan huvilat, jotka aikoinaan sijaitsivat aivan veden äärellä, ovat nykyisin selvästi kauempana rannasta.
Kamreeri Torsten Wilhelm Sevón osti maatalon 1890-luvulla, jonka hän siirsi Elbaan huvilaksi. Neiti Gunvor Björklund osti talon vuonna 1928. Myöhemmin hän avioitui tohtori Ragnar F. Neunstedtin kanssa.
Rakennus koki merkittäviä muutoksia vuonna 1930, kun tohtori Ragnar F. Neunstedt korotti huvilan kaksikerroksiseksi ja kunnosti sen nykyiseen asuunsa. Samalla huvilan ulkoväri muuttui punaisesta valkoiseksi, ja sen arkkitehtuuriin haettiin vaikutteita Italiasta. Huvilan nimi, Elba, juontaa juurensa samaan perinteeseen kuin monet muutkin Kokkolan vanhat huvilat, jotka saivat nimensä kauppiaiden ja merenkulkijoiden matkoillaan näkemien eksoottisten paikkojen, kuten Palman, Elban tai Marokon mukaan.
Huvilan yhteyteen rakennettiin laiturisauna vuonna 1932, joka on tänä päivänä Elban merkittävin maamerkki.
Täällä tohtori Neunstedt vietti joulun, pääsiäisen ja kesän perheensä kanssa. Venetsialaiset eli huvilakauden päättäjäiset, oli myös merkittävä tapahtuma. Tapahtumaa varten oli ostettu rapuja, ruokaa ja juomaa, jota säilytettiin pation alla olevassa maakellarissa. Parvekkeella laulettiin ja tanssittiin tohtorin soittaman banjon tahtiin. Rantaa ja terassin kaidetta koristeltiin soihduilla.
Fredrikinpäivä oli myös suuri juhla, koska Neunstedtin miesten toinen nimi oli Fredrik. Tohtori oli myös urheiluhenkinen ja tuki Sannanrannan Pallopoikia. Kalastus ja purjehdus oli myös tärkeää hänelle. Elbassa on myös toimiva purjehdusseura, Kokkolan Purjehtijat ry, joka toimii vielä tänäkin päivänä. Vastarannalla toimii toinen seura, nimeltään Gamlakarleby Segelförening r.f.
Nykyään Villa Elba on suosittu kokous-, leiri- ja juhlapaikka meren äärellä. Järjestämme luontoelämyksiä, juhlia, yhden tai usean päivän kokouksia ja tapahtumia, saunoineen ja tarjoiluineen.
Villa Elban luontokoulu on yksi Suomen vanhimmista ja heidän tarjoama ohjelma tukee suomalaista koulutusjärjestelmää erinomaisesti. Villa Elban kansainvälinen toiminta on vuosien saatossa laajentunut huomattavasti ja se onkin nykyään nuorisokeskuksen tärkeimmistä painopistealueista. Villa Elba oli Suomen ensimmäinen nuorisokeskus, jolle myönnettiin Euroopan neuvoston European Youth Centre ‑laatumerkki.
Villa Elba ja Sannanranta kuuluvat nykyään Kokkolan kansalliseen kaupunkipuistoon, joka on Suomen suurin ja merellisin kansallinen kaupunkipuisto.
