Dzimusi Ukrainā, Viņņicā, kur par grāfa Engelharda muižas pārvaldnieku strādāja viņas tēvs- agronoms Kārlis Švalbe ( Dzimis Ternejas pagasta “Mazsautiņos”). Bērnība Elzai bija bezrūpīga. Tika pat uzaicināta guvernante no Latvijas, kura pasniedza klavierstundas un gatavoja ģimnāzijai. 1918.gadā Kārļa Švalbes ģimene atgriezās Latvijā Rīgā Elza pabeidza ģimnāziju. Zīmēšanas pamati tika apgūti Kārļa Miesnieka un Ludolfa Liberta studijā. Tad sekoja studiju gadi Latvijas Mākslas akadēmijā, kuras studentu skaitā E.Švalbe-Matvejeva bija no 1922. līdz 1930. gadam un no 1934. līdz 1942. gadam, paralēli pelnot iztiku bieži vien ar mākslu nesaistītos darbos. 1942. gadā Mākslas akadēmija tika pabeigta ar dekoratīvu skulptūru Tautumeita, kura bija domāta kā modelis bronzas pulksteņa rotājumam. 1936. gadā prezidents Kārlis Ulmanis izsludināja konkursu par labāko metu balvai starptautisko jāšanas sacensību uzvarētājam. Tajā savu pirmo prēmiju saņēma Elza. 40. gadi bija liktenīgi mākslinieces dzīvē, jo tika represēti daudzi viņai tuvi un mīļi cilvēki. 1949. gadā uz Amūras apgabalu lopu vagonos tika aizsūtīti E. Švalbes-Matvejevas māte, māsa ar vīru un vecāko meitu, bet jaunākā meita, kura pēc operācijas palika Rīgā, tika ievietota bērnunamā. 1949. gadā kopā ar citiem rērihiešiem tika apcietināta arī E. Švalbe. Tiesa viņai piesprieda 10 gadus ieslodzījumā. Seši no tiem tika pavadīti Komi autonomajā apgabalā. Mūsdienu jaunatne, manuprāt, neizprot un pārāk maz runā par šausmām, ko nācās izciest represētajiem, mūsu izsūtītajiem un vajātajiem tautiešiem, daudzi pat ne reizi nav iegriezušies Okupācijas muzejā, sacīja E.Švalbe-Matvejeva. Mūža novakarē māksliniece atzina, ka ciešanas norūda, tās jāuzskata nevis par nelaimi, bet par pārbaudījumu un apziņas paplašināšanas iespēju. Latvijā māksliniece atgriezās 1955. gada vasarā. Pēc reabilitācijas nācās vairākkārt mainīt dzīvesvietu. Tikai no 1957. gada arī E. Švalbei-Matvejevai tika dota iespēja saņemt valsts pasūtījumus. Māksliniece ir darinājusi galvenokārt žanriskas stājskulptūras, sīkplastiku, medaļas, plaketes, arī portretus no terakotas, porcelāna, fajansa, šamota.