Dzimis Ternejas pagasta Kalnaņģos kā saimnieka dēls. Mācījies Terņejas pagasta skolā, beidzi Rūjienas draudzes skolu, iestājies Pērnavas ģimnāzijā, ko pabeidza 1876.gadā. Tālākais ceļš ved uz Tērbatu studēt filoloģiju. Studijas sekmīgi beidzis, Velme atgriezās Rūjienā un vadīja privāto proģimnāziju. Kad šis darbs nedeva cerētos panākumus, viņš devās uz Maskavu, kur strādāja par skolotāju un no 1883.gada arī par vācu valodas lektoru universitātē. Krievijā Velme palika līdz 1922.gadam, Pēc tam atgriezās Latvijā un līdz pat savai pēdējai stundiņai bija vācu valodas privātdocents Latvijas Universitātē, kas viņam 1924.gadā piešķīra filoloģijas doktora grādu. Būdams Maskavā, viņš tuvāk iepazinās ar Kr. Valdemāru, Fr. Brīvzemnieku, Kr. Baronu u.c. jaunlatviešiem. Auglīgi bija kopīgie latviešu vakari. Tulkojis Lesinga, Puškina, Turgeņeva darbus. Par savu Maskavas laiku viņš 1922.gadā publicējis interesantas atmiņas “Izglītības Ministrijas Mēnešrakstā. Zinātniskos pētījumos Velme pievērsies kā vispārējās valodniecības, tā speciāli latviešu valodas problēmām. Latviešu preses vēsturē J. Velme pieminams ar mēnešrakstu “Austrums”, ko viņš nodibināja 1885.gadā un oficiāli vadīja līdz 1902.gadam. Viņš pulcēja ap sevi Apsīšu Jēkabu, Doku Ati, Eduardu Veidenbaumu un Jāni Poruku. Jēkabs Velme bija redaktors ar labu gaumi.