Matką Jana i Jakuba była Salome, która należała do wiernych towarzyszek wędrówek Jezusa.

Jakub należał do uprzywilejowanych uczniów Jezusa, którzy byli świadkami wskrzeszenia córki Jaira, przemienienia na górze Tabor oraz modlitwy w Ogrójcu. Żywe usposobienie Jakuba i Jana sprawiło, że Jezus nazwał ich "synami gromu". Chcieli bowiem, aby piorun spadł na pewne miasto w Samarii, które nie chciało przyjąć Pana Jezusa z Jego uczniami.

Jakub był wśród uczniów, którzy pytali Pana Jezusa na osobności, kiedy będzie koniec świata. Wreszcie był on świadkiem pierwszego oraz drugiego cudownego połowu ryb, kiedy Chrystus ustanowił Piotra głową i pasterzem swojej owczarni. 

Dzieje Apostolskie wspominają o św. Jakubie dwa razy: kiedy wymieniają go na liście Apostołów (Dz 1, 13) oraz relacjonując jego męczeńską śmierć (Dz 12, 1-2). Jakuba ścięto mieczem w 44 r. w Jerozolimie. Odbyło się to w więzieniu bez procesu. Euzebiusz z Cezarei, pierwszy historyk Kościoła (w. IV), pisze, że św. Jakub ucałował swojego kata, czym tak go wzruszył, że sam kat także wyznał Chrystusa i za to sam natychmiast poniósł śmierć męczeńską. Jakub był pierwszym wśród Apostołów, a drugim po św. Szczepanie, męczennikiem Kościoła.

W średniowieczu powstała legenda, że św. Jakub udał się zaraz po Zesłaniu Ducha Świętego na misje do Hiszpanii. Do dziś św. Jakub jest pierwszym patronem Hiszpanii i Portugalii.

Według tradycji, w VII w. relikwie św. Jakuba miały zostać sprowadzone z Jerozolimy do Compostelli w Hiszpanii. Nazwa Compostella ma się wywodzić od łacińskich słów Campus stellae (Pole gwiazdy), bowiem relikwie świętego, przywiezione najpierw do miasta Iria, zaginęły - dopiero w IX w. miał je odnaleźć biskup, prowadzony cudowną gwiazdą. Hiszpańska nazwa Santiago znaczy zaś po polsku "święty Jakub". Te dwie nazwy łączy się w jedno, stąd nazwa miasta brzmi dziś Santiago de Compostella.

Do dziś znajduje się tam grób św. Jakuba. W wiekach średnich po Ziemi Świętej i Rzymie było to trzecie sanktuarium chrześcijaństwa. W katedrze genueńskiej oglądać można artystyczny relikwiarz ręki św. Jakuba, wystawiany na pokaz podczas rzadkich okazji.

Święty jest patronem m. in. zakonów rycerskich walczących z islamem, czapników, hospicjów, szpitali, kapeluszników, pielgrzymów, sierot.