Pochádzal z mestečka Betsaidy pri Genezaretskom jazere podobne ako apoštoli Peter a Andrej.
Prvé tri evanjeliá nepodávajú o Filipovi nijaké podrobnosti. Uvádzajú ho iba v zozname dvanástich apoštolov, kde je vždy na piatom mieste.
Jánovo evanjelium spomína apoštola Filipa niekoľko ráz. Podľa tohto evanjelia (Jn l,43n) Ježiš povolal Filipa medzi prvými apoštolmi. Filip zasa k nemu priviedol Natanaela-Bartolomeja. Ježiš sa obrátil na Filipa pri zázračnom rozmnožení chlebov (Jn 6,5n). Grécki pútnici v Jeruzaleme, ktorí sa chceli stretnúť s Ježišom, požiadali o sprostredkovanie Filipa (Jn 12,21n). Pri rozlúčkovej reči po poslednej večeri Filip prerušil Ježiša so žiadosťou: "Pane, ukáž nám otca a postačí nám!" V odpovedi mu Kristus jemne vyčítal nechápavosť a neveru. (Jn 14,7 n)
O účinkovaní apoštola Filipa máme v starej cirkevnej spisbe málo správ a ani tie nie sú jednoznačné. Niektorí starovekí spisovatelia neodlišovali dobre tohto apoštola od diakona Filipa, ktorý tiež hlásal evanjelium. Tomuto omylu treba pravdepodobne pričítať aj zmienky o dcérach apoštola Filipa, ktoré boli údajne panny a prorokyne. V Skutkoch apoštolov (Sk 21,8n) sa zreteľne hovorí, že takéto dcéry mal diakon Filip. Pravda, to nevylučuje možnosť, že by podobné dcéry mohol mať aj apoštol. Ale viacerí historici sa nazdávajú, že tu ide o miešanie údajov a zámenu osôb.
Miestom pôsobenia apoštola Filipa bola Malá Ázia. Viaceré staré historické pramene súhlasne uvádzajú, že v posledných rokoch života hlásal evanjelium vo Frýgii (dnešné stredozápadné Turecko), kde aj zomrel mučeníckou smrťou v Hierapole. Najčastejšie sa spomína, že bol ukrižovaný, pričom ho na kríži ešte kameňovali.
Prímenie "Mladší" odlišuje tohto apoštola od Jakuba Staršieho, ktorý tiež patril medzi Dvanástich a bol bratom apoštola a evanjelistu Jána.
Sväté písmo Nového zákona hovorí o apoštolovi Jakubovi Mladšom, že bol "Pánov brať', to znamená Ježišov bližší príbuzný, azda bratanec (Mt 13,55; MK 6,3; Gal 1,19). Podobne sa o ňom hovorí ako o bratovi apoštola Júdu Tadeáša (Jud 1; Lk 6,16; Sk 1,13). Patril medzi "stĺpy Cirkvi" spolu s apoštolmi Petrom a Jánom (Gal 2,9; Sk 15,13n; 21,18). Na niektorých miestach sa nazýva Alfejovým synom (Mt 10,3; Mk 3,18; Lk 6,15; Sk 1,13). Medzi ženami, ktoré boli na Kalvárii pod krížom, sa spomína Mária, matka Jakuba Mladšieho (Mk 15,40; por. Mt 27,56; Lk 24,10), ktorá sa tiež nazýva Mária Kleofášova, "sestra" Ježišovej matky (Jn 19,25). Kleofáš a Alfej sú veľmi pravdepodobne iba dve rozličné mená toho istého muža (ako sa to na Východe častejšie stávalo), ktorý bol manželom Márie, Jakubovej matky.
Niektorí východní cirkevní spisovatelia na konci druhého a začiatkom tretieho tisícročia odlišovali apoštola Jakuba Mladšieho, syna Alfejovho, od Jakuba, ktorý bol Pánov "brat" a jeruzalemský biskup. Tento náhľad sa odzrkadlil aj v dvojitom sviatku tohto svätého Jakuba vo východnej Cirkvi: 9. októbra je sviatok sv. Jakuba apoštola, syna Alfejovho, a 25. (23.) októbra je sviatok sv. Jakuba, Pánovho "brata", jeruzalemského biskupa. Toto mylné rozlišovanie vzniklo pravdepodobne vplyvom pseudoklementských spisov. Viacerí východní otcovia (Irenej, Klement Alexandrijský, Atanáz, Cyril Jeruzalemský a i.) a prakticky všetci západní cirkevní spisovatelia (výnimku tvoria niektoré spisy sv. Hieronyma) vidia v apoštolovi Jakubovi, Alfejovom synovi, neskoršieho jeruzalemského biskupa, ktorý patril s apoštolmi Petrom a Jánom medzi "stĺpy" Cirkvi.
Významné miesto Jakuba Mladšieho v prvotnej Cirkvi vidieť z niektorých údajov Skutkov apoštolov. Peter po vyslobodení z väzenia žiada, aby to oznámili Jakubovi a bratom (Sk 12,17). Na apoštolskom sneme v Jeruzaleme (v roku 49-50) Jakub zasahuje do debaty a navrhuje niektoré normy pre spolunažívanie kresťanov zo židovstva a z pohanstva (Sk 15,13-21). Apoštol Pavol po príchode z tretej misijnej cesty podáva správu Jakubovi a starejším, ktorí sa u neho zhromaždili (Sk 21,17-26).
Jakub Mladší napísal jeden zo siedmich apoštolských listov, ktoré sú v zozname novozákonných spisov známe ako "katolícke" čiže všeobecné. Jakubov list obsahuje dôležité mravné poučenia a povzbudenia. Teologicky významné sú časti, kde sa hovorí o vzťahu medzi vierou a skutkami (Jak 2,14-26) a o pomazaní chorých (Jak 5,14-16).
Starokresťanský historik Euzébius (zomr. r. 339) uvádza niektoré podrobnosti zo života Jakuba Mladšieho. Vyzdvihuje predovšetkým jeho nestrannú spravodlivosť, úctu k starozákonnej tradícii a hlbokú nábožnosť. Pre tieto vlastnosti si ho Židia veľmi vážili a mnohí z nich prijali kresťanstvo (porov. Sk 21,20).
Vedúci predstavitelia židovstva naliehali na vplyvného apoštola, aby prestal ohlasovať Ježiša Krista. Keď nevyhovel ich žiadosti, chceli ho umlčať násilím. Podarilo sa im to roku 62, keď po smrti prokurátora Festa bola Palestína istý čas bez rímskeho vladára. Vtedy veľkňaz Hanan II. dal zhodiť Jakuba z chrámovej hradby. Jakub sa pádom nezabil, ale ešte sa dvihol na kolená a modlil sa za svojich nepriateľov. Tí sa ho usilovali dobiť kameňmi. Smrteľný úder mu dal istý chlap dreveným kyjakom.
Apoštola pochovali na mieste mučeníctva. Mnohých Židov zarmútila jeho násilná smrť. Niektorí dokonca videli v rímskom obkľúčení a dobytí Jeruzalema roku 70 trest za nespravodlivé zavraždenie apoštola Jakuba.
Hrob sv. Jakuba Mladšieho bol označený náhrobným kameňom, ktorý sa zachoval až do čias cisára Hadriána (vládol v roku 117-138). Potom sa istý čas nevedelo, kde je apoštol pochovaný. Až v polovici 4. storočia sa objavuje správa o znovunájdení jeho pozostatkov a ich uložení v kostole, ktorý bol postavený pri jeho hrobe. Za cisára Justína II. (565-578) bol v Jeruzaleme postavený chrám zasvätený sv. Jakubovi Mladšiemu. V ňom boli uložené i apoštolove ostatky. Časť relikvií prišla v tom istom storočí do Ríma, kde bola spolu s ostatkami apoštola Filipa uložená v kostole "Svätých dvanástich apoštolov".