Le nom de naissance cantonais de Lee était Lee Jun-fan (李振 藩). Ce nom signifie homophoniquement "revenir à nouveau" et lui a été donné par sa mère, qui pensait qu'il retournerait aux États-Unis une fois qu'il aurait atteint l'âge adulte. En raison de la nature superstitieuse de sa mère, elle l'avait initialement nommé Sai-fon (細鳳), qui est un nom féminin signifiant "petit phénix". Le nom anglais "Bruce" est censé avoir été donné par le médecin de l'hôpital, le Dr Mary Glover.
Lee avait trois autres noms chinois : Lee Yuen-cham (李源鑫), un nom de famille/clan ; Lee Yuen-kam (李元鑒), qu'il utilisait comme nom d'étudiant lorsqu'il fréquentait le La Salle College, et son nom de scène chinois Lee Siu-lung (李小龍 ; Siu-lung signifie "petit dragon"). Le prénom de Lee, Jun-fan, était à l'origine écrit en chinois comme 震 藩 ; cependant, le caractère chinois Jun (震) était identique à une partie du nom de son grand-père, Lee Jun-biu (李震彪). Par conséquent, le caractère chinois pour Jun dans le nom de Lee a été changé en homonyme 振, pour éviter le tabou du nom dans la tradition chinoise.
Le père de Lee, Lee Hoi-chuen, était l'un des principaux acteurs de l'opéra et du cinéma cantonais de l'époque et était en train de partir en tournée d'opéra avec sa famille à la veille de l'invasion japonaise de Hong Kong. Lee Hoi-chuen avait passé de nombreuses années aux États-Unis et avait joué dans de nombreuses communautés chinoises là-bas.
Bien que beaucoup de ses pairs aient décidé de rester aux États-Unis, Lee Hoi-chuen est retourné à Hong Kong après la naissance de Bruce. En quelques mois, Hong Kong a été envahi et les Lee ont vécu pendant trois ans et huit mois sous l'occupation japonaise. Après la fin de la guerre, Lee Hoi-chuen a repris sa carrière d'acteur et est devenu un acteur plus populaire pendant les années de reconstruction de Hong Kong.
La mère de Lee, Grace Ho, était issue de l'une des familles les plus riches et puissantes de Hong Kong, les Ho-tung. Elle était la demi-nièce de Sir Robert Ho-tung, le patriarche eurasiatique du clan. En tant que tel, le jeune Bruce Lee a grandi dans un environnement aisé et privilégié. Malgré l'avantage du statut de sa famille, le quartier où a grandi Lee est devenu surpeuplé, dangereux et en proie à des rivalités de gangs en raison de l'afflux de réfugiés fuyant la Chine communiste pour Hong Kong, à l'époque une colonie britannique.
L'ascendance de Grace Ho reste floue. Linda Lee, dans sa biographie de 1989 intitulée "The Bruce Lee Story", suggère que Grace avait un père allemand et était catholique. Bruce Thomas, dans sa biographie influente de 1994 "Bruce Lee: Fighting Spirit", suggère que Grace avait une mère chinoise et un père allemand. Un parent de Lee, Eric Peter Ho, dans son livre de 2010 "Tracing My Children's Lineage", suggère que Grace est née à Shanghai d'une femme eurasienne nommée Cheung King-sin. Eric Peter Ho a déclaré que Grace Lee était la fille d'une femme shanghaïenne métisse et que son père était Ho Kom Tong. Grace Lee a dit que sa mère était anglaise et que son père était chinois. Fredda Dudley Balling a dit que Grace Lee était aux trois quarts chinoise et à un quart britannique.
Dans la biographie de 2018 intitulée "Bruce Lee: A Life", Matthew Polly identifie le grand-père maternel de Lee comme étant Ho Kom-tong, qui avait souvent été rapporté comme son grand-père adoptif. Le père de Ho Kom-tong, Charles Maurice Bosman, était un homme d'affaires juif hollandais de Rotterdam. Il a déménagé à Hong Kong avec la Dutch East India Company et a été consul néerlandais à Hong Kong à un moment donné. Il avait une concubine chinoise nommée Sze Tai avec qui il a eu six enfants, dont Ho Kom Tong. Bosman a ensuite abandonné sa famille et a immigré en Californie. Ho Kom Tong est devenu un homme d'affaires prospère avec une femme, 13 concubines et une maîtresse britannique qui a donné naissance à Grace Ho.
Son frère cadet, Robert Lee Jun-fai, est musicien et chanteur ; il a joué dans le groupe hongkongais The Thunderbirds. Quelques singles étaient principalement ou entièrement en anglais. Une chanson en duo avec Irene Ryder a également été publiée. Lee Jun-fai a vécu avec Lee à Los Angeles aux États-Unis et y est resté. Après la mort de Lee, Lee Jun-fai a sorti un album et le single du même nom dédié à Lee intitulé "The Ballad of Bruce Lee".
Pendant ses études à l'Université de Washington, il a rencontré sa future femme Linda Emery, une camarade étudiante qui étudiait pour devenir enseignante. Comme les relations entre personnes de races différentes étaient encore interdites dans de nombreux États américains, ils se sont mariés en secret en août 1964. Lee a eu deux enfants avec Linda : Brandon (1965–1993) et Shannon Lee (née en 1969). Après le décès de Lee en 1973, elle a continué à promouvoir l'art martial de Bruce Lee, le Jeet Kune Do. Elle a écrit le livre de 1975 "Bruce Lee: The Man Only I Knew", sur lequel le film de 1993 "Dragon: The Bruce Lee Story" était basé. En 1989, elle a écrit le livre "The Bruce Lee Story". Elle a pris sa retraite en 2001 de la succession familiale.
Lee est décédé lorsque son fils Brandon avait huit ans. De son vivant, Lee a enseigné les arts martiaux à Brandon et l'invitait sur les plateaux de tournage. Cela a donné à Brandon le désir d'agir et il a étudié l'art. En tant que jeune adulte, Brandon Lee a connu un certain succès en tant qu'acteur dans des films d'action tels que "Legacy of Rage" (1986), "Showdown in Little Tokyo" (1991) et "Rapid Fire" (1992). En 1993, à l'âge de 28 ans, Brandon Lee est décédé après avoir été accidentellement abattu par une arme factice sur le tournage de "The Crow".
Lee est décédé lorsque sa fille Shannon avait quatre ans. Dans sa jeunesse, elle a étudié le Jeet Kune Do sous la direction de Richard Bustillo, l'un des élèves de son père ; cependant, ses études sérieuses n'ont commencé que dans les années 1990. Pour se préparer à des rôles dans des films d'action, elle a étudié le Jeet Kune Do avec Ted Wong.