Były dwie pierwotne grupy yakuzy. Pierwsi, Tekiya, byli zwykłymi handlarzami ulicznymi i jednymi z najniższych członków japońskiego społeczeństwa. W XVII wieku połączyli swoje siły i stopniowo przenieśli się do zorganizowanej przestępczości. Drugą grupą byli Bakuto, hazardziści, których unikali prawie wszyscy członkowie japońskiego społeczeństwa, zajmowali się też lichwą. Od Bakuto pochodzi nazwa Yakuza, ponieważ karty były jednym z ich głównych źródeł zarobku.
