Santana nacque  da una famiglia di musicisti (il padre José era un violinista mariachi). Anche lui si appassionò presto alla musica, iniziando a suonare il violino all’età di cinque anni. Parecchi anni dopo la sua famiglia si trasferì a Tijuana, e lì Santana cominciò a suonare la chitarra, lo strumento che presto lo avrebbe reso celebre. Si ispirò ad altri famosi chitarristi come John Lee Hooker, T. Bone Walker e B.B. King, che ascoltava dalle stazioni radio statunitensi al confine. Nel 1961, Santana emigrò a San Francisco, negli Stati Uniti. Dopo che i suoi familiari lo avevano convinto a restare in California, si diplomò alla Mission High School nel 1965. Carlos iniziò ad aiutare la famiglia lavorando come lavapiatti, e crebbe appassionandosi alla musica della Bay Area, spesso andando di nascosto al Bill Graham's Fillmore Auditorium ad ascoltare alcuni dei suoi musicisti preferiti: tra questi vi erano Muddy Waters, The Paul Butterfield Blues Band, The Grateful Dead e molti artisti rock, blues e jazz che lì si esibivano.

Alla fine del 1966, il chitarrista Tom Frazier intese mettere in piedi un gruppo rock. Così a lui si aggregarono Santana (voce e chitarra), Mike Carabello (percussioni), Rod Harper (batteria), Gus Rodriguez (basso) e il nativo di Seattle Gregg Rolie (voce ed organo), per formare la Santana Blues Band. Carlos ha sostenuto che solo lui e Rolie erano interessati seriamente alla musica, mentre gli altri erano intenti solo allo spettacolo e alle esibizioni dal vivo. Lo stesso Santana non era visto dagli altri come vero leader del gruppo, che pure portava il suo nome. I sei operarono tutti come in un collettivo, cosa che avrebbero fatto per tutti i primi anni settanta. Stan 'Moon' Marcum, d’accordo con il gruppo sull'idea del loro nome, divenne il loro manager. In quel periodo Jorge Santana, fratello di Carlos ed anche lui chitarrista, iniziò una carriera parallela con i Malibu's e poi passò ai Malo, di discretà popolarità.

Dopo un pò il nome del gruppo si ridusse semplicemente a "Santana". Allora nella sua lineup c'erano Carlos, Rolie, il bassista David Brown, il batterista Bob 'Doc' Livingston e il percussionista Marcus Malone. La band iniziò ad aver successo nei primissimi anni '70 e fu in auge per circa otto anni, fino a quando Carlos non incominciò la sua carriera da solista. Memorabili furono gli album "Santana", "Abraxas", "Caravanserai", "Welcome", "Borboletta", "Amigos"