A Gypsy Sun and Rainbows meglehetősen rövid életű volt: a woodstocki fesztiválon kívül még két fellépés, néhány stúdiófelvétel és a The Dick Cavett Showban való szereplés után Hendrix szélnek eresztette a zenekart, csak Billy Cox maradt vele. 1969 decemberében a torontói bíróság a heroin birtoklása miatt indított perben ártatlannak nyilvánította; ezután bevette Cox mellé Buddy Miles dobost, és egy új triót alapított Band of Gypsys néven. Két napig próbáltak a Baggy's Studiosban, ezalatt meglepően sok új dalt vettek fel, köztük az eleven "Earth Blues"-t, melynek vokálját a The Ronettes énekelte. 1969-1970 szilveszterén négy koncertet adtak Bill Graham Fillmore East-jében, New Yorkban. A koncerteknek több különleges darabja volt, ezek közül a "Machine Gun" 12 perces változata az egyik legemlékezetesebb. A Band of Gypsys az egyetlen koncertalbum, melynek kiadását Hendrix jóváhagyta; kiadásával végre megszűnt az Ed Chalpinnel folytatott jogi huzavona.

Második és egyben utolsó koncertjüket egy hónappal később, 1970. január 28-án tartották a Madison Square Gardenben. Woodstockhoz hasonlóan itt is több fellépő volt, így a Band of Gypsys csak hajnali háromkor tudta elkezdeni a műsort. Hendrix ekkor valamilyen kábítószer hatása alatt állt, és nem volt olyan állapotban, hogy megfelelő műsort tudjon adni. A "Who Knows" meglehetősen komor változatát játszották, utána pedig egy nőt küldött melegebb éghajlatra, aki mindenképp a "Foxy Lady"-t akarta hallani. Belekezdett a második dalba, amit aztán a felénél hirtelen abbahagyott, és azt mondta a közönségnek: „Ez van, ha a Föld az űrt dugja - ezt sose feledd”. Egy ideig némán ült a színpadon, majd a személyzet lekísérte. Több feltevés is létezik, hogy mi történt voltaképp: Buddy Miles szerint Michael Jeffery LSD-t adott Hendrixnek, hogy ezzel szabotálja a zenekart, és okot találjon az Experience újjáalakítására. Johnny Winter azt mondta, hogy Hendrix akkori barátnője, Devon Wilson kevert valamit az italába.