Tien jaar Will Oldham in een notendop: van 1993 tot 1997 maakt Oldham onder de pseudoniemen Palace, Palace Music en Palace Songs een handvol langspelers en een hoop ep's en singles. Het is muziek op folk en country geheid, maar gespeeld door iemand die jong was in de jaren '80 en '90, gepokt en gemazeld is in punk, indie-rock, en lo-fi, iemand die in folk en country de directe emoties en rauwe energie van de alternatieve muziek van zijn tijd herkent. Kortrom, Oldham zat zowat in de alt-country, een label dat men begin jaren negentig plakte op de toonaangevende versmelting van Amerikaanse traditie en punk door de groep Uncle Tupelo. In 1997 kapt hij met de Palace-afleidingen en brengt hij platen uit onder zijn eigen naam, en onder de noemer Bonnie 'Prince' Billy.