Był jednym z największych czarnych właścicieli niewolników w całej Karolinie Południowej. Wcześniej znany pod imieniem April, dd dzieciństwa uczył się kowalstwa, czytania, księgowości. Pracował jako wynajęty niewolnik, a jednak potrafił zarobić dodatkowe pieniądze, które nie trafiały do kieszeni jego pana.

Dzięki tym umiejętnościom już w wieku 26 lat mógł wykupić siebie, a potem żonę i dzieci. Pięciu wolnych mężczyzn musiało potwierdzić w sądzie, że Ellison utrzyma się sam na wolności. Przyjął nazwisko swojego właściciela i nazywał się od tej pory William Ellison, Jr.
Według spisu ludności z 1860 r. (W którym jego nazwisko było wymieniane jako “Ellerson”), posiadał on 63 czarnych niewolników, czyniąc go największym spośród 171 czarnych posiadaczy niewolników w Południowej Karolinie,

Jego nowy status podkreślała ławka w kościele w miejscu dla białych. Wielu czarnych, którzy wykupili sobie wolność, wykupywała swoje rodziny, przyjaciół, żeby ulżyć ich losowi, ale nie Ellison.

Wkrótce kolejnym źródłem jego dochodów stał się handel ludźmi. Jego brutalność budziła grozę u białych sąsiadów, a jego niewolnicy byli najgorzej ubrani i odżywieni. W czasie wojny domowej gorliwie wspierał Konfederację, przekazując ogromne sumy na uzbrojenia.