Mens de fleste af Williams jævnaldrende kæmpede med stavning og hovedregning, blev han som 11-årig optaget på Harvard, hvor han studerede matematik, fysik og filosofi.
Sideløbende lærte William ca. 25 sprog og udviklede sit eget sprog, der skulle bruges som et universalt sprog for mennesker fra forskellige kulturer.
Hele verden lå derfor for Williams fødder, da han som 16-årig gik ud af Harvard med rygsækken fuld af akademiske meritter. Hans første job var som matematikunderviser på det videnskabelige Rice Institute i Texas, men det førte til utallige gnidninger, at han var yngre end mange af de studerende.
William var efterhånden dødtræt af opmærksomheden og drømte om et liv i fred:
"Den eneste måde at leve det perfekte liv er at leve i afsondrethed," fortalte han under et interview i 1914.
Døde ensom og fattig
I de efterfølgende årtier tog han en række beskedne jobs som bl.a. bogholder, mens han isolerede sig mere og mere. Som blot 46-årig blev han ramt af en hjerneblødning og døde fattig.
William James Sidis fik aldrig testet sin IQ, men eksperter vurderer, at han lå på 250-300 – og dermed var en værdig kandidat til titlen som historiens klogeste person. Til sammenligning ligger en gennemsnitlig intelligens på 100, mens Albert Einstein havde 160.