Rooney werd geboren als Joseph Yule Jr. Zijn vader (Joe Yule Sr.) was Schots en zijn moeder (Nell Carter) was geboren in het zuiden van de Verenigde Staten. Later zou hij echter regelmatig bestempeld worden als Ierse Amerikaan, door zijn aangenomen artiestennaam. Hij werd geboren in een vaudeville-familie, en daardoor begon Rooney al in 1922 op tweejarige leeftijd te "performen" (zingen, moppen vertellen, dansen). Toen Rooney drie jaar was, scheidden zijn ouders, en verhuisde hij met zijn moeder naar Missouri. In 1924 besloot Rooneys moeder dat hij perfect zou zijn voor een rol in de serie Our Gang (beter bekend als The Little Rascals). Toen ze echter in Californië aankwamen waar de opnames van deze serie gemaakt werden, bleken de verdiensten voor de spelers echter zodanig laag, dat ze besloten om zonder een cent weer terug te keren naar Missouri. Twee jaar later, in 1926, begon Rooneys filmcarrière uiteindelijk écht, toen hij een dwerg speelde in de film Not to Be Trusted.