Onder leiding van producer Oscar Holleman (o.a. Krezip, Heideroosjes) verschijnt in april 2002 het debuutalbum All In Hand. Op het album zijn gastbijdragen te horen van o.a. zangeres Ilse DeLange en René van Barneveld (ex-Urban Dance Squad). All In Hand krijgt veel goede kritieken en komt al snel in de Album Top 100 binnen. De eerste single, 'Fall From Grace', verschijnt al in augustus 2001 en wordt een bescheiden hit. De tweede single 'Shine' (waarop ook Ilse DeLange te horen is) wordt veelvuldig gedraaid op de landelijke radio en TV, staat 2 weken op 1 in de Cyber top 50 en bereikt #34 in de Mega Top 100. Half juni verschijnt de derde single 'Up all Night'.

Versterkt met gitarist Maarten van Damme (ex-Abel) bouwt Rosemary´s Sons in 2002 verder aan haar live reputatie. De band is te zien op grote zomerfestivals als Paaspop, Bospop, Dauwpop en Lowlands. Bovendien verzorgen The Sons het voorprogramma van o.a. The Cranberries (Heineken Music Hall), Bush en Krezip en doen ze veel ervaring op in het clubcircuit. Het harde werken wordt beloond met een Essent Award en een Edison nominatie voor Beste Nieuwe Band van 2002. 

In 2003 is Rosemary's Sons te zien in 16 theaters als support act van Ilse DeLange. Hier laat de band haar kracht zien op het semi-akoestische vlak waarbij de stem van Martijn Hagens en de composities in theaters als De Nieuwe Luxor en Carré indruk maken. De band is ondertussen gestart met het schrijven van het tweede album als in maart 2004 bekend wordt dat Warner alle activiteiten met lokale artiesten moet staken (dit betreft ook artiesten als Ilse de Lange, Krezip en Novastar). Dat leidt tot vertraging in het opnameproces. In de zomer van 2004 start de band echter de opnames met Oscar Holleman waarna ze de aandacht trekken van V2 music. Deze maatschappij brengt in april 2005 het 2e album van Rosemary's Sons uit. Op het resultaat 'St. Eleanor's Park' klinkt Rosemary's Sons hecht en trefzeker. Rootsy roadsongs worden afgewisseld met puntige rockers met hier en daar een knipoog naar jazz en glamrock. Lovende recensies, radioprogramma’s en optredens volgen snel maar een hitsingle blijft dit keer uit. Wel worden voorprogramma’s verzorgd voor Bryan Adams (Ahoy) en Bon Jovi (HMH) en wordt Lowlands weer bespeeld.

Het is de reden dat de band in 2007 besluit te werken aan een nieuw album dat in de loop van 2008 in eigen beheer wordt opgenomen met producer Patrick van Hofwegen. Werner Pensaert, bekend van zijn werk voor K’s Choice, Soulsister, Stevie Ann, Ellen ten Damme en Clouseau brengt in de Galaxy Studio’s een directe en warme mix tot stand. Op het album zijn bijdragen te horen van o.a. Stevie Ann en JW Roy. Dit, en de titel van het album ‘Home sweet home’ suggereert dat Rosemary’s Sons terugkeert naar hun muzikale wortels: Amerikaanse rootsrock. Het 3^e album van Rosemary’s Sons barst dan ook van de aanstekelijke Amerikaanse pop en rootsrock en vaart daarmee binnen in hun eigen vertrouwde thuishaven.