GoGo Penguin za osm let existence vydali šest alb. Příznivé recenze získalo již jejich debutové album Fanfares (2012) a jejich druhé album v2.0 (2014) bylo zařazeno do užšího výběru cen Mercury Prize v kategorii album roku (společně po boku s nahrávkami Damona Albarna, Young Fathers nebo Jungle). GoGo Penguin přijedou představit svoje nejnovější album, které vychází v červnu 2020.

Za silné inspirační zdroje hudby GoGo Penguin bývají považováni Aphex Twin, Squarepusher, Massive Attack, Esbjörn Svensson Trio nebo Briana Eno. Z moderní klasické hudby jsou inspirování tvorbou skladatelů Dmitrije Šostakoviče a Clauda Debussyho, ale i soudobým skladatelem minimalistické hudby Philipem Glassem.