Nasceu em Oshogbo, Estado de Osun, ao sudoeste da Nigéria. Ainda jovem, Ogundele foi músico e ator na companhia de teatro de seu tio Duro Ladipo. Em 1963 participa no workshop de Denis Williams.
Desde o início, Rufus Ogundele trabalhou em grandes formatos de tela. Utilizando tinta de emulsão, começava por delinear uma ou duas grandes figuras em preto. Em seguida preenchia o fundo de branco e o restante em azul, verde e vermelho. Ogundele aprendeu as técnicas de gravura com Georgina Beier que o convidou junto com Jacob Afolabi para trabalhar consigo. Aí desenvolveu a técnica de linogravura.
Ogundele combinava as Afolai europeias desenvolvidas com Williams e Beier com os ensinamentos da cultura tradicional Ioruba. Seus temas mostram suas crenças enraizadas na vida e cultura Ioruba. Embora tenha crescido cristão na Missão Anglicana, era fiel ao deus Ioruba do ferro, Ogum. O seu nome Ogundele, significa adorador-de Ogum. A presença dominante da cor no trabalho de Ogundele parece sublinhar o poder de Ogum como fator preponderante na vida do artista. As fortes linhas negras que Beier introduziu são vestígios de elementos expressionistas dos alemães Nolde e Kirchner.
Em 1968 Rufus mudou-se para Ifé, Nigéria, onde auxiliou Solomon Wangboje no Ori Olokun Centre tornando-se o co-fundador dos estúdios Ogun Timehin.
Em 1983 realizou um workshop no Iwalewa-Haus em Bayreuth, Alemanha. Orientando ainda, outros artistas no seu atelier.