Nato nel 1798, era figlio di James, il fratello maggiore di Jane Austen, e di Mary Lloyd, la sua seconda moglie. Intraprese la carriera ecclesiastica, come il padre e il nonno, e prese gli ordini nel 1823. Si sposò il 16 dicembre 1828 con Emma Smith, dalla quale ebbe dieci figli. Raccolse tutto il materiale che riuscì a ottenere dai numerosi discendenti della famiglia Austen per scrivere la biografia della zia, che fu la prima, a parte la breve Nota biografica di Henry Austen, ed è ancora una delle fonti più utilizzate e citate dai biografi austeniani.