富林廖氏家族是中华民族传统书香世家，是岭南望族。耀德公乃云浮富林廖氏世綵堂七世祖，生于清康熙五十五年七月十五日，卒于乾隆五十三年五月初十日。其父殿弼谥号惠直公为清朝国学生，历任两广部堂将厅将官。德公二十三岁中秀才，二十八岁中进士，德公以弘扬民族文化育贤培才为己任，孜孜以求，献力终身，深受时人敬仰。

德公妻配李氏，谦恭勤谨，家训有方，堪称贤妻良母，连生五子，有二十五孙，均才学兼优，五子登科为朝廷国学生进士。因而家声远扬，门第生辉，皇恩浩荡，御封为"五桂堂