1467年（明朝成化三年），倫文敘出生在南海縣黎涌村（今廣東省佛山市禪城區瀾石黎涌村），生有異相，頭顱周長2尺，被人戲稱為“大頭仔”。倫文敘幼時家貧，父親倫顯務過農，做過傭工，後以撐渡船為生，一家大小僅堪溫飽。由於收入甚微，倫顯無力送子入私塾讀書。倫文敘兩三歲時，父親便在勞動之餘，用心地教他寫字、讀書，背唐詩、宋詞，年把時間，他就能流利地背出數十首詞，並練得一手好字，還養成了勤學好問的習慣。七歲時，因常到村內一間私塾門外偷聽，塾師因此備受感動，免費收他為學生。因聰慧好學，倫文敘八九歲已能詩文，長於對聯，每試必列前茅，有“神童”、“急才”、“鬼才”之稱。
倫文敘進京趕考，和湖廣名士柳先開並列榜首。主考官請皇帝面試，題名狀元。當時恰逢中秋之夜，皇帝就讓他倆以《明月》為題作詩。柳先開先寫完：“讀盡天下九州賦，吟通海內五湖詩。月中丹桂連根拔，不許旁人折半枝。”表示這次殿試自己一定要獨占鰲頭奪取狀元。倫文敘隨後寫道：“潛心奮誌上天台，瞥見嫦娥把桂栽。偶見廣寒宮未閉，故將明月抱回來。”他的詩比柳詩氣魄更大，而且想像豐富，意境優美，皇帝連連稱好，並點他做了狀元。
其人故事多次拍成電視，在民間流傳甚廣。