唐元和十四年（八一九年），韩愈因谏迎佛骨，被贬潮州。潮州于宋咸平（宋真宗年号，九九八～一〇〇三）年间即在城南建有韩愈祠，其后屡次迁建，到淳熙（孝宗年号）十五年（一一八八年），太守丁允元在韩山再建一座韩祠，城南旧祠遂废。韩山原名笔架山，因韩愈当潮州刺史时曾登临游览，故后人称它做韩山。韩山的韩祠联云：

　　去京华万里，化蛮烟瘴雨，普泽诗书，从此遂称名郡；
　　距唐代千年，抚古橡苍松，犹钦山斗，况在亲炙芳徽。

　　“普泽诗书”指韩愈在潮州兴办乡校事，“抚古橡苍松”的“橡”亦有本事。韩祠前面旧有一棵橡树，相传为韩愈手植，人们称为“韩木”。“韩祠橡木”是潮州八景之一。

　　在登韩山的磴道上，有座石坊，镌有对联云：

　　佛骨谪来，岭海因而生色；
　　鳄鱼徙去，江湖自此澄清。

　　下比用韩愈《祭鳄鱼文》的故事。关于《祭鳄鱼文》，广州文史学者徐续的见解甚精辟，他认为：“韩愈的原本意图恐怕是写给老百姓看的，让人们看到‘今天子嗣唐位，神圣慈武，四海之外，六合之内，皆抚而有之’看到地方长官的刺史是不可抗拒的天子的命吏。”（引自《潮州风采》一文）