临武于西汉置县后，东汉唐羌，唐代韩愈、张署、刘禹锡，明代徐霞客，清代纪晓岚等文人骚客，都曾在临廿咏诗赋词。宋代县人陈良弼、陈允昌，明代刘尧诲、曾朝节，清代陈章伯、罗从虎等著书立说，留下了不少著作。民间文化活动古朴有趣，凡赛会节日，喜庆佳时，戏曲、龙灯、夜故事、花灯、抬故事、走马灯，林林总总，形式多样。

民间 19 年（ 1930 ），建民众图书馆。民国 27 年，设民众教育馆，文化艺术始由政府管理。民国 36 年，民众教育馆迁今文化馆。馆内有图书室、游艺室、游艺场、民间问字处。 1949 年 12 月，由县人民政府接管，并改名文化馆，担负文化政策法令宣传、科普知识宣传及组织文艺会演、业余创作、图书阅览、中苏友协联谊事务。后逐渐专职于文化宣传、文学艺术创作、文物普查。 1952 年，建人民书店。 1956 年，成立电影队。 1957 年，建县人民广播站。 1983 年，建图书馆。是年，文化馆增录相放映厅和游艺室、滑冰场等营业性娱乐设施。

1953 年，在下洞刘家村建立了县内第一个农村文化站，由县里派出专干驻站。站内有图书室、阅览室，文娱生活极为活跃。到 1964 年，各公社陆续办起社办文化站，每站配不脱产辅导员 1 人。 1973 年，开始设专干。 1987 年，全县有文化站（室） 28 个，其中乡镇站 19 个，各配有专职干部 1 人；村文化室 8 个，共产主义青年团支部干部专管。另有图书馆 1 个，电影院 22 个，个体电影队 79 个，广播站 21 个、广播嗽叭 19720 只。