牯牛降，古代也称“黄山”或“西黄山”，后吴应箕改称为“横山”。《江南通志》记载：“黄山上有三十六垣，与歙之黄山三十六峰相峙，其最高者古牛岗可望匡庐”。 “古牛岗”即今牯牛降。可见古代牯牛降便与黄山齐名，其主峰海拔1727.6米，与著名的黄山莲花峰（1873米）、清凉峰（1787米）同为皖南三座高 峰。1980年全国政协委员、著名生态学家侯学煜先生在皖考察牯牛降，认为这里的天然森林植被保存完好，全国少见，建议将牯牛降建设为自然保护区。 1982年，安徽省林业厅林经
字（82）第054号“关于要求建立自然保护区的报告”报送安徽省人民政府，安徽省人民政府皖政[1982]93号文件批准建立牯牛降自然保护区。牯牛降保护区属徽州行署林业局领导，在祁门、石台两县分别设立保护站，为国家事业单位。
       1988年，国务院国发字[1988]30号文件批准建立牯牛降国家级自然保护区，使牯牛降成为安徽省第一个以森林生态系统为主的综合型的国家级自然保护区。同时要求有关保护区的机构、人员编制和经费由地方政府解决。