莫干山山体由花岗岩、流纹岩、火山碎屑岩等构成。它的形成，一直可以追溯到亿万年前。在大约距今一亿三千五百万年到八千万年间，地球上发生了一次强烈的构造运动，这次构造运动被称为“燕山运动”。在燕山运动中，我国东南部及沿海一带发生了强烈的地壳变动，地壳断裂，岩浆横溢，火光冲天，烟云滚滚。岩浆多次喷涌堆积，于是形成了浙西的天目山和莫干山等山体。山体形成后，在漫长的地质岁月中又经历了多次和缓的地壳运动，加之风吹、日晒、雨淋、冰冻等侵蚀风化作用，就使莫干山显得挺拔峻峭，秀丽多姿。
莫干山地区的开发已有上千年的历史。早在前汉时代，吴王濞就曾在这一带炼铸钱。莫干山地区多次发现晋朝（公元265－420年）的残砖，说明那时已有人在这里定居。东晋名士郭文，洛阳失陷后，千里迢迢来到莫干山下，在石峤依树搭棚定居。他以山水为家，每次出游，常弥旬忘返。南北朝人沈麟士，学识渊博，道德高尚，人称织帘先生。他辞官后，曾在莫干山办学，据史载，当时从学者达数百人，各筑室止其侧。
历史上不少知名人士在莫干山留下了踪迹。春秋时，越国大夫范蠡的老师计然，曾为越王勾践出谋划策，打败了吴国。据传说当时他就住在这里的计岘山，又名计筹山，山名即由此而来。宋朝诗人毛滂、程九万在做武康县令时，曾经常周游莫干诸峰，寄情于山水，为后人留下了许多诗文。明朝理学家王阳明也曾涉足莫干山。大诗人苏东坡和铜官山无畏庵名僧维琳禅师往来酬唱，咏景抒怀的轶事，更为后人所称道。