据《金华府志》记载，他曾在放羊时随道士到金华山洞中修炼道法，其兄黄初起四处寻找，不知下落，40年后才在山洞外相见。从前的羊群早已化成了满山的白石，但黄初平一声呵叱，石头立即变成羊群。黄初起惊异万分，仰其弟之功法，亦立志修道。从此，黄初起留在洞中跟随弟弟一起修炼，不食人间烟火，每天以松籽茯苓充腹，最终得道成仙。因此，有说黄大仙为黄氏二兄弟。

也有说黄大仙乃葛洪弟子黄也人。因为民除害兴利，泽被一方，所以民众为其在金华山修建起黄大仙祠，又名赤松观，世代祀奉，由此各地信奉黄大仙者均以金华为“仙乡”，以赤松观为“祖庙”。