Funde aus dem Neolithikum in der Kessihöhle und in der Tgilväderlishöhle lassen auf eine Besiedlung um 2000 v.Chr. schliessen. Einzelfunde aus der Bronzezeit (Schwert, Dolch mit gegossener Grifftülle). Hallstattzeitliches Tongefäss (7. Jahrhundert. v.Chr.). Der Ort wurde 831 erstmals erwähnt, die Kirche im Jahre 1305. Der Name stammt vom Hügel hinter dem Gemeindehaus (Berg im Felde, Veltsperg, hat nichts mit Fels zu tun). Wiederholte Bergstürze zwischen 1832 und 1850 erzwangen die Verlegung eines Grossteils des Dorfes nach Osten aus der Gefahrenzone heraus (Neu-Felsberg./Neudorf).

1850 hatte Felsberg 482 Einwohner und erhielt eine Postablage.