Die Hörner stammen aus dem Wappen der Herren von Trimmis, der Berg spielt auf die Volksetymologie an, die den Ortsnamen auf Trimons (Dreiberg) zurückführt.

Erstmals urkundlich genannt wurde Tremune im Jahr 765 im Testament des Bischofs Tello, als bereits eine Kirche bestand. Auch das seltene Patrozinium St. Carpophorus ist bereits aus jener Zeit bezeugt. Im Spätmittelalter gehörte das Dorf zur bischöflichen Herrschaft Alt-Aspermont, benannt nach der Burg (heute Ruine) am Ausgang des Hagtobels, dann seit 1519 zum Hochgericht Vier Dörfer des Gotteshausbundes. Hoch oberhalb des Dorfes liegt die Ruine der Burg Ober-Ruchenberg.

1850 hatte Trimmis 888 Einwohner und bekam eine Postablage.