A Szent Vid-hegy az őskor óta lakott, miként az itt feltárt erődített telep maradványai is igazolják. Fejlett fémfeldolgozó és fémműves technikára utaló, i. e. XIII-IX. századból való bronz és arany tárgyak tömege került elő báró Miske Kálmán 1896-1930 között végzett feltárásai során.

A feltárások gazdagították a kelták betelepedéséről (i. e. IV-III. sz.) szerzett addigi ismereteket, és számos római kori érme, ékszer és agyagedény is előkerült, sőt egy avar kori temető nyomait is felfedezték.

Tudható, hogy a Szent Vid az Árpád-korban is erődített hely volt, bár a vár első írásos említése csak a XIII. századból való Castrum Viti néven. A faluval együtt a Németújváriak birtokolták.

A későbbiek során elfoglalta Frigyes császár, akitől Mátyás király vette vissza. Jurisich Miklós 1532-ben még a Szent Vid kapitánya címet viselte, de a vár ekkor már valószínűleg romokban volt. A hajdani sarokbástyára építtette Hilarian szerzetes az első remetelakot, ami a jelenlegi kápolna elődje volt.

A velemi Stirling-villában működött a második világháború végén a Szálasi-kormány, s itt tartották 1944 decemberében az utolsó nyilas országgyűlést. E helyütt őrizték 1944. december 29. és 1945. március 19. között a Szent Koronát.

A Stirling-villa ma továbbképzések, konferenciák helyszíne, a mellette lévő alkotóházban pedig számos – már-már elfeledett – népi mesterség fortélyait lehet elsajátítani avatott mesteremberektől. A hagyományőrzés szerves része a falunak, ahol a jórészt kőből emelet épületek között megmaradtak a jellegzetes egysejtű, faszerkezetes pajták, és a Pákó patak mellett húzodó pincesor népi stílusú présházai is