Dice Isidro Gil que este bello palacio señorial con formas exteriores de una fortaleza es un pequeño alcázar. Posee planta rectangular con torres circulares en sus esquinas perfectamente conservadas y que mantienen matacanes circulares que coronan sus cubos y unos garitones o escaragüaitas voladas.

Se distinguen también en sus muros, labrados en la piedra, blasones con el motivo decorativo de la flor de lis de los Cartagena, familia de neoconversos fundadora del castillo. Poseyó un recinto exterior que no se ha conservado y del que sólo observamos algunos restos al pie de las torres meridionales.

Todo el conjunto se halla dividido en dos mitades por un muro que separa el patio de armas (con entrada desde una barbacana y acceso a una de las torres destinada a caballeriza) y otra zona, más señorial, donde puede apreciarse cómo disponía de semisótano y primera y segunda planta. Al oeste, un husillo comunicaba las diversas plantas. Iluminaban su interior diversas ventanas, algunas geminadas, otras con asientos labrados en los lados. Al norte, una pequeña puerta junto a la torre, defendida al exterior por una ladronera, daba salida a la barbacana.

Pedro de Cartagena, hijo de Pablo de Santa María (Selomo ha-Leví) es el fundador del castillo y a este linaje, le siguen por parentesco los vizcondes de Valoria (siglos XVI-XVII y los duques de Gor (siglos XVIII y XX).

El 22 de julio de 1812 el guerrillero Santos Padilla, quejoso del apoyo que algunos pudientes de Olmillos pudieran haber facilitado a las tropas francesas, lo prendió fuego.

A principios del siglo XX los duques de Gor vendieron el castillo a los Condes de Arteche y éstos, a su vez, a los hijos de don César San José, quienes con su intervención detuvieron la ruina progresiva que iba minado tan bello castillo, aunque ha habido que esperar al 2003 para que fuera adquirido por la empresa Turconsa, que lo ha restaurado plenamente y habilitado para uso hotelero, convirtiéndolo en un bello hotel de cuatro estrellas.

En la construcción de la iglesia parroquial de Olmillos, iniciada hacia 1522, se sigue un modelo singular muy extendido en la zona oeste burgalesa en el siglo XVI, cual es el modelo de templo de salón, con naves a la misma altura cubiertas con bóveda de crucería ricamente nervada. Las tres naves de cuatro tramos cada una, divididas por seis pilares cilíndricos, se abren a una capilla mayor de fondo poligonal (presbiterio) y a otras laterales en forma de cruz. Los nervios de las bóvedas se introducen directamente en el pilar dándole un aspecto de palmera y la planta del templo es próxima al cuadrado.

Aquí trabaja parte de esa estupenda floración de canteros montañeses que tantos frutos dejó a lo largo de toda la provincia de Burgos, como Pedro y Juan de la Nestosa, Juan de la Maza, Juan de la Riba, Juan de Landeras y los García de Arce, padre e hijo.

Retablo Mayor: El retablo mayor corrió a cargo de Diego de Arroyo y Juan de Valtierra y la escultura la hicieron Juan de Pobes y Juan de los Helgueros. Se comenzó en 1654 y concluyó el 1683. Consta de cuatro cuerpos, cinco calles y dieciocho motivos ornamentales, sin incluir la talla de la Virgen sedente con el Niño en brazos, de autor desconocido, del siglo XV, de la anterior iglesia.

De los dieciocho motivos ornamentales citados, diez, los situados en las tres calles centrales son historias en relieve de aspectos relacionados con la Virgen (Presentación, Anunciación, Asunción, Coronación) y con el Niño (Jesús entre los Doctores, Santos Inocentes, Huida a Egipto, Circuncisión, Reyes Magos y Nacimiento), y las ocho restantes tallas de apóstoles, evangelistas y santos padres de la Iglesia. El maestro Alonso de Ruyales lo doró en 1708.

A los pies del presbiterio, sobre basamento moderno, una Virgen sedente del siglo XVI procedente de la ermita de Santa Coloma. Otros retablos posteriores barrocos, de los siglos XVII y XVIII están situados en las naves laterales, destacando en uno de ellos un crucificado del siglo XIV, también de la anterior iglesia.