Das "Graues Schloß" entstand als Wasserburg und Sitz der "Herren von Mihla" im 13. Jahrhundert. In den Jahren zwischen 1360 und 1367 wurde es als "Kemenate" urkundlich erwähnt.

Im Überschwemmungsgebiet von Lauter und Werra gelegen, war die Burg leicht zu verteidigen. Reste der Wassergräben wurden 1993 freigelegt.

1436 erwarb die einflußreiche Ritterfamilie von Harstall Ort und Burgsitz Mihla. Der Mode entsprechend ließen diese die alte Wasserburg ab 1536 zum wohnlichen Schlosse im Renaissancestil umbauen. Der älteste Schloßflügel (1836/37 abgerissen) wurde fortan das "Weiße Schloß" genannt. Für die heute noch erhaltenen Schloßbauten sind mehrfache Umbauten in den Jahren 1553, 1560 und 1625 nachweisbar. Es entstanden zwei Türme. Der viereckige Turm der Ostseite ist in das Wohngebäude einbezogen. Der im Grundriß als unregelmäßiges Vieleck gestaltete Fachwerkturm wurde dem Schloßbau vorgesetzt. Im Mittelbereich des wegen seiner Dachabdeckung

bald "Blaues Schloß" genannten Herrenhauses befindet sich ein weiterer älterer Treppenbau. Das Dach setzt sich aus mehreren Giebelerkern zusammen, von denen drei an der Nord- und drei an der Südseite liegen und dem Schloß sein charakteristisches Aussehen geben.

Am Ende des vorigen Jahrhunderts setzte sich aufgrund des verwendeten Kalksteins die Bezeichnung "Graues Schloß" durch. Im Schloßgebäude befinden sich Wirtschaftsgebäude, die bis in das 17. Jahrhundert zurückreichen.

1971 wurde das Graue Schloß als Gaststätte eingerichtet. In drei unterschiedlich gestalteten Gasträumen, die Ritterstube im Erdgeschoß, das Jägerzimmer und der Ahnensaal im ersten Stockwerk, werden die Gäste bewirtet und sind Familien- und Vereinsfeste möglich.

2. Platz im Wettbewerb "Nationalparkfreundliches Hotel" im Jahre 1999
1. Platz im Wettbewerb "Nationalparkfreundliches Hotel" im Jahre 2000 (Wettbewerssieger)