De burcht werd in 1224 door de bisschop verwoest. Het kasteel bestaat nu niet meer. In 1840 werd het kasteel afgebroken. Slechts de slotgracht en de waterput zijn gebleven.
In het midden van de 12e eeuw worden Diedric en Wermbolt van Buckhorst genoemd als ridders en getuigen bij een geschil tussen Godfried van Rhenen, bisschop van Utrecht en graaf Floris van Holland. Zij waren trouwe vazallen van de bisschop en dat bleven ook de nazaten van van Diedric en zijn zoon toen zij optrokken tegen de burchtgraaf Rudolf van Coevorden en in de roemruchte slag bij Ane in 1227 met hun bisschop in het moeras sneuvelden.
In 1338 is het Johan van Buckhorst die in de strijd tussen Reynald en Eduard van Gelre partij kiest voor de wettige erfgenaam Reynald. In 1405 was er weer een Johan van Buckhorst die de waardigheden bekleedde van drost van Coevorden en Drenthe. In 1501 overleed een Willem van Buckhorst, die 2 keer getrouwd was geweest en uit elk huwelijk een zoon had.
Johan de oudste kreeg het kasteel en Arnold de jongere beschuldigde hem dat hij zich erfzaken die aan hem en zijn broers en zusters toekwamen had toegeëigend. Op verraderlijke wijze wisten de Zwollenaren Johan in 1521 gevangen te nemen, waarna zij het kasteel in bezit namen. Dit duurde tot 24 augustus 1524, toen hertog Carel van Gelre het kasteel overmeesterde en Johan weer vrijkwam.
Op 11 maart 1580 werd Floris van Buckhorst met de heerlijkheid beleend. Hij was gehuwd met Anna Bentinck. Hij overleed kinderloos in 1587. Zijn weduwe hertrouwde met Goossen van der Lauwick, drost van Bredevoord. Daarna kwam het in andere handen.
In 1779 herkreeg het nog iets van de oude luister toen Berend Hendrik baron Bentinck de naam Buckhorst had aangenomen en op het kasteel van 1813 tot 1830 als gouverneur van Overijssel zetelde. Hij overleed in 1839.
Zijn uitgestrekte bezittingen werden in 59 percelen bij openbare veiling verkocht en brachten de toen niet onaanzienlijke som van 245.455,- gulden op. Het kasteel werd in 1841 gesloopt.