2. Vier geslachten 15e eeuw

In 1390 sterft het oorspronkelijke geslacht van de heren van Stein uit. De laatste Arnold overlijdt kinderloos en zijn titel gaat over naar Daniël van der Merwede, die met Arnolds zuster Margaretha is getrouwd. Daniëls broer Arnold raakte in conflict met zijn broer vanwege niet uitgekeerde jaarrenten. Hij heeft zijn broer zelfs anderhalf jaar laten opsluiten en is zich eveneens Heer van Stein gaan noemen. Toen Daniël zijn vrijheid verkreeg werd Arnold van al rijn rechten vervallen verklaard. 

Na Daniël van de Merwede komt zijn schoonzoon Willem van Brederode in bezit van het kasteel. Als Heer van Stein was hij in 1408 volop in oorlog met de stad Aken en moest in Stein zelf een belegering doorstaan. Hij verbleef vooral in het Hollandse. Als hoofd van de Hoeksen was hij een overtuigd aanhanger van Jacoba van Beieren. In 1427 lijdt hij bij Wieringen een nederlaag tegen Philips van Bourgondië en wordt gevangen genomen.

            Willem van Brederode en zijn vrouw Margaretha van der Merwede overlijden rond 1450 kinderloos. Het kasteel en de titel gaan over op Willems neef Jan van Heinsberg, de prinsbisschop van Luik, en diens halfzuster Maria van Loon van Heinsberg, die met Jan van Nassau-Dillenburg is getrouwd.

De voorste toegangspartij van de drie torens van het bovenste slot met de onmiddellijke aansluitende muren dateert van de periode dat de familie Heinsberg het kasteel in bezit had.