Wat nu een van de mooiste plekjes van de stad is, was lang vooral een plek voor wie nergens anders terechtkon. De gang dateert van 1591. Dat jaartal staat nog in de gevelankers van de westgevel. Maar de geschiedenis gaat verder terug: in de 15de eeuw stonden hier stallingen en woningen van de herberg De Roode Schild. De uitbaters in 1453 waren Niklaas Rockox en Margareta de Brueckere, de overgrootouders van de latere burgemeester met dezelfde naam, de vriend van Rubens.
In de 16de en 17de eeuw woonden hier schoenmakers, die er iets bijverdienden door de noodklokken van de kathedraal te luiden. In de Gouden Eeuw was het ook een toevluchtsoord voor bedelaars en dieven, en in de 19de eeuw een beluik voor havelozen en seizoenarbeiders van het platteland. De kasseien onder je voeten dateren uit die tijd.
Over de naam bestaan twee verhalen, en allebei gaan ze over vlaaien. Het ene noemt een wafelhuis, het andere een rijstpellerij in het huis ernaast aan de Hoogstraat, waar rijstevlaaien gemaakt zouden zijn.
In de jaren 1960 lag er een plan op tafel om hier een parking van te maken. In 1969 kocht antiquair Axel Vervoordt de gang. Sinds 1973 zijn gevels en daken beschermd, en de restauratie begon in 1977. Een parking minder, en de stad is er niet slechter van geworden.