Het klooster is gelegen aan de Plakstraat, in het zuidelijkste puntje van de omwalde binnenstad en grenst aan de voormalige stadswal en ligt vlak naast het Kritzraedthuis. Het bakstenen complex bestaat uit drie vleugels, een kloosterkerk en een kloostertuin. De oude gebouwen zijn verklaard tot rijksmonument. De kloosterkerk is een eenbeukig kerkgebouw met een driezijdige sluiting. De kloostertuin was oorspronkelijk zowel binnen de wal als buiten de wal gelegen, in de voormalige schootsvelden. Het laatstgenoemde gedeelte is bewaard gebleven, maar het gedeelte binnen de wal heeft plaats gemaakt voor een appartementencomplex.
De stadswal heet ter plaatse Agnetenwal, naar het voormalige klooster.
