Židé sem poprvé přišli asi v roce 1421, kdy byli vyhoštěni z Vídně a Dolních Rakous, a později po jejich vyhnání z moravských královských měst. Zabydleli se v podhradí a v 16.století už byla tato komunita nejvýznamnější židovskou obcí na Moravě s vlastní samosprávou a rozličnými výsadami. V této době se také stala sídlem moravských zemských rabínů. Jako v pořadí druhý zemský rabín zde v letech 1553–1573 působil slavný tvůrce Golema rabi Jehuda Löw. V průběhu dalších století život v obci nic nenarušovalo kromě několika požárů. Čtvrť ovšem zanikla během druhé světové války. Z 472 židovských obyvatel města v roce 1938 se 110 podařilo uprchnout před nacisty do ciziny. 327 jich však nepřežilo holocaust. K obnovení obce již nikdy nedošlo.
Pozůstatkem této slavné obce je barokní synagoga, 45 domů chráněných jako kulturní památka a židovský hřbitov s několika tisíci náhrobků.