V listopadu 1939 vyšlo nařízení, jímž ministerstvo vnitra zakázalo protektorátním Romům kočovat a měnit místa svého pobytu, kdežto od podřízených bezpečnostních složek si vyžadovalo hlášení o početním stavu usazené romské populace. Podle četnické stanice v Oslavanech žilo koncem roku 1941 v romské osadě 26 rodin se 106 rodinnými příslušníky (z nich bylo 29 mužů, 39 žen, 6 mladistvých a 21 školou povinných a 11 školou nepovinných dětí); rodiny obývaly 5 domků, 15 nouzových příbytků a 5 obytných vozů.
Bezprostředně po otevření kárného pracovního tábora v Hodoníně na okr. Blansko tam zaujatostí překypující oslavanští četníci eskortovali v červnu 1940 celkem jedenáct mužů a mladistvých. Všech pět mladistvých, kteří nesplňovali předepsanou věkovou hranici, spolu s jedním zdravotně nezpůsobilým mužem muselo však být z internace propuštěno, zbývající oslavanští káranci opustili tábor teprve po odpykání předepsané tříměsíční lhůty.
Po přeměně hodonínského kárného pracovního na cikánský tábor bylo do tohoto zařízení v srpnu 1942 odvlečeno z Oslavan 71 Romů, z toho 16 mužů, 20 žen a 35 dětí. Z těchto vězňů tři v Hodoníně zemřeli, tři byli odtud deportováni do koncentračního tábora v Auschwitz a 33 do cikánského tábora v Auschwitz-Birkenau. Ostatní oslavanští vězňové byli z této vazby jako tzv. necikáni propuštěni, z pobytu na svobodě se ale radovali jen pár měsíců.
Na jaře 1943 byli totiž zbývající obyvatelé oslavanské romské osady zařazeni do dvou hromadných transportů: jeden byl vypraven v březnu z brněnských jatek, druhý pak v květnu z brněnské donucovací pracovny. Konečnou stanicí obou transportů se stal cikánský tábor v Auschwitz-Birkenau, na jehož rampu bylo z nákladních vagónů tentokrát vyhnáno 57 oslavanských Romů, z toho 16 mužů, 18 žen a 20 dětí.
V prázdné osadě nakonec zůstala ponechána pouze Amálie Danielová s pěti svými dospělými nebo dospívajícími dětmi a se třemi školáky, které jí svěřili do opatrování jejich nešťastní deportovaní rodiče. Útrapy nucené táborové koncentrace přežili z mužů Edvard, Jan, Josef, Vladimír a Vincenc Danielovi a z žen Julie, Marcela, Marie a Růžena Danielovy.
Trochu bizarní shluk romských domků, nouzových příbytků a maringotek v Oslavanech už dávno neexistuje, do nenávratna odešly také rodiny jejich původních majitelů. Někdejší osada a její osadníci vymizeli z obecné paměti a dnes je připomínají nanejvýš jen umělecká ztvárnění.
Spisovatelka Gabriela Preissová sem umístila děj své povídky Dvě Prisky, inzitní Jakub Svoboda z nedalekých Ivančic namaloval olejomalbu Stará cigánská osada v Oslavanech, režisér Václav Kubásek tady natáčel exteriéry k zapomenutému filmu Čarovné oči a Rudolf Daniel v pozoruhodném, dosud však nevydaném memorátu Housle a kůň popsal své dětství prožité u oslavanského dědečka.