V srpnu 1940 zřídilo protektorátní ministerstvo vnitra nedaleko obce Lety kárný pracovní tábor. Do tábora měli být umísťováni muži starší osmnácti let, kteří nemohli prokázat zdroj obživy, vyhýbali se práci nebo nedodržovali zákaz kočování. Internace byla tehdy na dobu omezenou- do šesti měsíců. Romové tvořili jen část z celkového počtu vězňů. V roce 1942 se Lety staly součástí konečného řešení „cikánské otázky“, výběr internovaných byl od srpna 1942 již zcela rasový. V lednu 1942 byl kárný pracovní tábor přeměněn na tábor sběrný – přestupní stanici vězňů do dalších nacistických zařízení. Umísťováni sem byli pouze muži. V reakci na výnos o potírání tzv. „cikánského zlořádu“ byl na jeho místě v srpnu 1942 (2.8.1942) zřízen tábor cikánský. Ten byl určený pro celé rodiny – muže, ženy i děti.
V polovině srpna 1942 byla kapacita tábora čtyřnásobně překročena a v ubikacích pro 300 osob jich přebývalo téměř 1100. Vězni bydleli v cca 50 dřevěných obytných buňkách, které byly určeny pro letní období a v zimě se špatně vytápěly. Buňky byly neúnosně přeplněné, součástí tábora byly také dvě polní kuchyně, jedna studna, pouze 2 latríny a žádná umývárna. Vzhledem k nedostatku vody a sanitního zázemí panovaly v táboře katastrofické hygienické podmínky, které byly společně se špatnou stravou a nedostatečným ošacením příčinou velmi špatného zdravotního stavu vězňů. Velitel tábora vězněným úmyslně snižoval již tak nízké oficiální příděly jídla. V důsledku jeho počínání trpěla většina vězňů, zejména dětí, podvýživou.
Vězni v táboře byli zařazeni do pracovních skupin. Ženy, mládež a práceschopné děti vykonávaly především práce v táboře a sezónní zemědělské práce. Pracovaly například při sklizni brambor v Letech a okolních vsích. Místní rolníci v nich ocenili levnou pracovní sílu: za celodenní práci dostávali oběd, výjimečně i svačinu. Mužské pracovní skupiny často pracovaly mimo tábor, například na stavbě dálnice Plzeň – Moravská Ostrava, najímaly si je větší statky na zemědělské práce, vykonávaly těžké lesní práce při zpracování polomů. Na velmi těžkou práci vězni neměli téměř žádné vybavení, ani pořádnou obuv a oblečení. Peníze, které svou prací vydělali, byly využívány na provoz tábora.
Zdraví vězňů, často chatrné už při jejich příchodu do tábora, se v důsledku podvýživy, tvrdé práce a katastrofických hygienických podmínek v táboře postupně zhoršovalo, neúnosně se zvyšovala úmrtnost. Na přelomu prosince 1942 a ledna 1943 vypukla epidemie břišního tyfu, v polovině února 1943 pak smrtící epidemie skvrnitého tyfu. Lidé z okolních vesnic se k táboru nesměli vůbec přiblížit, 9. 8. 1943 byl nakonec definitivně uzavřen.
Letský tábor řídil krutý velitel Josef Janovský, roli dozorců většinou vykonávali četníci: někteří se k práci v táboře přihlásili dobrovolně, jiní sem byli převeleni z různých míst v republice. Janovský vězně fyzicky týral, bil, z vlastní iniciativy jim odpíral i příděly potravy, na niž měli dle protektorátních zákonů nárok, celkově činil podmínky v táboře ještě horší, než se po něm žádalo. Po vypuknutí tyfové epidemie byl z místa velitele odvolán a nahradil jej někdejší velitel tábora v Hodoníně u Kunštátu – Štefan Blahynka. Ten měl za úkol připravit tábor na deportaci vězňů do Osvětimi. Uskutečnily se celkem dva hromadné transporty: v prvním odjelo 3. prosince 1942 94 vězňů, především žen, s označením „asociál“ do koncentračního tábora Osvětim I, ve druhém bylo odvezeno 417 vězňů do koncentračního tábora Osvětim II. – Březinka. Další vězni byli odesláni do cikánského tábora v Hodoníně u Kunštátu nebo do jiných sběrných táborů.
V táboře bylo postupně internováno celkem 1309 osob, z toho zhruba čtvrtina vězňů byla propuštěna na svobodu nebo utekla, 326 jich internaci nepřežilo, ostatní byli postupně deportováni do vyhlazovacího tábora v Osvětimi. Z 30 dětí narozených v táboře nepřežilo žádné.