10 июля 1934 года ЦИК СССР принял постановление «Об образовании общесоюзного Народного комиссариата внутренних дел», в составе которого были созданы Главные управления государственной безопасности, рабоче-крестьянской милиции, пограничной и внутренней охраны, пожарной охраны, исправительно-трудовых лагерей и трудовых поселений.

Создавались так называемые «тройки» на местах, состоящие из 1-го секретаря обкома или ЦК, начальника соответствующего НКВД и прокурора края, области или республики. При Народном комиссаре внутренних дел СССР организовывалось Особое совещание, наделённое судебными полномочиями с предоставлением права применять в административном порядке высылку, ссылку, заключение в исправительно-трудовые лагеря на срок до пяти лет и высылку за пределы Союза ССР.

По сути НКВД являлся каркасом всей государственной системы страны в советское время, как и многих нынешних государств. В 1946 году НКВД был преобразован в два ведомства — Министерство внутренних дел СССР и Министерство государственной безопасности СССР, между которыми и были разделены его функции.