По задушувањето на Илинденското востание во есента 1903 година, Битолскиот револуционерен округ ставил точка на организираниот отпор. Со наредба на Главниот штаб, четите биле распуштени, а востаничката мрежа во Крушевско и пошироко практично престанала да постои.
Во тие последни денови на распаднатото востание, Никола Карев заедно со дел од своите соборци се повлекол кон планинските предели над селото Сланско, на местноста позната како „Крвава Вода“. Оттаму патот ги водел низ Порече и Скопско, сè до безбедносниот излез кон Србија, а потоа кон Бугарија. До ноември 1903 година Карев веќе се наоѓал во Софија, каде што се собирале и други поранешни востанички раководители кои, поради опасноста од апсење, не можеле да се вратат во Македонија.
Но престојот во егзил не значел и крај на неговата политичка активност. Напротив, Карев внимателно ги следел европските и балканските дипломатски движења, барајќи начин за повторно враќање во татковината. По објавувањето на општата амнестија од страна на Османлиската власт во април 1904 година, тој заедно со Томе Никлев се обидел да добие официјално толкување за тоа дали и тие потпаѓаат под неа. Во молбата упатена до бугарското Министерство за надворешни работи, двајцата поранешни крушевски дејци јасно посочиле дека против нив нема судска постапка, ниту изречени казни, но и дека животот во емиграција станал неодржлив.
Одговор, сепак, не пристигнал. Неизвесноста и политичката блокада го принудиле Карев на нова, уште поризична одлука. Во пролетта 1905 година тој формирал мала чета со намера нелегално да се врати во Македонија и повторно да се вклучи во револуционерното движење, овојпат со уште појасна свест дека борбата ќе биде долготрајна и без гаранција за преживување.
Но неговото враќање било краткотрајно. На 14 април 1905 година, на Велики четврток, кај селото Рајчани во Кратовско, дошло до жестока и крвава пресметка меѓу здружените чети на Петар Ацев и Никола Карев од една страна и бројниот османлиски аскер од друга. Според сведоштва и подоцнежни записи, четата била откриена и опколена, најверојатно поради предавство чиј извор никогаш не бил со сигурност утврден.
Борбата траела со часови. Од раните утрински мигови па сè до попладнето, просторот околу Рајчани бил исполнет со непрекината пукотница и експлозии. Во таа нерамноправна битка, Карев бил ранет уште на почетокот. И покрај обидите за отпор, силите биле нерамни, а крајот неизбежен.
Еден од преживеаните учесници подоцна ќе се присети на тие моменти, опишувајќи сцени на целосно уништување и пад на целата чета. Во последните мигови, Карев исчезнал во огнот на борбата, а неговата судбина била запечатена заедно со неговите соборци.
Со неговата смрт на само 27-годишна возраст, завршува една од најинтензивните и најкратки, но и најзначајни револуционерни биографии на македонското ослободително движење.
