Выездные визы были при советской власти. В советские паспорта совсем старого образца они ставились вплоть до первого июля 1993его года (в новые тогдашние паспорта уже не ставились). У меня хранятся :)

Впрочем, они и сейчас в России есть - для иностранцев. Краткосрочная российская виза и въездная, и выездная. Иностранцу, просрочившему визу (или пребывающему в России по долгосрочной визе некоторых типов - или даже родившемуся в России) нужно ее получать.