Никогда специально ничего не собирал. Но имею коллекцию старых игровых (про компьютерные игры) журналов, начиная с 1998 года, лежат на отдельной полочке, мне реально жалко их выбрасывать, да и прикольно иногда полистать (посмотреть рекламу) об играх, которые сейчас большинству кажутся примитивными.
К "Game exe" за сентябрь 1998 года и "Навигатору" за июнь 2000 года даже диски сохранились. Диск к "Навигатору" это вообще класс, там помимо демок и патчей, еще и музыка классная, Карлоса Сантаны)))

Одно время я собирал старые HTML-сайты (от 1996 до 2005). Самый ранний - 1994. Но увы, почти все есть в Интернете и я бросил эту затею, либо на waybackmachine либо на других сайтах. К примеру, до Google Sites был такой старый бесплатный хостинг geocities, сначала он принадлежал сам по себе, потом его купил Google и постепенно закрыл. Есть архив старых сайтов geocities, организованный теми, кто тогда загружал страницы, но это не на русском языке. А некоторые старые сайты до сих пор работают. Кстати, что интересно домен RU вообще изначально был делегирован закрытому режимному предприятию (в 1993), типа государственному или военному. Поэтому в 1993-1994 открытых сайтов не было, первые общедоступные хостинги появились в 1995 (коммерческой рекламы почти не было, страницы были в основном вузовские), а первая интернет-реклама не раньше 1996.

Последнее время собираю книги из категории криминология -> сексология -> психология -> психиатрия. Но это особо не раритеты: просто специализированная литература (раритет - прежде всего старый).