Простую ОС в классическом смысле (диспетчер задач, управление памятью, ввод/вывод, загрузчик приложений, стд. библиотека) для фиксированного набора железа написать не так уж и сложно.
Закрытых ОС для спецзадач хоть пруд пруди. Например - на Марс летают и потом ползают по нему годами аппараты с закрытой WxWorks. Которая имеет очень скромные запросы к ресурсам и очень высокую надёжность, но на персональном компьютере вы от неё устанете.
А вот поддерживать новое железо и вставлять приниципиально новые типы взаимодействия с пользователем (в 70-е - видеотерминалы, в 80 - мыши, графика, окна, в 90-е 3Д графика в 00-е тачскрины и т.п.) - это сложно и дорого.
>Такая ОС выйдет скорее всего дороже АУГ. Если это вообще возможно.
Нет ничего невозможного, если не требовать несовместимого.