На новых приборах, насколько я знаю - или линупс или венда.

На старых - хз. Я бы предположил, что линупс, unix, или даже DOS в отдельных упоротых случаях.

А в банкоматах, там между всеми компонентами (клавиатура, кардридер) - отдельные (внешние) аппаратные блоки шифрования стоят, если я не ошибаюсь.

На хабре была статья про подробное устройство банкомата и шифрование