Кофейно-молочное желе

Получается, наливаем слой, отправляем в холодильник. Ждем. Потом другой слой. а в это время остатки желе стоят при комнатной температуре и не застывают?