Замок назван в честь его основателя Карла IV, короля Чехии и императора Священной Римской империи. Основан в 1348 году как летняя резиденция Карла IV, а также сокровищница императорских регалий и святых реликвий. В основу архитектурного решения замка был заложен принцип ступенчатого расположения зданий, входящих в архитектурный ансамбль. Каждое последующее сооружение замка возвышается над предыдущим, а вершину этого ансамбля образует Большая башня с часовней святого Креста, в которой хранились королевские реликвии, в том числе корона Священной Римской империи.