В музее представлены коллекции живописи, скульптуры, декоративно-прикладного искусства и т.д.
Крупнейшее в Калужской области художественное собрание. Музей был открыт 12 июня 1918 г. в доме врача Н.И. Васильева (ныне – дом № 81 по ул. Дзержинской). Уроженец Калуги, Никанор Иванович Васильев (1832 – 1917) завещал принадлежавшую ему художественную коллекцию родному городу. Произведения из частного собрания Васильева легли в основу коллекции Калужского художественного музея.
Нынешнее здание музей занимает с 1969 года. Этот дом, сооруженный в начале XIX в. для известного калужского купца Билибина, является одним из красивейших произведений городской архитектуры.
Музей имеет филиалы: Тарусскую и Ульяновскую картинные галереи и является методическим центром для художественных галерей области.