大业年间，前隋炀帝南下巡幸扬州，筑江都宫、临江宫两处，又另建归雁、回流、九里、松林、枫林、大雷、小雷、春草、九华、光汾十殿，以作南巡之用，一时引为淮南园林之胜，天下闻名。

然扬州宫殿因炀帝而生，也随炀帝而倒，随着江都宫之乱，隋炀帝被宇文化及逼宫而死，包括江都宫在内的扬州诸宫也大多毁于战火，而今只剩几许断井颓垣，唯一尚算完好的便只有李世民赐予李恪的这一处临江宫，几经修葺后道还能看得