国際的な合意を守るべきというのであれば、英米は千島列島をソ連に引き渡すとしたヤルタ協定を守るべきですね

産経記事で木村幹氏がこんなことを言っています。

　日本側が警戒すべき点は、報告書が合意を「条約ではなく政治的合意だ」と明記したことだ。政治情勢を理由に一方的に破棄できるとの見解を示唆しており、今後注意が必要だ。

http://www.sankei.com/world/news/171227/wor1712270035-n1.html

日韓政府間合意が条約でないことは自明ですので「報告書が合意を「条約ではなく政治的合意だ」と明記したこと」にさほど意味があるようには思えません。日韓政府間合意は、破棄の手続きを定めている条約ではありませんし、そもそも国会にはかったわけでもなく両国の政府首脳だけで合意した内容に過ぎません。
そういった合意が、「政治情勢を理由に一方的に破棄」されたのは歴史的に珍しい話でもなく、ヤルタ協定などは有名な事例でしょう。

　三大国、すなわちソヴィエト連邦、アメリカ合衆国及びグレート・ブリテンの指導者は、ソヴィエト連邦が、ドイツが降伏し、かつ、欧州における戦争が終了した後２箇月又は３箇月で、次のことを条件として、連合国に味方して日本国に対する戦争に参加すべきことを協定した。
（略）
３ 千島列島がソヴィエト連邦に引き渡されること。
（略）
三大国の首脳はこれらのソヴィエト連邦の要求が日本国が敗北した後に確実に満たされるべきことを合意した。

http://www8.cao.go.jp/hoppo/shiryou/pdf/gaikou07.pdf

1945年2月11日にアメリカ、イギリス、ソ連の首脳によって合意されたこのヤルタ協定は条約ではなく政府間合意なのですが、ソ連の対日参戦は「ドイツが降伏し、かつ、欧州における戦争が終了した」1945年5月8日の3か月後の1945年8月8日で、まさにヤルタ合意を誠実に履行した結果ということになります。
当時、ソ連は日ソ中立条約を結んでいたわけですが、対日参戦を求めるヤルタ合意はそれに矛盾する内容になっています。日ソ中立条約の存在は米英首脳も把握していましたから、ソ連による中立条約破棄は米英了解の下で行なわれたわけです。

ところが戦後になってから、アメリカやイギリスはヤルタ協定の効力を否定し始めました。1950年代、冷戦が激化するという「政治情勢を理由に一方的に」効力が否定されたわけです。
産経新聞も「ヤルタ密約は、連合国首脳が交わした軍事協定にすぎず、条約ではなく国際法としての根拠を持っていない。」という見解をとっています。

これを敷衍するなら、日韓政府間合意も日韓首脳による合意にすぎず、「条約ではなく国際法としての根拠を持っていない」という解釈もできるんじゃないですかねぇ*1。

*1:ちなみに、個人的な見解ですが多分、文政権は合意を破棄したりはせず、裏合意の効力のみ否定するんじゃないかなと見ています。