またこの頃より家康は、細川忠興や島津義弘、増田長盛らの屋敷にも頻繁に訪問するようになった。こうした政権運営をめぐって、大老・前田利家や五奉行の石田三成らより「専横」との反感を買い、慶長4年（1599年）1月19日、家康に対して三中老の堀尾吉晴らが問罪使として派遣されたが、吉晴らを恫喝して追い返した。利家らと家康は2月2日には誓書を交わし、利家が家康を、家康が利家を相互に訪問、さらに家康は向島へ退去することでこの一件は和解となった。