1908年5月15日、衆議院議員総選挙がおこなわれました。379人の議員定数に対し、西園寺の立憲政友会は187議席を獲得、第1党の座を守り抜いたものの、過半数には達しませんでした。5月19日の東京朝日新聞は、以下のように報じています。

総選挙の結果において、大勢上、吾人はほとんど何等の変化を醸すを認めず。政党の分野は現状維持というのほかあらず。政府党は今度の総選挙をもって必ず過半数を取らんと声言し居たるが、やはり増税非人望の余、全国各市の選挙区において打撃を被り、多くの票数を商業会議所派ならびにその他の非増税論者財政整理論者に奪われ、予期の成績を挙ぐる能わず。これがため、いかに見積りても、その党籍に属する議員数のみにては、190に達せざるがごとし。

この頃、西園寺は「雨声会」と呼ばれる歓談会をしばしばおこなっていました。文士たちを私邸に招き、一夜の歓談会をおこなうもので、その多くは山下がセッティングしていました。たとえば1908年5月27日の「雨声会」では、接待役に竹越三叉と横井時雄を据え、泉鏡花、後藤宙外、川上眉山、島崎藤村、田山花袋、柳川春葉、小杉天外、広津柳浪、巌谷小波、大町桂月、塚原渋柿園、内田魯庵、小栗風葉らが招かれていました。西園寺が言うには、「雨声会」は文学奨励の意味でも何でもなく、ただ集まった人々が一夜の清興をほしいままにしよう、というだけのものでした。西園寺としては、単に趣味の集まりだったわけです。

1908年7月4日、西園寺は内閣総辞職を奉呈し、山下とともに、大磯の「隣荘」へと引きこもってしまいました。表向きの理由は、西園寺の「肝臓病」が悪化し、もはや公務を続けられないため、内閣を総辞職するとのことでした。7月14日、山下は内閣総理大臣秘書官を辞職、妻の父にあたる瓜生外吉のもとにしばらく身を寄せ、7月29日に神戸への帰途に就きました。山下の2年半に渡る内閣総理大臣秘書官としての生活は、こうして終わりを告げました。

1908年8月15日、山下は住友神戸支店に、支配人として復帰しました。でも、日露戦争を含めると4年4ヶ月ものブランクがあって、山下もなかなか実務の勘が戻ってきません。そうこうしているうちに、「肝臓病」だったはずの西園寺が、京都にやって来ました。木屋町三条上ルの大可楼に逗留しているので、見舞いに来いというのです。9月10日、住友と山下は、西園寺を見舞うべく、京都に向かいました。中秋の名月のこの日、大可楼の2階の座敷に、川勝の歌蝶など8人の芸妓が呼ばれ、西園寺・住友兄弟は存分に酒を酌み交わし、月を愛でました。政治などもうまっぴらごめん、と言い張る西園寺は、それでも政治に未練たらたらで、またすぐ政界に戻っていくのだろう、と思えました。一方、山下は、もう二度と政治の世界に戻る気はありませんでした。

(山下芳太郎(17)に続く)