中方再次把要求摆到日方面前，唐鸿胪井碑连同碑亭构件，必须交还中国，这件事听着像文物纠纷，背后却压着一笔沉重的侵略旧账。
1905年日俄战争结束，日军占领旅顺，三年后的1908年，一块重达九吨半的巨石，成了日军眼中的重要目标。 当年参与这场强取豪夺的，不止有占领军，还有拆卸工具和运输船只，石碑与碑亭被拆开，分批送上船，一路运到东京。