Yuさんのところの問題です.(表現を変えています.)
$\left| (3+ \sqrt{5} )x-2y \right| \lt1 $ならば,
$$[ \sqrt{x} ]+[ \sqrt{y} ]-[ \sqrt{3y-x}]=-1,0$$
ここで,[]は床関数
少し考えてみました.
$(3+ \sqrt{5} )x-2y=k$ (ただし$0\lt k \lt1$)とおく.
$x>0 , y>0$で進める.
$$ y= \frac{3+ \sqrt{5}}{2}x- \frac{k}{2} $$
$$ 3y-x=\frac{7+ 3\sqrt{5}}{2}x- \frac{3k}{2}
$$
$ \alpha = \frac{1+ \sqrt{5}}{2} $とおくと,
$$ \sqrt{y}= \alpha \sqrt{x-\frac{k}{2\alpha^2} }$$
$$ \sqrt{3y-x}=\alpha^2 \sqrt{x-\frac{3k}{2\alpha^4} } $$
ここで,$1+\alpha-\alpha^2=0$に注意して,
$$f(x)=\sqrt{x}+\sqrt{y}-\sqrt{3y-x}$$
とおくと
$$f(x)=(\sqrt{x}-\sqrt{x-\frac{3k}{2\alpha^4} })+\alpha(\sqrt{x-\frac{k}{2\alpha^2} }-\sqrt{x-\frac{3k}{2\alpha^4} })$$
かなりとばすと,$f(x)$は正値をとる減少関数とわかる.
$$f(x)= \frac{\frac{3k}{2\alpha^4}}{\sqrt{x}+\sqrt{x-\frac{3k}{2\alpha^4} }}+\frac{\frac{3k}{2\alpha^3}-\frac{k}{2\alpha}}{\sqrt{x-\frac{k}{2\alpha^2} }+\sqrt{x-\frac{3k}{2\alpha^4} }}$$
$$ \lim_{x \to \infty}f(x)=0 ,f(1)<1$$なので,$$0< f(x)<1$$
$F(x)=[ \sqrt{x} ]+[ \sqrt{y} ]-[ \sqrt{3y-x}]$とおくと,$$\sqrt{x}=[ \sqrt{x} ]+X,\sqrt{y}=[ \sqrt{y} ]+Y,\sqrt{3y-x}=[ \sqrt{3y-x} ]+Z$$
として,
$$F(x)=f(x)-(X+Y-Z)>-2$$
$$F(x)=f(x)-(X+Y-Z)<2$$
整数値であることから,$F(x)=-1,0,1$に限る.
実際,調べると,0が多く,比較的小さい$x$で-1をとります.ということで,残った課題は,
$F(x)=1$をみたす$x$がないことを示すこととなります.
どうでしょう?