アイスキャンディーは和製英語だといわれています。
試しに、画像検索でice candyを調べてみました。
棒付きのアイスの画像も海外の英語で書かれたサイトに載ってたりするので、もしかしたら、通じる場合があるかもしれません。
しかし、それ以上に長細いビニールに包まれて凍った、チューチューアイスに似たような物の画像が多かったので、棒付きのアイスはice candyとは言わないほうが良いと思います。
棒付きのアイス、アイスキャンディーのことを英語では主に下記のような単語で表すようです。
popsicle 登録商標ですが、アメリカとカナダでは一般名としてもよく使われている
ice‐lolly 主にイギリスで使われている
ice pop