Вот бы они все работали оффлайн без доступа в интернет

Для локального управления голосом посмотрите в сторону устройства Home Assistant Voice, на youtube канале “У Павла” есть обзор на это устройство.

Да, знаком с таким, меня во всех этих устройствах, включая XiaoZhi, не удовлетворяет качество и скорость работы.

Либо медленно работает, либо не слышит почти в упор.