税務当局は守秘義務を盾に税務調査時の録音を禁止しています。
国民が、録音できなければ税務調査を認めない対応を取ると、税務調査の非協力に該当するとして、青色申告を取消す等の厳しい処分をしています。
国民が不当と訴えて、認められた事例では「違法な調査が行われた」場合のみです、逆に言えば、違法な調査でない場合は録音禁止は正しいとされています。
しかし、違法な調査で有る事を証明する義務を負っているのは国民なので、録音等の証拠を残さなければ、そもそも、違法な調査で有る事を証明できません。

おかしいとおもいませんか、警察での取り調べでも、録音・録画を進めているのに、適法な正しい税務調査が行われているのなら、なぜ、録音を禁止する必要があるのでしょうか、税務調査では違法な調査や説明をして国民をだます事が多いので、違法な証拠を国民に残されないように、録音を禁止しているのではないでしょうか。

守秘義務とは、「業務上・職務上知りえた秘密を他に漏らしてはならない」という義務なので、税務当局は税務調査で知りえた秘密を漏らしてはならない義務を負っているが、国民には守秘義務は無く、自分に対する税務調査を録音して他者に聞かせるのは自由なはずです。
しかし、国税不服審判所での裁決事例では以下のように裁決されています。
①レコーダーによる会話の録音を認めると、請求人の取引先等の第三者の秘密や本件調査の内容が別の機会に守秘義務を負わない第三者にも知れ渡る可能性があり、レコーダーが作動もしくは作動させる準備がされた状況下では、請求人または請求人の取引先等の秘密事項等の保持に懸念なく必要かつ十分な税務調査を実施可能な状態においたものとはいえない。
②税務職員には守秘義務が課せられていることを考え併せると、担当統括官・調査担当職員が、レコーダーによる録音の中止を求めたことには、もとより合理性があり、レコーダーによって会話が録音され得る状態での帳簿書類の検査を実施しなかった措置は相当と指摘した。

国税不服審判所が不要で、税金無駄遣いの組織である事の証拠に思えます。