支払い後、公的な領収書は発行されますか？

いいえ、公的な領収証書は発行されません。
これは本サービスの仕様ではなく、国の電子納付制度全体の取り決めです。e-Govを通じた電子納付では、どのような支払い方法でも、労働局などから印紙が貼付された領収証書は発行されません。
お客様の社内的な支払い記録としては、本サービスの支払い履歴画面や、ダウンロード可能なサービス手数料の利用明細書をご利用ください。