高度な自動化機能を持つ自動車やサービスロボット、デジタル家電など、大規模・複雑化した製品・制御システム(コンピューターを内部に組み込んで製品の制御を行うデジタルシステム)が、日常生活の中に多く入り込みつつある。これらはインターネットにつながってもいて、航空機や電力などの制御システムと同等かそれ以上の複雑なデジタル制御システムになっているにもかかわらず、最終的なユーザーは、取り扱いの専門的な教育や訓練を必ずしも受けていない。このようなシステムの誤操作や故障を未然に防いだり、もし発生したとしてもこれを早期に発見し、人的・経済的な被害を最小限に抑えたりすることが可能だろうか?

 一方で、米国でのトヨタ自動車製のクルマの電子制御システムが直面したようなトラブルもある。制御ソフトウエアの設計コンセプトに問題がないことをメーカー自身がいくら説明しても、米国運輸省道路交通安全局(NHTSA)やアメリカ航空宇宙局(NASA)まで動員してソフトウエアの健全性が検証されるまで、社会の納得が得られないこともあるのだ。これはシステム開発者として、「社会的な説明責任をどう果たしていくか」という問題である。

 航空機のような事故では、運輸事故調査委員会の設置が義務付けられ、第三者による事故原因究明が行われている。しかし、ノウハウの塊であるソフトウエアが組み込まれた製品・制御システムにおいて、こうした故障の原因究明や社会への説明を第三者まで巻き込んで行うことができるだろうか?