今まで、公開鍵と秘密鍵について全然わかってなかったので改めて整理してみます。(間違ってる可能性が大なのでご注意ください)
公開鍵と秘密鍵、2つとも文字通り鍵なのですが、その使用目的が違うんですね。
公開鍵
あるデータを暗号化するときに使う鍵のこと。なぜ公開鍵かと言うと、この鍵は誰でも取得することができるので公開鍵って名前になっている。で、これを公開しているのは誰だ?となると、データを受信する側です。
秘密鍵
公開鍵で暗号化されたデータの暗号を解く時に使われる鍵。これは文字通り秘密なので、公開されず、データを受信する側のみが持っている鍵です。
鍵を使ったデータやり取りの流れ
例えばAからBにデータを送ろうと思うと、AがBの公開鍵を取得して暗号化します。Bは暗号化されたデータが来たら、自分が持っている秘密鍵で暗号化を解いて(復号化)実際のデータを取り出す。というイメージ。

感想
公開鍵って名前だからちょっとわかりにくくなっているんじゃないのかなぁ。暗号化用公開鍵とかにすればポンコツな私でもわかりやすいかな〜。