パンジーは、数種の複雑な交配から生じたとされる園芸品種群である。 以下にパンジーの園芸品種の成り立ちを示す。
　なお、 Viola （ウィオラ） を V. と表す。

　V.　tricolor （Ｖ．トリコロル）は古くよりイギリスを中心に園地で栽培され、 ハーツイーズとよばれて親しまれていた。
　積極的な品種改良の努力が払われたのは1813年からで、 イギリスの園芸家トムソンにより選抜が始められ、 その結果1835年には400の園芸品種ができていたという。
　トムソンの改良はさらに続き、やがてショウ・パンジー （ show　pansy ） とよばれるものを完成する。花径は４㎝以上、 花弁は平滑で丸くブロッチ斑(花びらに入る濃色の斑点） をもっており、おもに挿芽で維持された。
　一方、ベルギーやフランスに渡ったものはさらに発達をとげ、 ファンシー・パンジー（ fancy　pansy ）とよばれるものとなった。 花はいっそう大きく、径５㎝以上あり、色彩の変化も多彩であった。
　このころのパンジーは展示会などでの鑑賞が多かったが、 しだいに花壇での鑑賞に重点が置かれるようになり、 同時に種子増殖が普及してきた。

　フランスのトリマルドは花壇植えに適した、 花色の美しいトリマルド系を完成し、 一方ドイツでは耐寒性の強いヒエマリス系が生まれた。
　これらは中輪のパンジーの基盤をなして現在でも作られている。 20世紀になると大輪のスイス・ジャイアント系が登場する。

　これらのパンジーの起源を詳しく調べたスウェーデンの ヴィットロクによると、近代のガーデンパンジーの起源には V.　tricolor のほか V.　lutea （Ｖ．ルテア）、 V.　cornuta （Ｖ．コルヌタ：和名ツノスミレ）、 V.　altaica （Ｖ．アルタイカ）、 V.　calcarata （Ｖ．カルカラタ） などが交雑されたと考えられ、遺伝的にかなり複雑になっていることがわかった。

　一方、 V.　cornuta の血を強く持った系統は、小輪ながら無数の株立ちとなって咲く タフテット・パンジー（ tufted　pansy ）とよばれるグループをつくっている。 日本ではこれを小輪パンジー、あるいは　 ウィオラ 　と呼んだりしているが、最近ではさらに大輪系と交雑された 園芸品種がでてきたりして、区別が難しくなりつつある。

　パンジーが日本にもたらされたのは1864年(元治1） ころといわれている。三色スミレ、游蝶花、胡蝶花の名で親しまれていた。
　戦後、東京近郊では荒川沿岸の鹿骨に多くのパンジー苗生産があり、 地堀り苗をトロ箱に詰めて、花壇苗用として市場や花店に出荷していた。 これは昭和30年代まで続いたがしだいに都市化の波に追われ、 現在では埼玉県、神奈川県などに移動している。
　昭和40年代に入ると、種苗商社による育種努力が盛んになり、 世界的な１代交配種が次々と生まれるようになる。

　戦後、アメリカでは大輪系パンジーの品種改良が盛んで、 メイプルリーフ・ジャイアント系、スティール・ジャンボ系、 あるいはオレゴン・ジャイアント系など花径が 10㎝におよぶ独特の巨大輪系が作り出されたが、 いずれも花色が中間色のくすんだものが多く、 株立ちにも欠点があって大勢を占めるにはいたらなかった。