パワーユニット全体の大きさと重さがネックになる
はい、不向きです。ハイブリッドのパワートレインというのは、つまりエンジンとモーターの両方を持ち、それを組み合わせるということになりますね。ということはパワートレインが確実に重く、大きくなるということです。
さらに都合が悪いことに、その2つのパワーを上手く組み合わせようとすると、エンジンとモーターは近くに配置されていなければなりません。本来配置場所に自由度が高いモーターも、配置できる場所が限られてしまいます。
確かにエンジンをダウンサイジングすることは可能です。V12の代わりにV8ハイブリッドが使えることでしょう。排気量が小さくなっても、モーターが低回転域のトルクを出してくれるので、そのハンディはほとんどありません。
エンジンのフリクションも12気筒と8気筒では3分の2程度に収まるはずで、その分だけ効率や燃費が向上します。しかし、軽量になったかというと、疑問は残ります。モーターは重いユニットです。パワーコントローラーという制御ユニットも必要になります。

燃費だけでいえば、エンジンが苦手な低回転域をモーターが補ってくれます。燃費の走行モードは低回転域を使うので、当然カタログ燃費は大きく向上することになります。ハイフリッドカーのカタログ燃費が実効燃費と大きく乖離してしまうのは、こうしたカラクリなんです。つまり実効燃費はそれほど高くなりません。
さらに充電の制御の面で、バッテリーの残量を気にして充電量が増える傾向にあるのも、実際の燃費を押し下げてしまう原因になります。