• gitプロトコルではなくsshでアクセス(ポート開けるのだるいので)
• サーバ側にgitユーザを作って、アクセスさせたい人にsshの公開鍵をもらってそれを /home/git/.ssh/authorized_keys に追加して公開鍵認証
• git clone ssh://git@lampetty.net/var/cache/git/hoge.git みたいな感じでclone

いちいちサーバ側にユーザ追加して、gitリポジトリのディレクトリにパーミッション付与するよりこっちの方がたぶん楽。