デブサミ2020「なぜ技術力評価会の評価者はペアなのか?ー 8年半で378組の評価者ペアが835回評価した事例からみるペアの効果」講演メモ #devsumi

登壇された方

  • 小賀 昌法 氏
  • VOYAGE GROUP
    • 取締役CTO (2010〜)
  • 日本CTO協会
    • 理事

技術力評価会

  • 2011年まで上長だけが評価する制度だった
    • 技術力評価・事業貢献
  • 現在は「ともにつくる」評価制度
    • 色々な人が色々な他の部署の人たちを評価する風に変えていった
    • 毎回、評価する対象者を変えていく

エンジニアの技術力評価

  • 難しいと思いますか?
  • 何が原因なのでしょうか?

原因1: バイアス

  • エンジニアに限らず、一般的にバイアスが働く
    • ハロー効果
    • 論理的誤差
    • 寛大化効果
    • 対比誤差
    • 中心化傾向
      • 対人関係を気にして、みんな無難に評価してしまおうとすること
    • イメージ考課
    • 極端化傾向

原因2: 技術の多様化

  • 技術が多様化しており、技術マネージャーは全ての技術においてメンバーより詳しいわけではない
    • フロントエンド、クラウド、データサイエンス、プライバシー・・・等々

原因3: 評価スキル向上機会の不足

1on1を実施している企業は多い

しかし、、、

  • 考え方を引き出すスキルを成長させる機会
  • よりよいフィードバックのための成長する機会

の仕組みかに取り組んでいる会社は少ない

原因4: 同じ人が長く評価することでの偏り

  • 優秀なマネージャーほど同じ部署に長く在籍していることが多い
  • その場合、ある側面からだけ詳細に見えているリスクはないでしょうか?

よって、各部門の責任者や各チームのマネージャだけで全てを理解することは難しい。
様々な側面からの情報を集めていくアプローチをしていくことに。

評価と人事制度

等級制度(グレード制度)

  • 経営戦略を実現するために必要な人材の定義
  • 高い等級の人が増えれば戦略を実現できる可能性が高まるように設計
  • 戦略に応じて制度を見直していく
  • エンジニア職のグレードは4段階
  • 誰がどのグレード何かは社内に公開されている
  • 軸は、事業貢献、能力、CREED (VOYAGE GROUP の価値観的なやつ)

評価制度

  • 「その人がどの等級なのか」
  • 「上の等級に上がるには何が必要か」
  • 評価を通じて成長を促す

評価制度の例 (VOYAGE GROUP)

  • 半年に1回
  • 事業貢献 x 能力 x CCFB(VG用語、360度評価のこと)

報酬制度

  • 従業員にいくら給与+賞与+αを支払うかの基準を決めておく
  • 等級制度および評価制度と密接に


報酬制度の一例

  • 年功序列
  • 均等割

技術力評価会の概要

  • エンジニアによるチームを越えた能力(技術力)評価の仕組み
  • 評価結果は昇格に大きく影響する
  • 半年に1度実施
  • 2011年から継続

コアコンセプト

チームを越えた技術力評価

評価の流れ

  • 評価者は2人
  • 他チームから評価者が選定される
    • 評価委員とCTOで
  • 被評価者には、評価委員とサポーターがつく
  • 事前準備 -> 当日 -> 後日

事前準備

  • 被評価者はサポーターに評価してもらう内容を相談
  • 必要があれば同僚にすぶりをする

評価当日

  • 被評価者のプレゼンが30分
  • 評価者との質疑応答が60分

後日

  • 評価者は結果を提出
  • 評価結果を、CTO+評価委員ですり合わせ
  • 評価者2人が対面でフィードバック
  • 結果レポートは事前に読めるようになっている

全体の流れ

  • 全体準備、ガイダンス
  • 事前準備
  • 評価当日
  • 後日フィードバック
  • 全体フィードバック
  • 全体振り返り

評価軸(2013年)

  • 実現力
    • スコープ定義
    • システム構築・運用
    • プロジェクトマネジメント
  • 改善力
    • システム的な改善
    • ビジネス的な改善

その他

  • 2年間で、8人以上から評価されることとなる
  • 2015年から点数を廃止し、文章をしっかり書くスタイルに
  • githubで評価結果を社内公開
    • 2020/2時点で、1050以上の結果レポートが社内公開されている
    • 新しいマネージャーなどもメンバーの過去の評価結果を参考にできる

社外評価者

  • 社外から強い人を招聘
  • 社内評価者2人+社外評価者の3名で評価
  • 新しい視点や気づきを得られる機会を増やす
  • 自分たちでは気づけないバイアスを知りたい
  • (社外評価者はこんな方に見てもらっているよ〜、という参考情報が出たが、SNS公開はNGとのこと)

ペアで評価すること、組み合わせを毎回変えることの効果

バイアスの対策

  • 評価者の変更
  • 複数による評価
    • アンケートもとってバイアスが減ったと感じた方が多かった

技術の多様化の対策

  • 被評価者の強みに合わせて評価者をアサイン
    • 被評価者の強みに合わせて、その技術に強い人をアサイン
    • 上記の人の弱みを保管できる人とペアを組む
    • 社内にいない場合は社外から招聘

評価スキル向上機会の不足の対策

  • 複数の立場で評価結果をすりあわせ
    • 評価者ペアは結果をすり合わせる
    • さらにCTO+評価委員の4人ですりあわせを行う

評価者の声 - ペアによる評価スキル向上

  • 他の評価者の考え方がわかるような場
  • 自分が効かない角度の質問が出ると学びになる
  • 着眼点の違いに気づくことができた
  • 地震の評価が客観的で論理的であるか、評価の軸がずれていないかなど、確認するようになった

同じ人が長く評価することによる偏りの対策

  • 技術力評価会の評価者は毎回異なる

評価者の声 - 良かった点

  • 関わりの少ない人と接する機会
  • 伝え方が良くなったり、具体的になったりする
  • 一緒に評価した人と価値観のやりとりをするので仲良くなることが多そう
  • 他部署のエンジニアと接点が増える
  • 上長以外の視点を入れられる
  • 責任を適度に分散できるので、自分を棚上げしていろいろということができる

評価者の声 - 悪い点

  • 日程調整コスト
  • ペア評価者の価値観に引っ張られる懸念
  • 一方の評価者の質疑応答が長くなって、他方の質疑応答が十分にできない
  • 評価者ペアの考えがばらけていると、被評価者が混乱する可能性

まとめ

評価者をペアにし、組み合わせを毎回変更し、「ともにつくる」ことは大きな効果がありました。

宣伝

  • ajito.fm っていうPodcastやってるよー!
  • VOYAGE GROUP TECH TALK Vol.2 やりますよー!

あわせて読みたい