Psychometrician

Psychometrician

Exams Quality Assurance (EQA)

Permanent

Today, the Royal College has over 55,000 members and the vision remains to advance the learning for specialist physicians to deliver the best health care for all. The Royal College partners and collaborates to lead the evolution of specialty medical education and standards; support specialist physicians, learners and teams to continuously improve; and advocate for excellence in specialty medicine by supporting innovation, well-being, equity and person-centered care. We are a national, nonprofit organization established in 1929 by a special Act of Parliament to oversee the medical education of specialists in Canada.

Reporting to the Manager, Exam Quality and Analytics, the Psychometrician supports the assessments of specialty physicians by providing advice that guides and informs the direction of exam development, exam quality improvement, and assessment practices to ensure fair and valid assessments.

Reporting to the Manager of Exam Quality and Analytics, the psychometrician is responsible to apply expert knowledge of testing, educational and psychological measurement, and assessments to support the mission of the Royal College of assessing specialty physicians. They contribute to the strategic direction of exam development, exam quality improvement, and assessment methodologies/practices. The psychometrician provides expertise regarding the technical measurement aspects of assessments. They apply expert knowledge as a psychometrics professional with an in-depth understanding of statistical and / or other analysis techniques designed to support psychometric and other research projects of broad scope and complexity.

Here’s an insight into your typical day-to-day

• Contributes to the conceptualization and development of Royal College exam preparation resources (EPR) and exams based on an understanding of each medical specialty by providing expertise in psychometric measurement principles and quantitative analysis to ensure the utility, validity, and reliability of Royal College exams.
• Provides expert advice and sets the direction of EPR and exam development, exam quality, and assessment practices (e.g., standard setting, rater calibration) by leading the development of position papers, best practices, policies, procedures, and examination/assessment tools based on identified needs to ensure that the exams continue to adhere to acceptable professional standards for certification assessment.
• Leads quantitative research activities by overseeing the collection, analyzing, and reporting of data, collaborating with project teams, and writing reports to ensure the continued quality, reliability, and validity of Royal College exams.
• Leads the production of and/or produces psychometric reports that present examination result information by overseeing the collecting, transforming, and formatting of examination data to inform stakeholders (candidates, boards, committees, Royal College leadership, legal) of exam results and performance.
• Provides oversight and expertise on the development of EPR & exam quality improvements and assessment practices by collaborating and maintaining liaison with fellows, medical educators and organizations involved in medical education/assessment to improve examination and assessment approaches and methods.
• Counsels’ stakeholders (boards, committees, Royal College leadership and staff, legal) on how to addresses the evolving needs of the exams by researching and suggesting new and innovative psychometric techniques to influence exam boards/committees in determining the most appropriate and optimal methodologies to be used for their examinations.
• Leads research initiatives and academic publication within the milieu of examinations and/or assessment practices by producing works grounded in relevant theories and applies applicable methodological approaches to publish and disseminate research.
• Collaborates and maintains liaison with fellows, medical educators and sister and international organizations involved in medical education to organize and advance effective assessment approaches and methods by attending and/or presenting at conferences, collaborating on research projects, and publishing research.

Does this sound like you?

• Level of education, training, and experience equivalent to a Ph.D. with expertise in evaluation in education, 3 years of demonstrated experience in assessment.
• Operational testing experience in high stakes assessment and computer-based testing.
• Advanced understanding of, and the ability to use, statistical analysis software and databases.
• Demonstrated experience in developing and implementing assessment initiatives.
• Demonstrated ability in developing evaluation tools, policies, and initiatives.
• Writing, communication and interpersonal skills for concise and clear expression and the ability to lead interactive educational activities.
• Efficiency and skill in assimilating, organizing and outlining information and statistical material and in the use of computer technology.
• Organizational and time-management skills to deal with concurrent activities, the management of multiple priorities and the meeting of deadlines.
• Superior analytical skills, accuracy, and careful attention to detail in handling quantitative material.
• Capacity for independent action and problem-solving.
• Travel: Occasional 2-5 times per year.

How to get noticed?

Please apply through our UKG recruitment platform with your résumé, covering letter and salary expectations by August 3, 2026.

The Royal College invites applications from all qualified applicants. The Royal College is strongly committed to employment equity and diversity in the workplace and encourages applications from Black, racialized/visible minorities, Indigenous/Aboriginal people, women, persons with disabilities, and 2SLGBTQIA+ persons.

We sincerely thank all applicants for their interest; however, we will only contact those under consideration. An eligibility list may be established for similar positions of various tenures. The list will be retained for a maximum period of 18 months.

The Royal College supports a hybrid work environment which includes a combination of working both onsite in Ottawa and from home.

The Royal College will provide support in its recruitment processes to applicants with disabilities, including accommodation that considers an applicant’s accessibility needs. If you require accommodations during the interview process, please contact <[email hidden]>

Please note that the job advertisement will no longer be available once the position has closed.

Band 9 - Salary ranges from $103,846.00 to $155,871.00

------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Psychométricien ou psychométricienne

Assurance de la qualité des examens

Poste permanent

Les statistiques et les évaluations vous passionnent? Vous désirez contribuer au système de soins de santé canadien? Si c’est le cas, nous avons un rôle enrichissant à vous proposer. Vous contribuerez au processus d’évaluation des médecins spécialistes et orienterez l’élaboration des examens, l’amélioration de la qualité des examens et les pratiques d’évaluation au Collège royal. Date limite : 3 août 2026.

Aujourd’hui, le Collège royal compte plus de 55 000 membres, mais sa vision reste la même : faire progresser l’apprentissage des médecins spécialistes afin d’offrir les meilleurs soins de santé qui soient à la population. Il établit des relations de partenariat et de collaboration afin de piloter l’évolution de la formation médicale spécialisée et des normes dans ce domaine, aide les médecins spécialistes, les personnes apprenantes et les équipes à s’améliorer sans cesse et promeut l’excellence en médecine spécialisée en appuyant l’innovation, le bien-être, l’équité et les soins centrés sur la personne. Le Collège royal est une organisation d’envergure nationale sans but lucratif créée en 1929 en vertu d’une loi spéciale du Parlement dans le but d’encadrer la formation médicale des spécialistes au Canada.

Relevant du ou de la gestionnaire de la qualité et de l’analytique des données des examens, vous contribuerez au processus d’évaluation des médecins spécialistes en fournissant des conseils qui orientent la conception des examens, l’amélioration de la qualité des examens et les pratiques d’évaluation afin d’assurer la validité et l’équité des évaluations.

À ce titre, vous serez aussi responsable d’appliquer vos connaissances spécialisées en matière de tests, de mesure de données pédagogiques et psychologiques et d’évaluation afin d’appuyer la mission du Collège royal, qui consiste entre autres à évaluer les médecins spécialistes. Vous contribuerez à l’orientation stratégique de l’élaboration des examens, de l’amélioration de la qualité des examens ainsi que des méthodologies et pratiques d’évaluation. Vous fournirez une expertise au sujet des aspects techniques de mesure des évaluations. Vous tirerez profit de vos connaissances spécialisées en psychométrie et de votre compréhension approfondie des techniques statistiques ou d’autres techniques d’analyse conçues pour appuyer des projets de recherche psychométrique et d’autres projets d’une grande portée et complexité.

Aperçu de vos tâches quotidiennes

• Contribuer à la conceptualisation et à l’élaboration des ressources préparatoires et des examens du Collège royal à la lumière d’une compréhension des spécialités médicales en partageant votre connaissance approfondie des principes de mesure psychométrique et de l’analyse quantitative pour assurer l’utilité, la validité et la fiabilité des examens du Collège royal.
• Procéder à l’analyse psychométrique des données d’examen et à des études d’assurance de la qualité pour assurer l’intégrité et la qualité des données.
• Produire des rapports psychométriques qui présentent les résultats d’examen afin que les personnes candidates, les membres des comités et les têtes dirigeantes du Collège royal puissent en prendre connaissance.
• Orienter la direction de l’élaboration des examens, de l’amélioration de la qualité des examens et des pratiques d’évaluation du Collège royal afin d’assurer le caractère valide et équitable des examens.
• Contribuer à la prise de décisions concernant la conception et les résultats des examens afin d’en assurer la fiabilité et la qualité.
• Aider les partenaires internes et externes à concevoir des examens justes et valides en les guidant dans l’application des pratiques exemplaires et des politiques du Collège royal.

Ce profil vous correspond?

• Scolarité, formation et expérience équivalentes à une maîtrise en statistiques, en mathématiques, en éducation ou en psychologie.
• Six ans d’expérience de l’analyse statistique.
• Connaissance approfondie des techniques paramétriques et non paramétriques et des techniques de régression, ainsi que d’au moins un logiciel de statistiques (p. ex., SAS, SPSS, Stata, R); et connaissance ou expérience des systèmes de base de données relationnelles (p. ex., SQL, MS Access).
• Expérience de la gestion de données et de bases de données, compétences analytiques et connaissance de la méthodologie statistique.
• Minutie exceptionnelle dans le traitement de l’information et des données quantitatives.
• Expérience de travail avec les résultats de données, notamment en les interprétant et en les communiquant.
• Capacité de communiquer des idées complexes en termes simples et de les présenter à différents auditoires.
• Connaissance approfondie des applications Microsoft Office (Excel, Word, Outlook, etc.)

Pour postuler

Veuillez poser votre candidature dans la plateforme de recrutement UKG, et joindre votre curriculum vitæ, une lettre de motivation et vos attentes salariales d’ici le 3 août 2026.

Le Collège royal invite toutes les personnes qualifiées à postuler. Fermement engagé à l’égard de l’équité en matière d’emploi et de la diversité en milieu de travail, il encourage les personnes noires, racisées ou issues de minorités visibles ainsi que les Autochtones, les femmes, les personnes handicapées et les personnes 2ELGBTQQIA+ à poser leur candidature.

Nous remercions toutes les personnes qui manifestent leur intérêt, mais nous ne communiquerons qu’avec celles dont la candidature aura été retenue. Une liste d’admissibilité pourra être établie afin de pourvoir des postes similaires de durées diverses. La liste sera conservée pendant 18 mois.

Le Collège royal favorise un milieu de travail hybride, combinant le travail sur place à Ottawa et le travail à domicile.

Le Collège royal apportera son soutien aux candidates et candidats handicapés dans le cadre de ses processus de recrutement, notamment en proposant des accommodements qui tiennent compte de leurs besoins en matière d’accessibilité. Si vous souhaitez vous en prévaloir, communiquez avec nous à l’adresse <[email hidden]>.

Veuillez noter qu’il ne sera plus possible de consulter cette offre d’emploi une fois que le poste sera pourvu.

Échelon 9 – salaire de 103 846 $ à 155 871 $