Senior Scientist - GenAI Evaluation

En Johnson & Johnson creemos que la salud lo es todo. Nuestra fuerza en la innovación en la atención médica nos permite construir un mundo en el que se eviten, traten y curen enfermedades complejas, en el que los tratamientos sean más inteligentes y menos invasivos, y las soluciones sean personales. A través de nuestra experiencia en Medicina Innovadora y MedTech, estamos en una posición única para innovar en todo el espectro de soluciones de atención médica de hoy para ofrecer los avances del futuro y afectar profundamente a la salud para la humanidad. Obtenga más información en jnj.com Guiados por nuestro Credo, en Johnson & Johnson somos responsables de nuestros empleados que trabajan con nosotros en todo el mundo. Proporcionamos un entorno laboral inclusivo donde cada persona es tratada como individuo. En Johnson & Johnson, respetamos la diversidad y la dignidad de nuestros empleados y reconocemos sus méritos. Función de trabajo: Data Analytics & Computational Sciences Subfunción de trabajo: Data Science Categoría de trabajo: Scientific/Technology Todas las ubicaciones de colocación de trabajo: Cornellà de Llobregat, Barcelona, Spain, Madrid, Spain Descripción del trabajo: At J&J we are building Generative AI solutions to support pharmaceutical R&D — literature review, evidence synthesis, document Q&A, therapeutic area knowledge search, translational science workflows, and R&D decision support. These systems need to be evaluated before teams rely on them in scientific workflows. In pharma, a useful AI response depends on the question, user, source material, therapeutic area, and risk of error — so quality must be measurable, repeatable, traceable, and scientifically defensible. As a Senior Scientist in our Generative AI Evaluation & Standards (EQS) function within Data Science and Digital Health, you will design, build, and run the evaluation methods we depend on to assess these systems across R&D. You will author rubrics, curate benchmark and golden datasets, validate AI judges, and produce the quality readouts that inform release decisions. Want to shape how a top pharmaceutical company determines whether its AI is ready for real scientific work? This is that role! KEY RESPONSIBILITIES: We need someone who can build the evaluation assets our teams count on, and continuously improve them based on what we learn. Day to day, you will: - Design, build, and maintain automated evaluation pipelines for LLM quality, RAG performance, agent reliability, safety, and scientific accuracy. - Author evaluation rubrics and scoring criteria, curate golden and synthetic datasets with domain experts, and maintain our registry of reusable evaluation assets. - Validate AI judges against human expert agreement and run model, prompt, retriever, and agent benchmarks that produce standardized quality readouts. - Analyze failure patterns — hallucination, unsupported claims, weak traceability — and turn findings into actionable recommendations. - Develop therapeutic-area-specific evaluation criteria with scientific, clinical, and regulatory partners, refining them based on real-world feedback. - Design evaluation methods for scientific reasoning, evidence synthesis, and hypothesis quality — where generic benchmarks fall short. - Build evaluation tooling and reusable patterns that enable other teams to self-serve. QUALIFICATIONS Education: Master's degree in AI/ML, Computer Science, Data Science, Computational Biology, Bioinformatics, Biomedical Engineering, Applied Mathematics, Biostatistics, or a related field required. PhD preferred. EXPERIENCE AND SKILLS: Required: We are looking for someone with 6+ years of hands-on experience in AI/ML evaluation or data science (Master's) or 3+ years of industry experience (PhD). You should have experience designing and running evaluation frameworks, scientific benchmarks, or quality assessments for AI/ML systems, and hands-on work with generative AI — large language models, retrieval-augmented generation, agentic frameworks, and prompt engineering. We also value strong proficiency in Python and modern AI/ML tooling (evaluation harnesses, embedding models, vector databases, LLM APIs), the ability to translate expert scientific judgment into measurable criteria, rubrics, and reproducible protocols, and a collaborative, self-driven approach to working across multidisciplinary teams. PREFERRED: We would love to find someone who also brings experience with AI/ML evaluation in regulated environments (FDA, EMA, or equivalent), understanding of the drug development pipeline and biomedical data types, or domain expertise in oncology, immunology, or neuroscience. Experience designing or validating LLM-as-judge systems, implementing CI/CD evaluation pipelines, or publications in AI evaluation, NLP, or biomedical informatics are all a plus. OTHER: English proficiency is required (written and verbal). This is a hybrid role based in Madrid or Barcelona, with limited travel ( Habilidades requeridas: Habilidades deseables: Análisis avanzado, Análisis de datos, Análisis del flujo de trabajo, Ciencia de datos, Colaboración, Credibilidad técnica, Estándares de privacidad de datos, Experto en datos, Expertos en tecnología, Gestión de bases de datos, Inteligencia empresarial (BI), Mejoras de procesos, Modelos econométricos, Orientación, Pensamiento crítico, Presentación de informes de datos, Visualización de datos El intervalo de salario base anual previsto para esta posición es: €55,400.00 - €87,860.00 Beneficios: Además del salario base, ofrecemos los siguientes beneficios*: Una bonus variable anual con un objetivo o target preestablecido (% del salario fijo) en función del pay grade/ubicación, donde el importe a percibir se basa en el desempeño que hayan tenido durante el año natural anterior tanto los empleados como las empresas, o comisiones de ventas. Además, ofrecemos días de vacaciones, permiso parental por un mínimo de 12 semanas, permiso por duelo, permiso para cuidadores, permiso de voluntariado, reembolso de bienestar, programas de salud financiera, física y mental. Además, ofrecemos premios por aniversario de servicio y reconocimiento, y con sujeción a los términos de sus respectivos planes, los empleados, y los dependientes elegibles de algunas ubicaciones, pueden participar en varios planes de seguro. Para obtener más información, visite Employee benefits | Supporting well-being & career growth | Johnson & Johnson Careers. *Lo anterior se facilita con fines exclusivamente informativos. Los importes y los beneficios reales pueden variar según la ubicación y están sujetos a cambios.