Несмотря на значительный прогресс в области систем искусственного интеллекта (ИИ), большинство существующих современных систем (СОТА) представляют собой одномодальные однозадачные системы, что создает проблемы при разработке медицинских систем ИИ, поскольку медицинские задачи по своей сути являются мультимодальными с богатыми модальностями. включая текст, изображения, геномику и многое другое.

Чтобы восполнить этот пробел, в новой статье Towards Generalist Biomedical AI исследовательская группа из Google Research и Google DeepMind представляет Med-PaLM Multimodal (Med-PaLM M), большую мультимодальную генеративную модель, которая может обрабатывать мультимодальные биомедицинские данные, включая клинический язык, визуализацию и геномику, с использованием единого набора весов модели без какой-либо модификации для конкретной задачи.

Команда резюмирует свой основной вклад следующим образом:

  1. Курирование MultiMedBench Мы представляем MultiMedBench, новый мультимодальный биомедицинский тест, охватывающий несколько модальностей, включая медицинскую визуализацию, клинический текст и геномику, с 14 различными задачами для обучения и оценки универсальных биомедицинских систем искусственного интеллекта.
  2. Med-PaLM M, первая демонстрация универсальной биомедицинской системы искусственного интеллекта Мы представляем Med-PaLM M, единую многозадачную мультимодальную биомедицинскую систему искусственного интеллекта, которая может выполнять классификацию медицинских изображений, ответы на медицинские вопросы, визуальные ответы на вопросы. , создание и обобщение радиологических отчетов, вызов геномных вариантов и многое другое с тем же набором весов модели.
  3. Доказательства новых эмерджентных возможностей в Med-PaLM M. Помимо количественных оценок выполнения задач, мы наблюдаем доказательства нулевого медицинского рассуждения, обобщения новых медицинских концепций и задач и положительного переноса между задачами.
  4. Оценка выходных данных Med-PaLM M человеком. Помимо автоматических показателей, мы проводим рентгенологическую оценку отчетов о рентгенографии грудной клетки, созданных Med-PaLM M, в различных масштабах моделей.

Команда начинает с решения проблемы отсутствия комплексных мультимодальных медицинских тестов, предлагая MultiMedBench, мультимодальный биомедицинский тест, который охватывает широкий спектр мультимодальных источников данных для…