OpenAI GPT-4b micro zeigt 50-fache Verbesserung bei Stammzell-Reprogrammierung

Die Forschungsergebnisse demonstrieren erstmals den praktischen Einsatz von Large Language Models für die Proteinentwicklung in einem therapeutisch relevanten Kontext. Für europäische Biotech-Unternehmen und KI-Teams eröffnet dies neue Perspektiven für den Einsatz spezialisierter Modelle in der Arzneimittelentwicklung.

Spezialisiertes Modell für Protein-Engineering

GPT-4b micro wurde von einer skalierten Version von GPT-4o initialisiert und anschließend mit einem Dataset aus Proteinsequenzen, biologischen Texten und tokenisierten 3D-Strukturdaten trainiert. Anders als herkömmliche Protein-Sprachmodelle berücksichtigt das Modell zusätzliche Kontextinformationen wie textuelle Beschreibungen, ko-evolutionäre homologe Sequenzen und Protein-Interaktionsgruppen.

Durch diese Anreicherung kann das Modell mit bis zu 64.000 Token arbeiten – eine für Proteinsequenz-Modelle beispiellose Kontextgröße. Dies ermöglicht eine präzisere Steuerung und bessere Ausgabequalität bei der Generierung von Sequenzen mit gewünschten Eigenschaften.

Das Training zeigte ähnliche Skalierungsgesetze wie bei Sprachmodellen: Größere Modelle mit umfangreicheren Datensätzen erzielten vorhersagbare Verbesserungen bei Perplexität und nachgelagerten Protein-Benchmarks.

Optimierung der Yamanaka-Faktoren

Die Yamanaka-Faktoren (OCT4, SOX2, KLF4, MYC) gelten als Schlüsselproteine der regenerativen Biologie, leiden jedoch unter geringer Effizienz: Typischerweise wandeln sich weniger als 0,1% der Zellen während der Behandlung um. Herkömmliche „Directed-Evolution"-Screens können nur einen Bruchteil des Designraums erkunden – bei SOX2 mit 317 Aminosäuren ergeben sich etwa 10^1000 mögliche Varianten.

Retro Biosciences entwickelte eine Screening-Plattform mit humanen Fibroblasten-Zellen und testete zunächst manuell designte SOX2-Varianten. Anschließend generierte GPT-4b micro diverse "RetroSOX"-Sequenzen, von denen über 30% die Wildtyp-Performance bei wichtigen Pluripotenz-Markern übertrafen – bei einer durchschnittlichen Abweichung von über 100 Aminosäuren.

Bei der Reengineering von KLF4, dem größten Yamanaka-Faktor, erreichten 14 modellgenerierte Varianten eine Trefferquote von fast 50%, verglichen mit typischen Raten unter 10% bei traditionellen Screens.

Validierung und praktische Implikationen

Die Kombination der besten RetroSOX- und RetroKLF-Varianten zeigte die größten Verbesserungen. In drei unabhängigen Experimenten wiesen Fibroblasten einen dramatischen Anstieg sowohl früher (SSEA-4) als auch später (TRA-1-60, NANOG) Marker auf, wobei späte Marker mehrere Tage früher erschienen als bei der Wildtyp-OSKM-Mischung.

Für europäische Unternehmen im Biotech-Sektor bedeutet dies eine neue Kategorie von KI-Tools für die Proteinentwicklung. Die Ergebnisse zeigen, dass spezialisierte LLMs praktische Durchbrüche in der therapeutischen Entwicklung erzielen können, insbesondere bei komplexen Proteinen mit unstrukturierten Regionen.

Ausblick für KI-Teams und Biotech-Entwicklung

Die Veröffentlichung von GPT-4b micro-Erkenntnissen signalisiert OpenAIs Engagement für reproduzierbare Forschung in den Lebenswissenschaften. Für europäische KI-Teams ergeben sich neue Anforderungen an spezialisierte Trainingsdaten und Evaluationsmethoden, da traditionelle In-silico-Evaluationen oft nicht die reale Nützlichkeit widerspiegeln.

Die 50-fache Verbesserung der Stammzell-Reprogrammierung durch OpenAI GPT-4b micro demonstriert das Potenzial zielgerichteter KI-Modelle für konkrete biotechnologische Anwendungen. Dies könnte den Weg für weitere spezialisierte Modelle in der Arzneimittelentwicklung ebnen.

Original source: OpenAI veröffentlichte die Forschungsergebnisse zu GPT-4b micro und der Zusammenarbeit mit Retro Biosciences unter https://openai.com/index/accelerating-life-sciences-research-with-retro-biosciences