Zum Hauptinhalt springen
Unsere Forschungsexperten

Liu Ren, Ph.D.

Bosch HMI – Von der Human–Machine Interaction zur Human-Machine Intelligence

„Mit integrierter Human-Machine Intelligence ebnen wir den Weg für intelligente und vertrauenswürdige AIoT-Produkte und -Dienstleistungen, die begeistern und die Lebensqualität verbessern.“

Liu Ren, Ph.D.

Ich bin der Vizepräsident und Chief Scientist of Integrated Human-Machine Intelligence (HMI) bei Bosch Research in Nordamerika. Ich lenke strategische Entscheidungen und bin verantwortlich für die Entwicklung hochmoderner KI-Technologien mit dem Schwerpunkt visuelle Big Data Analytik, Erklärbare Künstliche Intelligenz, Mixed Reality/AR, Computerwahrnehmung, NLP, Conversational AI, Audioanalyse, Datenanalyse von tragbaren Geräten usw. für AIoT-Anwendungsbereiche wie autonomes Fahren, Fahrzeug-Infotainment und fortgeschrittene Fahrassistenzsysteme (ADAS), Industrie 4.0, Smart-Home/Building-Lösungen, Robotik und weitere. Als verantwortlicher Global Head überwache ich die Forschungsaktivitäten der Teams im Silicon Valley (USA), Pittsburgh (USA) und Renningen (Deutschland). Ich wurde mit dem Bosch North America Inventor of the Year Award für 3D-Karten (2016) ausgezeichnet und erhielt den Best Paper Award (2018, 2020) und den Honorable Mention Award (2016) für visuelle Big Data Analytik auf der IEEE Visualization Konferenz.

Lebenslauf

  1. Informatik-Postdoktorand, Visionsbasierte Leistungsschnittstelle, maschinelles Lernen für die Bewegungserfassung, Analyse und Synthese, Carnegie Mellon University (USA)
  2. Informatik-Doktorand, Computergrafik, Echtzeit-Rendering und wissenschaftliche Visualisierung, Mitsubishi Electric Research Laboratories (USA)
  3. M. Sc. in Informatik, KI-gestütztes CAD, Zhejiang University (China)

Ausgewählte Publikationen

  • Title

    L. Gou et al. (2020)

    VATLD: A Visual Analytics System to Assess, Understand and Improve Traffic Light Detection
    • L. Gou, L. Zou, N. Li, M. Hofmann, A. K. Shekar, A. Windt, L. Ren
    • EEE Visualization (VAST) (2020)
    • IEEE Transactions on Visualization and Computer Graphics 2021
    • Best Paper Award
  • Title

    L. Ren (2020)

    More Transparent AI with Visual Analytics
    • Bosch Digitial Annual Book 2019
  • Title

    L. Ren (2019)

    Opening the Black Box of Automotive AI – A Visual Analytics Approach
    • Auto.AI USA 2019
    • Opening Keynote
  • Title

    Y. Ming et al. (2019)

    ProtoSteer: Steering Deep Sequence Model with Prototypes
    • Y. Ming, P. Xu, F. Cheng, H. Qu, L. Ren
    • IEEE Visualization (VAST) (2019)
    • IEEE Transactions on Visualization and Computer Graphics ( Volume: 26, Issue: 1, Jan. 2020)
  • Title

    Y. Yang et al. (2019)

    Analytic Combined IMU Integration (ACI^2) For Visual Inertial Navigation
    • Y. Yang, B. P. Wisely Babu, C. Chen, G. Huang, L. Ren
    • ICRA 2020
    • 2020 IEEE International Conference on Robotics and Automation
  • Title

    Y.Ming et al. (2019)

    Interpretable and Steerable Sequence Learning via Prototypes
    • Y. Ming, P. Xu, H. Qu, L. Ren
    • ACM SIG KDD 2019
    • ACM SIGKDD International Conference on Knowledge Discovery and Data Mining
  • Title

    D. Liu et al. (2018)

    TPFlow: Progressive partition and multidimensional pattern extraction for large-scale spatio-temporal data analysis
    • D. Liu, P. Xu, L. Ren
    • IEEE Visualization (2018)
    • IEEE Transactions on Visualization and Computer Graphics ( Volume: 25, Issue: 1, Jan. 2019)
    • Best Paper Award
  • Title

    B. P. W. Babu et al. (2018)

    On exploiting per-pixel motion conflicts to extract secondary motions
    • B. P. W. Babu, Z. Yan, M. Ye, L. Ren
    • IEEE International Symposium on Mixed and Augmented Reality (ISMAR) (2018)
  • Publications

    A. Bilal et al. (2018)

    Do convolutional neural networks learn class hierarchy?
    • A. Bilal, A. Jourabloo, M. Ye, X. Liu, L. Ren
    • IEEE Visualization (2017)
    • IEEE Transactions on Visualization and Computer Graphics, vol. 24, issue 1, pp. 152-162
  • Publications

    Y. Chen et al. (2018)

    Sequence synopsis: Optimize visual summary of temporal event data
    • Y. Chen, P. Xu, L. Ren
    • IEEE Visualization (2017)
    • IEEE Transactions on Visualization and Computer Graphics, vol. 24, issue 1, pp. 45-55
  • Publications

    Z. Yan et al. (2017)

    Dense visual SLAM with probabilistic surfel map
    • Z. Yan, M. Ye, L. Ren
    • Mixed and Augmented Reality (ISMAR) (2017)
    • IEEE International Symposium (2017)
    • IEEE Transactions on Visualization and Computer Graphics, vol. 23, issue 11
  • Publications

    A. Bilal & L. Ren (2017)

    Powerset: A comprehensive visualization of set intersections
    • IEEE Visualization (2016)
    • IEEE Transactions on Visualization and Computer Graphics, vol. 23, issue 1, pp. 361-370
  • Publications

    P. Xu et al. (2017)

    ViDX: Visual diagnostics of assembly line performance in smart factories
    • P Xu, H. Mei, L. Ren, W. Chen
    • IEEE Visualization (2016)
    • IEEE Transactions on Visualization and Computer Graphics, vol. 23, issue 1, pp. 291-300
    • Best Paper Honorable Mention Award
  • Publications

    A. Jourabloo et al. (2017)

    Pose-invariant face alignment with a single CNN
    • A. Jourabloo, M. Ye, X. Liu, L. Ren
    • IEEE International Conference on Computer Vision (ICCV) (2017), pp. 3219-3228
  • Publications

    C. Du et al. (2016)

    Edge snapping-based depth enhancement for dynamic occlusion handling in augmented reality
    • C. Du, Y. Chen, M. Ye, L. Ren
    • IEEE International Symposium on Mixed and Augmented Reality (ISMAR) (2016), pp. 54-62
  • Publications

    M. Ye et al. (2011)

    Accurate 3d pose estimation from a single depth image
    • M. Ye, X. Wang, R. Yang, L. Ren, M. Pollefeys
    • IEEE International Conference on Computer Vision (ICCV) (2011), pp. 731-738
  • Publications

    X. Huang et al. (2009)

    Image deblurring for less intrusive iris capture
    • X. Huang, L. Ren, R. Yang
    • IEEE International Conference on Computer Vision and Pattern Recognition (CVPR) (2009), pp. 1558-1565
  • Publications

    L. Ren et al. (2005)

    A Data-Driven Approach to Quantifying Natural Human Motion
    • L. Ren, A. Patrick, A. Efros, J. Hodgins, J. Rehg
    • ACM Transactions on Graphics (SIGGRAPH 2005), vol. 24, issue 3, pp. 1090-1097
  • Publications

    L. Ren et al. (2005)

    Learning Silhouette Features for Control of Human Motion
    • L. Ren, G. Sharknarovich, J. Hodgins, H. Pfister, P. Viola
    • ACM Transactions on Graphics (SIGGRAPH 2004 Recommendation), vol. 24, issue 4, pp. 1303-1331
  • Publications

    L. Ren et al. (2002)

    Object Space EWA Surface Splatting: A Hardware Accelerated Approach to High Quality Point Rendering
    • L. Ren, H. Pfister, M. Zwicker
    • Computer Graphics Forum, vol. 21, issue 3, pp. 461-470
    • EUROGRAPHICS 2002, Best Paper Nominee

Interview mit Liu Ren, Ph.D.

Liu Ren, Ph.D.

VP und Chief Scientist of Integrated Human-Machine Intelligence

Erzählen Sie doch mal: was fasziniert Sie an der Forschung?
Im Zeitalter der KI befasst sich unsere Forschung in diesem Bereich damit, wie wir maschinelle Intelligenz mit menschlicher Intelligenz kombinieren können, um leistungsfähige AIoT-Produkte und -Dienstleistungen mit einem hohen Level an Nutzerfreundlichkeit zu erschaffen. Die KI-Forschung zu Themen wie Mixed Reality/AR, Conversational AI und Smart Wearables und die daraus resultierenden Produkte können unser alltägliches Leben maßgeblich beeinflussen. Zudem können viele arbeitsintensive Aufgaben für unsere Mitarbeiter und Entwickler automatisiert werden, indem wir Herausforderungen in den Bereichen Visuelle Big Data Analytik, Erklärbare KI, NLP, Audioanalyse usw. bewältigen. Ich finde das Potential sehr aufregend. Die Ergebnisse unserer Spitzenforschung können nicht nur auf führenden KI-Konferenzen vorgestellt werden, sondern sind vor allem konkret nutzbar. Sie sind Alleinstellungsmerkmale (USP), die unsere Produkte in unseren Geschäftsbereichen so erfolgreich machen – darunter autonomes Fahren, fortgeschrittene Fahrassistenzsysteme, Smart Home/Building, Fahrzeug-Infotainment, Smart Manufacturing, Robotik usw.

Was macht die Forschung bei Bosch besonders?
Zunächst einmal ist Bosch international aufgestellt. Durch die Arbeit in unserer Forschungsanlage im Silicon Valley, dem Dreh- und Angelpunkt für KI und Softwareinnovationen, profitieren unsere Forscher von der hiesigen Netzwerkstruktur. So können sie frühzeitig Trends erkennen und mitgestalten, mit Professoren aus hochrangigen Universitäten wie Stanford und UC Berkley an Forschungsschwerpunkten zusammenarbeiten und Innovationen vorantreiben, indem sie sich mit neu entstehenden und bislang unerkannten Geschäftsbedürfnissen befassen. Auf diese Art wollen sie die Welt um uns herum und Boschs zukünftige Entwicklungen bestimmen und beeinflussen. Neben der internationalen Aufstellung verfügt Bosch auch über ein breit gefächertes Produktportfolio, was unseren Forschern ermöglicht, Neuerungen durch nachhaltige KI-Lösungen voranzubringen, die kundenorientiert und marktgerecht sind und eine signifikante Wirkung erzielen, weit über das Streben nach wissenschaftlichen Erfolgen hinaus. Das heißt jedoch nicht, dass wir uns nur auf kurzfristige Ergebnisse konzentrieren. Bosch ist in der einzigartigen Position, langfristige Forschung passend zu unserer Geschäftsstrategie verfolgen zu können, weil wir ein privates Unternehmen sind, das von Fluktuationen auf dem Aktienmarkt viel weniger betroffen ist.

Woran forschen Sie bei Bosch?
Forschung geht immer in die Breite und in die Tiefe. Obwohl das Forschungsgebiet der Mensch-Maschine-Intelligenz (HMI) sehr umfangreich ist, haben die verschiedenen Forschungsanwendungen auf diesem Gebiet etwas gemeinsam. Die meisten von ihnen müssen bereichsspezifische KI-Technologien und Benutzeranforderungen handhaben. Als verantwortlicher Global Head arbeite ich eng mit meinen globalen Teams zusammen, um Forschungsstrategien und Fahrpläne für die verschiedenen AIoT-Themenbereiche zu entwerfen. Anders gesagt: Ich entscheide, was wir machen und was nicht – eine herausfordernde Aufgabe, für die man ein tiefes Verständnis für technologische Trends und Grenzen, Marktsituationen, Geschäftsbedürfnisse und Ressourcenbeschränkungen benötigt. Als Chief Scientist konzentriert sich meine Forschung eher auf Visual Computing, ein spezifischer KI-Themenbereich, der eng mit Computer Vision, Computer Graphics, Visualisierung und Maschinenlernen verwandt ist. Das ist übrigens auch mein Lieblingsforschungsthema. Mein Forschungsschwerpunkt umfasst visuelle Big Data Analytik, erklärbare KI, Mixed Reality/AR, 3D-Wahrnehmung und Smart Wearables, die ein Hauptbestandteil von Schlüsselprodukten und -services für V&V beim autonomen Fahren, Cloud-basierte Handelsanalyse, intelligente Fahrzeugreparaturassistenten, Fahrzeug-Infotainment, intelligente Messwerkzeuge und Industrie 4.0. sind. Zusammen mit meinem Team und unseren Partnern habe ich insbesondere dabei geholfen, die Forschung zu visueller Analytik und erklärbarer KI im Sinne von AIoT innerhalb der Forschungsgemeinde mit zu prägen. Für diesen Bereich von Bosch Research habe ich kürzlich drei Best Paper (bzw. Honorable Mention) Awards auf renommierten Konferenzen für Computerwissenschaften gewonnen.

Was sind die größten wissenschaftlichen Herausforderungen in Ihrem Forschungsfeld?
Ich sehe drei wesentliche Herausforderungen für unsere AIoT-Forschung. Alle hängen mit dem Skalierungsbedarf typischer AIoT-Produkte und -Dienstleistungen zusammen. Der Schlüssel für ein herausragendes Nutzererlebnis bei großflächig eingeführten AIoT-Produkten (z. B. Smart Speaker) liegt zunächst einmal darin, die Benutzer zu verstehen. Das ist schon seit langem ein Problem in der Forschung, weil es noch immer sehr schwierig ist, die Intentionen, das Verhalten und die Gefühleder Benutzer durch verschiedene Inputverfahren wie Sprache, Audio, Gesten und Bildmaterial genau nachzuvollziehen. Zweitens stehen wir noch immer vor der großen Herausforderung, herauszufinden, wie wir ein intuitives Nutzererlebnis für AIoT-Produkte und -Dienstleistungen in einer dynamischen Umgebung umsetzen können. Die meisten bisherigen Lösungen funktionieren in kontrollierten Umgebungen gut (z. B. AR-Systeme in ruhigen, geschlossenen Räumen), weisen jedoch mangelnde Stabilität und Skalierbarkeit in unkontrollierten Umgebungen auf (z. B. laute Außenumgebung). Dadurch sind einige der bestehenden Lösungen kaum für eine breitere Einführung geeignet. Und schließlich können neben der Nutzererfahrung auch Aspekte der Vertrauenswürdigkeit die umfassende Übernahme von AIoT-Produkten oder -Dienstleistungen erschweren, da die meisten KI-Systeme wie eine Black Box funktionieren. Hier könnte es hilfreich sein, menschliche Intelligenz zur Verbesserung der Interpretierbarkeit und Stabilität eines KI-Systems einzusetzen. Eine visuelle Analytik, die Representation Learning (z. B. XAI), Datenvisualisierung und minimale Benutzerinteraktion miteinander kombiniert, gilt beispielsweise als vielversprechender Ansatz zur Lösung dieses Problems.

Wie werden Ihre Forschungsergebnisse zu "Technik fürs Leben"?
Damit unsere Ergebnisse Teil einer „Technik fürs Leben“ werden, müssen sie eine echte Wirkung in der realen Welt erzielen. Ein früheres Highlight ist die 3D artMap. Als weltweit erste künstlerisch gestaltete 3D-Karte zur Navigation hebt die 3D artMap wichtige Elemente auf der Karte durch künstlerische Gestaltung hervor, erleichtert die Orientierung und ermöglicht ein individuelles Fahrerlebnis. Sie wurde als Standardprodukt der Automobilindustrie übernommen und kommt aktuell in einer Reihe von Navigationssystemen zum Einsatz. Ein weiteres Beispiel ist der Bosch Intelligent Glove (BIG), eines der neuesten Highlights aus dem Bereich Industrie 4.0. Der intelligente Handschuh verfügt über smarte Sensoren und kann die Qualität und Effizienz der Produktion verbessern und somit die Herstellungskosten verringern – und zwar basierend auf unseren einzigartigen Algorithmen zur Erkennung und Analyse detaillierter Fingerbewegungen. Neben der erfolgreichen SOP in China hat BIG vor Kurzem den „World’s Top 10 Industry 4.0 Innovation Award“ des chinesischen Verbands für Wissenschaft und Technologie gewonnen. Er wurde zusammen mit weiteren Innovationen aus der Industrie 4.0 von wichtigen globalen Konzernen wie Siemens und GE geehrt. Der Großteil unserer jüngsten Forschung zu visueller Analytik und erklärbarer KI hat nicht nur unsere Wissenschaftsgemeinde beeinflusst (z. B. drei kürzlich erhaltene Best Paper bzw. Honorable Mention Awards auf den hochrangigen Konferenzen für Computerwissenschaften in diesem Bereich), sondern wird auch für unsere wichtigsten AIoT-Anwendungen in den Bereichen Mobilität, Konsumgüter und Smart Manufacturing eingesetzt.

Ihr Kontakt zu mir

Liu Ren, Ph.D.
VP und Chief Scientist of Integrated Human-Machine Intelligence

Teile diese Seite auf