Zum Hauptinhalt springen
Item Picking Roboter im Warenlager

Kamerabasiertes Item Picking: Kollege Roboter packt zusammen

Bosch Research hat ein Piece Picking System für Industrieroboter entwickelt, das die Kommissionierung in Warenlagern immens vereinfacht.

Auf dem Bild ist das Smart Item Picking System von Bosch Research und Bosch Rexroth in einem industriellen Umfeld zu sehen. Der Roboterarm greift ein Objekt vom Förderband.

Morgens halb zehn in einem ganz normalen Warenlager. Zehntausende verschiedene Produkte befinden sich in meterhohen Regalen. Gabelstapler bahnen sich in den Gängen dazwischen ihren Weg. Sie heben mal hier, mal dort eine Kiste aus dem Fach und fahren sie zur Verpack- respektive Kommissionier-Station. Mitarbeiterinnen und Mitarbeiter stellen dort die Versandpakete entsprechend der abgegebenen Kauforder zusammen – alles in Handarbeit. „In der Kommissionierung ist Automatisierung noch nicht wirklich angekommen“, sagt Christoph Marx, Forschungsingenieur bei Bosch Research im Bereich Montagetechnik und Industrierobotik. Eine Folge: Auf das Heraussuchen der Produkte aus den Boxen, das sogenannte Item Picking, entfallen rund 50 Prozent der Kosten einer Bestellverarbeitung im E-Commerce.

Im Gegensatz zu bisherigen Automatisierungslösungen im Fertigungsumfeld, die das Bosch Team sonst angeht, ist das Kommissionieren in Warenlagern eine ganz neue Welt, in der die Robotik-Experten großes Potenzial sehen. „In der industriellen Produktion sind unsere Roboter-Anwendungen in der Regel darauf spezialisiert, ein einzelnes Bauteil präzise und schnell zu greifen und an anderer Stelle mit hoher Genauigkeit und Qualität zu montieren. Ein und dasselbe Bauteil wird millionenfach gegriffen. Dabei sind Roboter-Greifer und Prozesse genau darauf abgestimmt“, erklärt Marx.

Zu sehen ist ein schwenkbarer Roboterarm von Bosch Rexroth in einem Fabrikumfeld. Darüber ist eine Kamera montiert. Der Roboterarm greift mit einem am Greifarm montierten Saugnapf eine kleine Box aus einer sortenreinen Kiste und legt ihn auf das Förderband.
Kamerabasiert greift der Roboterarm des Smart Item Pickers von Bosch Research und Bosch Rexroth das gewünschte Teil aus der Kiste und hilft so beim automatisierten Kommissionieren.

Beim Kommissionieren im Warenlager sind die Ingenieure mit ganz anderen Herausforderungen konfrontiert. Es geht darum, die unglaublich hohe Produktvielfalt an Größe, Gewicht und Form der Waren mit nur einem Roboter-System an der Kommissionier-Station handhaben zu können. Das Herausgreifen der Ware aus den ankommenden Boxen, das sogenannte „Bin Picking“, muss zudem ohne zusätzliche Vorabinformationen zu den Produkten auskommen. „Aufgrund der schieren Menge an Produkten und der sich stetig ändernden Produktpalette können wir keine Datenbank mit Produktinformationen zu typischen Eigenschaften oder gar CAD-Daten pflegen“, sagt der Robotik-Experte. Vielmehr hat das Team generalisierte Methoden für beispielsweise Greiftechnik und Objektsegmentierung erarbeitet, die für ein sehr breites Spektrum an Waren Anwendung findet, ohne zu wissen, was der Roboter in einer Box vorfindet.

Modellfreies „Bin Picking“ – die smarte Revolution im Warenlager

Zu sehen ist ein schwenkbarer Roboterarm von Bosch Rexroth in einem Fabrikumfeld. Darüber ist eine Kamera montiert. Der Roboterarm greift mit einem am Greifarm montierten Saugnapf eine kleine Box aus einer sortenreinen Kiste und legt ihn auf das Förderband.
Kamerabasiert greift der Roboterarm des Smart Item Pickers von Bosch Rexroth das gewünschte Teil aus der Kiste.

Genau für diese Automatisierungslücke hat Bosch Research in den vergangenen Jahren mit Industrierobotern eine neue intelligente Lösung entwickelt. Damit könnte der Alltag in Warenlagern künftig so aussehen: Ein Kunde bestellt beispielsweise zwei Scheibenwischer und ein Paket Bremsbeläge. Entsprechend des Kundenauftrages wird dann dem Roboter eine Box mit Scheibenwischern und eine Box mit Bremsbelägen am Kommissionier-Platz bereitgestellt. Dieser ist mit einer 3D-Kamera und einem Roboterarm ausgestattet. Die Kamera macht von oben eine Aufnahme des Boxeninhalts. Die integrierte Software erfasst nun den Inhalt, segmentiert daraus einzelne Produkte und schickt dem Roboter die genaue Position der gewünschten Ware sowie den optimalen „Griff“. Der Roboter berechnet eine ideale Bahn, um kollisionsfrei in die Box zu fahren, greift das gewünschte Produkt heraus und legt es zielsicher in den bereitstehenden Versandkarton. Für den zweiten Scheibenwischer aus der Bestellung macht die Kamera ein neues Bild und der Ablauf beginnt von vorn.

KI trifft auf klassische Methoden

In dieser Abfolge steckt eine ganze Menge an Forschungsarbeit der Bosch Research Experten für Industrierobotik.

Eine Grafik in fünf Schritten erklärt den Prozess des Objekterkennens, -greifens und -ablegens durch Smart Item Picking von Bosch Research.
Prozessgrafik für das Erkennen, Greifen und Ablegen von Objekten durch Smart Item Picking von Bosch Research.
Grafik, die den Vorgang des Objekterkennens durch das Smart Item Picking System von Bosch Research erklärt. Kamerabasiert erkennt das Smart Item Picking System von Bosch Research Objekte, ohne vorher zu „wissen“, was sich in der Kiste befindet. Zum Einsatz kommen zum einen klassische Verfahren der Bildverarbeitung, die in der Box nach primitiven Formen suchen. Für individuell geformte Objekte nutzen die Ingenieure zum anderen Deep Learning-Verfahren.

Erstens: die Objekterkennung.

„Der Roboter muss den Inhalt einer Kiste identifizieren können, ohne vorher zu wissen, was in dieser Kiste drin ist“, benennt Marx die Herausforderung. Zum Einsatz kommen zum einen klassische Verfahren der Bildverarbeitung, die in der Box nach primitiven Formen suchen. Für individuell geformte Objekte nutzen die Ingenieure zum anderen Deep Learning-Verfahren. Dazu muss der Algorithmus im Voraus regelrecht mit Bildern aus einem Warenportfolio gefüttert werden. „Wir definieren verschiedene Objektklassen, die im Produktspektrum der jeweiligen Kundenanwendungen enthalten sind und trainieren mit diesen Daten unser Netzwerk, “ sagt AI-Experte Philipp Schillinger vom Bosch Center for Artificial Intelligence (BCAI). Dieses Netzwerk kann dann in den verschiedenen Use Cases zum Einsatz kommen, sofern das Produktspektrum nicht zu stark abweicht.

Grafik, die darstellt, wie der Roboterarm des Smart Item Pickers von Bosch Research nun das passende Objekt aus der Kiste greift.

Zweitens: das Item Picking Wissen.

Algorithmusgestützt weiß der Roboter, welche der in der Box liegenden Waren er am sinnvollsten als erste herausholt. Dazu werden die gefundenen Posen der Objekte auf Basis von Eigenschaften wie beispielsweise Größe des Objekts, Güte der Objektsegmentierung und Position des Objekts in der Box miteinander verglichen.

Grafik, die die kollisionsfreie Bahnplanung für den Roboterarm des Smart Item Pickers von Bosch Research darstellt.

Drittens: die smarte kollisionsfreie Bahnplanung.

Sie vermeidet, dass der Roboter beim Griff in die Box oder auf dem Rückweg an Hindernissen hängen bleibt. Er findet also immer den besten Weg zum Produkt. Der zugrundeliegende Algorithmus sucht in einem mehrdimensionalen Lösungsraum nach möglichen Bewegungspfaden und prüft dabei mögliche Kollisionen des Roboterarms mit seiner Umgebung. Am Ende wird eine Roboterbahn gewählt, die für den Roboterarm möglichst kurz und damit effizient ist, um wichtige Taktzeit zu sparen.

Grafik, die erklärt, wie beim System Smart Item Picking von Bosch Research zum einen der richtige Greifer ausgewählt wird und zum anderen passende Saugnäpfe aktiviert oder deaktiviert werden, um das Zielobjekt richtig zu greifen.

Viertens: die Greifer.

Von den Rechenmodellen abgesehen haben die Ingenieure spezielle Greifer entwickelt, die mit einer großen Produktvielfalt zurechtkommen und die zu greifenden Produkte gleichzeitig nicht beschädigen. Sie sind zusätzlich so designt, dass sie problemlos Bauteile aus den Ecken greifen können und die Box somit auch wirklich geleert werden kann. Je nach Größe des zu greifenden Objekts werden einzelne Saugnäpfe des Universalgreifers aktiviert oder abgeschaltet.

Grafik, die erklärt, wie Smart Item Picking als letzten Schritt des Vorgangs das Objekt nach dem Greifen in die Zielkiste ablegt.

Fünftens: das gezielte Ablegen des Gegenstandes in den Versandkarton.

Dabei gibt es verschiedene Möglichkeiten: zum einem das Fallenlassen (engl. „Droppen“), zum anderen das gezielte Platzieren in einen Karton (engl. „Placing“). Ziel des „Placings“ ist es unter anderem, das Volumen des Versandkartons bestmöglich auszunutzen. Zum jetzigen Projektstand wird meistens noch auf das „Droppen“ zurückgegriffen. Eine Erweiterung um das „Placing“-Features ist allerdings fest in der aktuellen Entwicklungsplanung verankert.

Im Video erklärt: das Smart Item Picking System von Bosch Research und Bosch Rexroth (nur in englischer Sprache verfügbar)

Bosch Research Forscherinnen und Forscher arbeiten Hand in Hand mit den Produktentwicklerinnen und -entwicklern im Bosch Geschäftsbereich

Die Idee, sich näher mit der Automatisierungslücke im E-Commerce zu beschäftigen, entstand bei Bosch Research vor etwa drei Jahren. Den konkreten Bedarf brachte etwas später Bosch Rexroth ins Spiel. Einer ihrer Kunden war auf der Suche nach einer automatisierten Kommissionier-Anlage. So wurde die Entwicklung des Smart Item Picking Roboters zu einem gemeinsamen Projekt von Bosch Research und Bosch Rexroth.

Auf dem Bild ist ein Roboterarm von Bosch Rexroth zu sehen, der ein kleines Päckchen aus einer Kiste greift.
Bosch Research und Bosch Rexroth arbeiten gemeinsam an der Entwicklung des Systems Smart Item Picking.
Zu sehen ist der Roboterarm des Smart Item Picking Systems umgeben von Kisten mit kleinen Gegenständen in der Modellfabrik von Bosch Rexroth in Ulm.
Das Smart Item Picking System in der Modellfabrik von Bosch Rexroth in Ulm.
Zu sehen ist der Roboterarm des Smart Item Picking Systems umgeben von Kisten mit kleinen Gegenständen in der Modellfabrik von Bosch Rexroth in Ulm.
Das Smart Item Picking System in der Modellfabrik von Bosch Rexroth in Ulm.
Zu sehen ist der Roboterarm des Smart Item Picking Systems umgeben von Kisten mit kleinen Gegenständen in der Modellfabrik von Bosch Rexroth in Ulm.
Das Smart Item Picking System in der Modellfabrik von Bosch Rexroth in Ulm.
/

Einen ersten Prototyp entwickelte das zehnköpfige Projektteam für die Modellfabrik von Bosch Rexroth in Ulm. Aufgabe von Bosch Rexroth war es anschließend, den Prototypen in die Serienreife zu bringen. „Dabei hatten wir von Anfang an die Idee, ein Baukastensystem auf den Markt zu bringen, mit dem sich die Kundenbedürfnisse offen und branchenspezifisch abbilden lassen“, berichtet Jörg Heckel von Bosch Rexroth. Je nach Produktportfolio und Arbeitsplatz stellt Bosch den passenden Roboterarm, 3D-Sensor und Greifer zusammen und schnürt das passende Softwarepaket mit den nötigen Algorithmen. Ende Mai 2022 wird das Projektteam das neue kundenfertige System auf der Stuttgarter Logistikmesse Logimat offiziell vorstellen.

Mit Hilfe verschiedener von Bosch entwickelter Algorithmen sind Item Picking Roboter in der Lage, konkrete Produkte in Warenboxen zu erkennen, sie herauszunehmen und in das Versandpaket zu legen. Die verschiedenen USP, die in dem System stecken und die Bosch Research entwickelt und gemeinsam mit Bosch Rexroth zur Marktreife gebracht hat, sehen Sie hier:

Eine Grafik, die die sechs Hauptvorteile des Smart Item Picking Systems von Bosch Research zeigt, wie z.B. "Expertise und Know-how im Bereich Item Picking" oder die Möglichkeit, verschiedene Roboter und Sensoren zu kombinieren.
Die sechs wichtigsten Vorteile des Smart Item Picking Systems von Bosch Research.

Alleinstellungsmerkmale des Smart Item Picking Systems

Mithilfe klassischer Computer-Vision-Algorithmen und moderner KI-Methoden können einzelne Objekte in der Kiste erkannt werden, unabhängig davon, ob sie chaotisch darin liegen oder ordentlich gestapelt sind. Für die Objekterkennung sind keine Vorkenntnisse oder CAD-Modelle der Artikel erforderlich.

Der Roboter plant einen Weg in die Box, um ein Objekt zu greifen, ohne dabei mit der Umgebung oder anderen Gegenständen in der Box zu kollidieren. Mithilfe des kollisionsfreien Pfadplaners kann ein optimaler Weg für den Roboterarm und bestmögliches Greifverhalten bestimmt werden.

Da Smart Item Picking als Bausatz entwickelt wurde, können verschiedene Industrieroboter mit unterschiedlicher Reichweite und Traglast mit verschiedenen Arten von 3D-Vision-Sensoren kombiniert werden, die von hochpräzise bis preisgünstig reichen.

„Welches Objekt soll der Roboterarm zuerst aus den erkannten Artikeln in der Box herausgreifen?“ Um diese Frage zu klären, wurden viele Überlegungen und Tests durchgeführt. Sie gehört zum Kern-Know-how von Bin Picking Anwendungen bei Bosch Research.

Es wird ein Universalgreifer verwendet, um viele verschiedene Teile handhaben zu können, ohne dass zwischendurch ein Greiferwechsel stattfinden muss. Eine große Herausforderung ist dabei, dass dieser Greifer universell für eine ganze Reihe von Objekten einsetzbar ist und dennoch zuverlässig spezifische Teile greifen kann.

Neben Softwarealgorithmen und KI-Methoden von Bosch Research für das Smart Item Picking System verfügt Bosch Rexroth über eigene Anlagentechnik und einen eigenen Anlagenbau, was Bosch unter den Wettbewerbern und Start-ups in dieser Domäne einzigartig macht.

Bosch-Forschungsexperte und Mechatronik-Ingenieur Christoph Marx beschäftigt sich auf dem Bosch Research Campus in Renningen mit Robotik im industriellen Kontext.

Christoph Marx

Christoph Marx hat Maschinenbau und Mechatronik an der Hochschule Esslingen studiert. Bereits während seiner Studienzeit beschäftigte er sich mit der Industrierobotik und Softwareentwicklung und hat in seiner Abschlussarbeit bei Bosch Research an der Entwicklung des automatischen Produktionsassistenten „APAS“ mitgewirkt. Seit 2016 ist Christoph Marx als Forschungsingenieur bei Bosch Research tätig. Bis 2019 beschäftigten er und seine Teamkolleginnen und -kollegen sich mit Robotersystemen in der Produktion. Fokus des Teams war hierbei immer die Programmierung der Roboter mit Hilfe von spezifischen Bahnplanungsalgorithmen und 3D-Bildverarbeitungsmethoden zu vereinfachen. Ein weiterer Schwerpunkt waren zweiarmige Robotersysteme, die dem Menschen nachempfunden sind, sowie deren Einsatz in typischen Handarbeitsplätzen in der Bosch-Produktion. Seit 2019 beschäftigen sich Marx und seine Kolleginnen und Kollegen mit der Automatisierung von Kommissionier-Aufgaben in Warenlagern, welche durch das stetige Wachstum im Bereich e-Commerce zunehmend wichtig wird. Marx vertritt zudem seit Kurzem Bosch im gemeinnützigen Verein „euRobotics“ der europäischen Robotik-Community, in der unter anderem Einfluss auf zukünftige Robotikthemen der Europäischen Forschungsrahmenprogramme genommen wird.

Teile diese Seite auf