AWS erweitert Datenpipelines und erstellt Amazon Q Gen-AI Assistant

By | November 29, 2023

Die KI ist hungrig. In unserer aktuellen Ära der künstlichen Intelligenz (KI), in der die neue Ära der generativen KI einen scheinbar grenzenlosen Appetit auf riesige Informationsressourcen zeigt, wird der Bereich der Unternehmenstechnologie nicht müde, über die Bedeutung von Daten und wie wir sie in ihrer ganzen Vielfalt verwalten, zu sprechen Aspekte. Formen.

Da Daten in so unterschiedlichen Strukturen und Formen vorliegen, können wir viel damit anfangen. Das ist in Ordnung, d. h. wir möchten, dass einige Daten in Transaktionssystemen gespeichert werden (Einzelhandelsdatenbanken könnten ein einfaches Beispiel sein); Wir möchten, dass einige Daten in Systemen mit schnellem Zugriff und geringer Latenz verbleiben, da häufig auf sie zugegriffen, sie abgefragt und aktualisiert werden. wir wollen bei weniger häufig genutzten Daten Geld sparen und günstigere Datenspeicher nutzen; Wir möchten, dass einige Informationen hochgradig geordnet, strukturiert und dedupliziert sind (weil sie sich beispielsweise auf geschäftskritische Anwendungen an vorderster Front beziehen). und wir können auch die Tatsache schätzen, dass einige unstrukturierte Daten in einen Datensee geleitet werden können, einfach weil wir nicht alle Sprachaufzeichnungen, Videos, Sensormesswerte für das Internet der Dinge (IoT) oder sogar Dokumente kategorisieren können, die heute vielleicht nicht benötigt werden, aber vielleicht morgen.

Extrahieren, Transformieren und Laden (ETL)

Aber all diese Variationen in der Datentopographie stellen auch eine Herausforderung dar. Wenn wir diese Informationssätze gemeinsam nutzen müssen – ein Beispiel hierfür sind neue KI-Anwendungen –, stehen wir vor einer Zugriffsherausforderung. Hier sprechen Technologiearchitekten, Datenbankadministratoren und Softwareanwendungsentwickler über ihre ETL-Anforderungen – ein Akronym, das die Notwendigkeit bezeichnet, Daten (ETL) von einem Ort zum anderen zu extrahieren, zu transformieren und zu laden.

HINWEIS: Um die Datenwissenschaft zu vervollständigen, sollten wir auch erwähnen, dass der Datenintegrationsprozess und die Schwesterdisziplin von ETL Extract, Load, Transform (ELT) ist – der Punkt, an dem wir rohe oder unstrukturierte Daten (z. B. aus einem Data Lake) nehmen und sie transformieren in einen geordneten Zustand für nachgelagerte Anwendungsfälle.

Amazon Web Services, Inc. umfasst natürlich ein Universum aus Datenbanken, Data Lakes, Data Warehouses, Datenmarktplätzen und Daten-Workloads. AWS möchte seine Stärke nutzen, um neue Integrationsmöglichkeiten im gesamten Datenpipeline-Netzwerk auf dem Planeten bereitzustellen hat nun erklärt, wie seine neuen Integrationen Amazon Aurora PostgreSQL, Amazon DynamoDB und Amazon Relational Database Service (Amazon RDS) für MySQL mit Amazon Redshift es einfacher machen, Transaktionsdaten aus mehreren relationalen und nicht relationalen Datenbanken auf Amazon Redshift zu verbinden und zu analysieren. Kunden können jetzt auch den Amazon OpenSearch Service nutzen, um Volltext- und Vektorsuchfunktionen für DynamoDB-Daten nahezu in Echtzeit durchzuführen.

Zero-ETL-Integrationen

Indem AWS es einfach macht, Daten unabhängig von ihrem Standort zu verbinden und darauf zu reagieren, nennt sie diese Technologien „Null-ETL-Integrationen“ und verspricht, Benutzern dabei zu helfen, die Tiefe der Datenbank- und Analysedienste von AWS zu erkunden.

„AWS bietet das branchenweit umfassendste und tiefgreifendste Angebot an Datendiensten zum Speichern und Abfragen jeder Art von Daten in großem Maßstab“, sagte Dr. Swami Sivasubramanian, Vizepräsident für Daten und künstliche Intelligenz bei AWS. „Kunden müssen nicht nur über das richtige Tool für ihre Aufgabe verfügen, sondern auch in der Lage sein, die über ihre Organisationen verteilten Daten zu integrieren, um mehr Wert für ihr Unternehmen zu generieren. Deshalb investieren wir in eine Zero-ETL-Zukunft, in der die Datenintegration kein mühsamer, manueller Aufwand mehr ist und in der Kunden ihre Daten problemlos dort abrufen können, wo sie sie benötigen.“

Wir wissen, dass Unternehmen über unterschiedliche Arten von Daten verfügen, die aus unterschiedlichen Quellen, in unterschiedlichem Umfang und mit unterschiedlicher Geschwindigkeit stammen, und dass die Verwendung dieser Daten gleichermaßen unterschiedlich ist. Damit Unternehmen ihre Daten optimal nutzen können, besteht AWS darauf, dass sie einen umfassenden Satz an Tools benötigen, die alle diese Variablen berücksichtigen und über die Möglichkeit verfügen, über mehrere Quellen verteilte Daten zu integrieren und zu kombinieren.

Ein praktisches Beispiel

Beispielsweise sagt AWS: „Ein Unternehmen speichert möglicherweise Transaktionsdaten in einer relationalen Datenbank, die es in einem Data Warehouse analysieren möchte, verwendet jedoch ein anderes Analysetool, um eine Vektorsuche für Daten aus einer nicht relationalen Datenbank durchzuführen.“ In der Vergangenheit mussten Kunden beim Verschieben von Daten ihre eigenen ETL-Pipelines entwerfen, was schwierig und teuer im Aufbau, komplex in der Verwaltung und anfällig für zeitweilige Fehler sein kann, die den Zugriff auf zeitkritische Erkenntnisse verzögern.“

Aus diesem Grund hebt AWS seine Arbeit in diesem Bereich hervor, d. h. es hat in Zero-ETL-Funktionen investiert, die den Aufwand der manuellen Datenverschiebung beseitigen. Dazu gehören föderierte Abfragefunktionen in Amazon Redshift und Amazon Athena – die es Benutzern ermöglichen, in Betriebsdatenbanken, Data Warehouses und Data Lakes gespeicherte Daten direkt abzufragen – und Amazon Connect Analytics Data Lake – mit dem Benutzer auf das Kontakt-Rechenzentrum für Analysen und Maschinen zugreifen können Lernen. Die Arbeit hier umfasst auch neue Zero-ETL-Integrationen zwischen Salesforce Data Cloud und AWS-Speicher-, Daten- und Analysediensten, um es Unternehmen zu ermöglichen, ihre Daten über Salesforce und AWS hinweg zu vereinheitlichen.

Hey, erinnerst du dich an ETL?

Die gesamte Diskussion darüber, was hier vor sich geht, läuft auf ein Thema hinaus, das unserer Meinung nach in der gesamten Unternehmens-IT-Landschaft angewendet wird: Automatisierung. G2 Krishnamoorthy, Vice President of Analytics bei AWS, sagt: Wenn wir einen Großteil (oder sogar die gesamte) ETL-Arbeitslast entfernen können, die Softwareentwicklungs- und IT-Betriebsteams zuvor benötigten, dann bringen wir die Funktion ETL an einen Ort, an dem sie verfügbar ist wird zu einem Dienstprogramm.

G2 Krishnamoorthy sagt, dass dies nicht nur das Software-Engineering-Team glücklich machen wird, sondern auch jeden, der Zugriff auf Daten in der riesigen Vielfalt der hier beschriebenen Quellen benötigt. Dies könnte zu einem Moment führen, in dem Softwareentwickler herumsitzen und spielen – hey, erinnern Sie sich an ETL? Okay, es ist kein toller Witz, aber es ist ein fröhlicher Witz.

Geben Sie ein… Amazon Q

Von AWS kommt jetzt auch ein neuer Typ generativer KI-Assistent. Diese als Amazon Q bekannte Technologie ist speziell für die Arbeit entwickelt und kann an die Geschäftsanforderungen des Benutzers in verschiedenen Organisationen angepasst werden. Was ist das also (wie wir oft sagen) und wie funktioniert es?

AWS positioniert Q als eine Möglichkeit, allen Arten von Benutzern ein Tool an die Hand zu geben, mit dem sie schnelle, relevante Antworten auf wichtige Arbeits- (und möglicherweise auch Lebensfragen) erhalten, Inhalte generieren und Maßnahmen ergreifen können. Wie es funktioniert? Es bezieht sein Wissen aus den eigenen Informationsbeständen, Softwareanwendungscodes und Unternehmenssystemen des Kunden. Es soll Aufgaben rationalisieren und die Entscheidungsfindung und Problemlösung beschleunigen.

Amazon Q wurde entwickelt, um das zu erfüllen, was AWS verspricht: Es ist stark genug, um die strengen Anforderungen von Unternehmenskunden zu erfüllen, und kann seine Interaktionen für jeden einzelnen Benutzer auf der Grundlage der vorhandenen Identitäten, Rollen und Berechtigungen eines Unternehmens personalisieren. Da in diesem Bereich immer wieder Bedenken hinsichtlich des geistigen Eigentums (IP) auftauchen, sagt AWS, dass Amazon Q niemals Inhalte von Unternehmenskunden verwendet, um seine zugrunde liegenden Modelle zu trainieren. Es bietet KI-gestützte Unterstützung für Benutzer, die auf AWS aufbauen, intern arbeiten und AWS-Anwendungen für Business Intelligence (BI), Contact Center und Supply Chain Management verwenden.

„AWS unterstützt Kunden bei der Nutzung generativer KI mit Lösungen auf allen drei Ebenen des Stacks, einschließlich Infrastruktur, Tools und speziell entwickelten Anwendungen“, sagte Dr. Swami Sivasubramanian, Vizepräsident für Daten und künstliche Intelligenz. Komplexe, teure Technologien zu nutzen und sie Kunden aller Größen und technischen Fähigkeiten zugänglich zu machen, mit einem datenorientierten Ansatz und von Anfang an integrierter Sicherheit und Datenschutz auf Unternehmensniveau. Indem wir generative KI dorthin bringen, wo unsere Kunden arbeiten, sei es beim Aufbau auf AWS, bei der Arbeit mit internen Daten und Systemen oder bei der Nutzung einer Vielzahl von Geschäftsdaten und -anwendungen, ist Amazon Q eine leistungsstarke Ergänzung zur Anwendungsschicht unseres generativen KI-Stacks, die sich öffnet neue Möglichkeiten für alle Organisationen.“

AWS scheint viele Bereiche abzudecken – aber das ist AWS. Bei der großen Auswahl an Cloud-Tools (einige kleinere Unternehmen verwenden nur wenige, aber größere Kunden wie etwa diejenigen aus der Automobilindustrie nutzen vielleicht die gesamte AWS-Toolbox) ist es fast schwierig herauszufinden, welche Teile des AWS-Stacks für welchen Typ geeignet sind der Gründung. der Benutzer. Praktischerweise könnte Amazon Q auch bei der Beantwortung dieser Frage helfen, d. h. wir wissen, dass KI-gestützte Malware am besten mit KI-gestützten Schwachstellenbewertungs- und Scan-Tools bekämpft werden kann. Daher ist KI sicherlich auch die beste Möglichkeit, die Komplexität der Unternehmens-Cloud zu bekämpfen .

Amazon Q ist für Kunden in der Vorschau verfügbar, wobei Amazon Q on Connect allgemein verfügbar ist und Amazon Q on AWS Supply Chain in Kürze verfügbar ist. Benutzer müssen eine Warteschlange bilden… und sich der Amazon Q-Warteschlange anschließen.

Leave a Reply

Your email address will not be published. Required fields are marked *