Berechnen Moving Average Sql

Die meisten Leute sind vertraut mit der Phrase, quotthis tötet zwei Vögel mit einem stonequot. Wenn Sie nicht sind, bezieht sich die Phase auf einen Ansatz, der zwei Ziele in einer Handlung anspricht. (Leider sind die meisten von uns don39t wollen Steine ​​an unschuldigen Tieren zu werfen) Heute werde ich gehen, um einige Grundlagen auf zwei große Funktionen in SQL Server zu decken: der Columnstore-Index (nur in SQL Server Enterprise verfügbar) und Den SQL-Abfrage-Speicher. Microsoft tatsächlich implementiert den Columnstore-Index in SQL 2012 Enterprise, obwohl they39ve es in den letzten beiden Versionen von SQL Server verbessert. Microsoft führte den Query Store in SQL Server 2016. Also, was sind diese Funktionen und warum sind sie wichtig Nun, ich habe eine Demo, die beide Funktionen vorstellen und zeigen, wie sie uns helfen können. Bevor ich weiter gehen kann, decke ich auch diese (und andere Funktionen von SQL 2016) in meinem Artikel des CODE-Magazins über neue Funktionen SQL 2016. Als Grundeinführung kann der Columnstore-Index helfen, Abfragen zu beschleunigen, die über große Datenmengen scanaggregieren und Durchsucht der Abfragespeicher Abfrageausführungen, Ausführungspläne und Laufzeitstatistiken, die Sie normalerweise benötigen, um manuell zu sammeln. Vertrauen Sie mir, wenn ich sage, diese sind große Eigenschaften. Für diese Demo verwenden wir die Microsoft Contoso Retail Data Warehouse-Demo-Datenbank. Locker gesprochen, Contoso DW ist wie Quota wirklich großen AdventureWorksquot, mit Tabellen mit Millionen von Zeilen. (Die größte AdventureWorks-Tabelle enthält höchstens 100.000 Zeilen). Sie können die Contoso DW-Datenbank hier herunterladen: microsoften-usdownloaddetails. aspxid18279. Contoso DW funktioniert sehr gut, wenn Sie die Leistung bei Abfragen gegen größere Tabellen testen möchten. Contoso DW enthält eine Standard Data Warehouse Fact-Tabelle namens FactOnLineSales mit 12,6 Millionen Zeilen. Das ist sicher nicht die größte Data Warehouse-Tabelle der Welt, aber es spielt auch keine Rolle. Angenommen, ich möchte Produktumsatz für 2009 zusammenfassen und die Produkte einstufen. Ich könnte Abfrage der Tatsache Tabelle und beitreten, um die Product Dimension Tabelle und verwenden Sie eine RANK-Funktion, wie folgt: Here39s eine partielle Ergebnismenge der oberen 10 Zeilen, von Total Sales. Auf meinem Laptop (i7, 16 GB RAM), die Abfrage dauert überall von 3-4 Sekunden ausgeführt werden. Das scheint nicht wie das Ende der Welt zu sein, aber einige Benutzer erwarten nah-sofortige Resultate (die Weise, die Sie nahe-sofort Ergebnisse sehen konnten, wenn Sie Excel gegen einen OLAP Würfel verwenden). Der einzige Index, den ich derzeit auf dieser Tabelle haben, ist ein gruppierter Index auf einem Umsatzschlüssel. Wenn ich den Ausführungsplan betrachte, macht SQL Server einen Vorschlag, einen Deckungsindex der Tabelle hinzuzufügen: Nun, nur weil SQL Server einen Index vorschlägt, bedeutet doesn39t, dass Sie blind Indizes für jede quotmissing Indexquot-Nachricht erstellen sollten. In diesem Fall erkennt SQL Server jedoch, dass wir basierend auf Jahr filtern und den Produktschlüssel und den Verkaufsbetrag verwenden. So schlägt SQL Server einen Deckungsindex vor, mit dem DateKey als das Indexschlüsselfeld. Der Grund, den wir diesen quotcoveringquot Index nennen, ist, weil SQL Server entlang der nicht-key fieldsquot, die wir in der Abfrage verwendet haben, zitiert wird, zitiert für das ridequot. Auf diese Weise, SQL Server doesn39t müssen die Tabelle oder den gruppierten Index an allen Datenbank-Engine verwenden können einfach die Abdeckung Index für die Abfrage verwenden. Covering-Indizes sind in bestimmten Data Warehousing und Reporting-Datenbank-Szenarien beliebt, obwohl sie zu einem Preis der Datenbank-Engine, die sie erhalten kommen. Hinweis: Abdecken Indizes gibt es schon seit einer langen Zeit, so dass ich haven39t noch abgedeckt den Columnstore-Index und den Query Store. Also, ich werde den Deckungsindex hinzufügen: Wenn ich die gleiche Abfrage, die ich vor einem Moment ausgeführt habe (diejenige, die die Verkaufsmenge für jedes Produkt aggregierte), erneut ausführt, scheint die Abfrage manchmal um eine Sekunde schneller zu laufen, und ich bekomme eine Der einen Index-Suchvorgang anstelle eines Index-Scans verwendet (unter Verwendung des Datumschlüssels auf dem Deckungsindex, um den Umsatz für 2009 abzurufen). Also, vor dem Columnstore-Index, könnte dies eine Möglichkeit, diese Abfrage in viel älteren Versionen von SQL Server zu optimieren. Es läuft ein wenig schneller als das erste, und ich bekomme einen Ausführungsplan mit einem Index Seek anstelle eines Index-Scan. Allerdings gibt es einige Probleme: Die beiden Ausführungsoperatoren quotIndex Seekquot und quotHash Match (Aggregate) beide beide im Wesentlichen bedienen quotrow by rowquot. Stellen Sie sich dies in einer Tabelle mit Hunderten von Millionen von Zeilen vor. In Verbindung stehende, denken über den Inhalt einer Faktentabelle: In diesem Fall können ein einzelner Datumschlüsselwert andor oder ein einzelner Produktschlüsselwert über Hunderte von Tausenden von Zeilen wiederholt werden (denken Sie daran, die Faktentabelle hat auch Schlüssel für Geographie, Förderung, Verkäufer , Etc.) Also, wenn die quotIndex Seekquot und quotHash Matchquot Zeile für Zeile arbeiten, tun sie dies über Werte, die möglicherweise in vielen anderen Zeilen wiederholt werden. Dies ist normalerweise, wo I39d segue zum SQL Server-Columnstore-Index, die ein Szenario bietet, um die Leistung dieser Abfrage auf erstaunliche Weise zu verbessern. Aber bevor ich das mache, gehen wir zurück in die Zeit. Let39s gehen zurück auf das Jahr 2010, als Microsoft ein Add-In für Excel als PowerPivot bekannt eingeführt. Viele Menschen erinnern sich wahrscheinlich daran, Demos von PowerPivot für Excel zu sehen, wo ein Benutzer Millionen von Zeilen aus einer externen Datenquelle in Excel lesen konnte. PowerPivot würde die Daten komprimieren und eine Engine bereitstellen, um Pivot-Tabellen und Pivot-Charts zu erstellen, die mit erstaunlichen Geschwindigkeiten gegen die komprimierten Daten durchgeführt wurden. PowerPivot benutzte eine In-Memory-Technologie, die Microsoft als "tertiPaqquot" bezeichnet. Diese In-Memory-Technologie in PowerPivot würde im Grunde genommen duplicate business keyforeign Schlüsselwerte und komprimieren sie bis zu einem einzigen Vektor. Die In-Memory-Technologie würde auch scanaggregate diese Werte parallel, in Blöcken von mehreren hundert zu einer Zeit. Die Quintessenz ist, dass Microsoft eine große Menge an Leistungsverbesserungen in die VertiPaq In-Memory-Funktion für uns zu verwenden, direkt aus der sprichwörtlichen Box gebacken. Warum bin ich unter diesem kleinen Spaziergang Speicher Lane Da in SQL Server 2012 implementiert eine der wichtigsten Funktionen in der Geschichte ihrer Datenbank-Engine: der Columnstore-Index. Der Index ist wirklich ein Index im Namen nur: es ist eine Weise, eine SQL-Server-Tabelle zu nehmen und ein komprimiertes, im Speicher befindliches columnstore zu verursachen, das doppelte Fremdschlüsselwerte bis Einzelvektorwerte komprimiert. Microsoft hat auch einen neuen Pufferpool erstellt, um diese komprimierten Vektorwerte parallel zu lesen und so das Potenzial für große Leistungssteigerungen zu schaffen. So, I39m gehen, um einen columnstore Index auf der Tabelle zu verursachen, und I39ll sehen, wie viel besser (und leistungsfähiger) die Abfrage, gegen die Abfrage, die gegen den bedeckenden Index läuft. So, I39ll erstellen Sie eine doppelte Kopie von FactOnlineSales (I39ll nennen es FactOnlineSalesDetailNCCS), und I39ll erstellen Sie einen columnstore-Index auf der duplizierten Tabelle, die Weise I won39t stören die ursprüngliche Tabelle und die Deckung Index in keiner Weise. Als nächstes erstellen wir einen Columnstore-Index für die neue Tabelle: Beachten Sie mehrere Dinge: I39ve hat mehrere Fremdschlüsselspalten sowie den Verkaufsbetrag angegeben. Denken Sie daran, dass ein columnstore-Index nicht wie ein herkömmlicher Zeilenspeicherindex ist. Es gibt keine Quotechart. Wir sind nur darauf hin, welche Spalten SQL Server komprimieren und platzieren sollte in einem in-memory columnstore. Um die Analogie von PowerPivot für Excel zu verwenden, wenn wir einen columnstore-Index erstellen, sagen wir SQL Server im Wesentlichen dasselbe, was PowerPivot tat, wenn wir 20 Millionen Zeilen in Excel mit PowerPivot importierten So I39ll erneut ausführen die Abfrage, diesmal mit Die doppelte FactOnlineSalesDetailNCCS-Tabelle, die den columnstore-Index enthält. Diese Abfrage läuft sofort in weniger als einer Sekunde. Und ich kann auch sagen, dass auch wenn der Tisch Hunderte von Millionen von Zeilen hatte, würde es immer noch auf das sprichwörtliche Quotbat eines Wimpernschuhs laufen. Wir könnten den Ausführungsplan (und in ein paar Momenten, wir werden), aber jetzt ist es Zeit, um die Abfrage Store-Feature zu decken. Stellen Sie sich für einen Moment vor, dass wir beide Abfragen über Nacht liefen: die Abfrage, die die reguläre FactOnlineSales-Tabelle (mit dem Deckungsindex) verwendete, und dann die Abfrage, die die doppelte Tabelle mit dem Columnstore-Index verwendete. Wenn wir uns am nächsten Morgen anmelden, sehen wir den Ausführungsplan für beide Abfragen, wie sie stattgefunden haben, ebenso wie die Ausführungsstatistiken. Mit anderen Worten, wir sehen gerne die gleichen Statistiken, die wir in der Lage zu sehen, wenn wir beide Abfragen interaktiv in SQL Management Studio, in TIME und IO Statistik gedreht lief und sah den Ausführungsplan direkt nach der Ausführung der Abfrage. Nun, that39s, was der Query Store ermöglicht es uns zu tun, können wir aktivieren (aktivieren) Abfrage-Speicher für eine Datenbank, die auslösen wird SQL Server Abfrage-Ausführung zu speichern und planen Statistiken, so dass wir sie später anzeigen können. So, I39m gehen, um den Query Store auf der Contoso-Datenbank mit dem folgenden Befehl zu aktivieren (und I39ll auch löschen jedes Caching): Dann I39ll führen Sie die beiden Abfragen (und quotpretendquot, dass ich lief sie vor Stunden): Jetzt let39s vorgeben, dass sie lief Stunden vor. Nach dem, was ich sagte, wird der Query Store erfassen die Ausführungsstatistik. Also, wie kann ich sie ansehen Glücklicherweise ist das ziemlich einfach. Wenn ich die Contoso DW Datenbank erweitere, sehe ich einen Query Store Ordner. Der Abfrage-Speicher hat enorme Funktionalität und I39ll versuchen, viel von ihm in den folgenden Blogbeiträgen zu umfassen. Aber für jetzt, Ich möchte Ausführungsstatistiken für die beiden Abfragen anzeigen, und speziell untersuchen die Ausführungsoperatoren für den columnstore-Index. So I39ll mit der rechten Maustaste auf die Top Resource Consuming Abfragen und führen Sie diese Option. Das gibt mir ein Diagramm wie das unten, wo kann ich sehen, Ausführungsdauer Zeit (in Millisekunden) für alle Abfragen, die ausgeführt wurden. In diesem Fall war Query 1 die Abfrage für die ursprüngliche Tabelle mit dem Deckungsindex und Query 2 für die Tabelle mit dem columnstore-Index. Die Zahlen don39t liegen der columnstore Index übertraf den ursprünglichen Tablecovering Index um einen Faktor von fast 7 zu 1. Ich kann die Metrik ändern, um Speicherverbrauch anstatt zu betrachten. In diesem Fall beachten Sie, dass Abfrage 2 (die Spalte-Index-Abfrage) viel mehr Speicher verwendet. Dies veranschaulicht, warum der columnstore-Index die Technologie von quotin-memoryquot darstellt. SQL Server lädt den gesamten columnstore-Index im Speicher und verwendet einen vollständig anderen Pufferpool mit erweiterten Ausführungsoperatoren, um den Index zu verarbeiten. Wenn Sie auf die vertikale Leiste für die Abfrage klicken, die den columnstore-Index verwendet hat, sehen Sie die Ausführung. Wenn Sie auf die vertikale Leiste klicken, werden die Ausführungsstatistiken angezeigt Plan unten. Das erste, was wir sehen, ist, dass SQL Server führte eine Kolumnenstore-Index-Scan, und dass fast 100 der Kosten für die Abfrage. Man könnte sagen, quotWait eine Minute, die erste Abfrage verwendet eine Deckung Index und führte eine Index-Suche, wie kann ein Columnstore-Index-Scan fasterquot That39s eine legitime Frage, und glücklicherweise there39s eine Antwort. Selbst wenn die erste Abfrage eine Indexsuche durchführte, führte sie immer noch das Byte durch rowquot aus. Wenn ich die Maus über den columnstore index scan operator setze, sehe ich eine tooltip (wie die unten) mit einer wichtigen Einstellung: der Execution Mode ist BATCH (im Gegensatz zu ROW, was wir mit der ersten Abfrage mit der Deckungsindex). Dieser BATCH-Modus teilt mit, dass SQL Server die komprimierten Vektoren (für alle Fremdschlüsselwerte, die dupliziert werden, z. B. Product Key und Datumsschlüssel) in Chargen von fast 1.000 parallel verarbeitet werden. So ist SQL Server noch in der Lage, den columnstore Index viel effizienter zu verarbeiten. Darüber hinaus, wenn ich die Maus über die Hash Match (Aggregate) Task platzieren, sehe ich auch, dass SQL Server Aggregation der columnstore Index mithilfe Batch-Modus (obwohl der Operator selbst stellt eine solche kleine Prozent der Kosten für die Abfrage) Schließlich, Sie SQL-Server komprimiert die Werte in den Daten, behandelt die Werte als Vektoren, und lesen Sie sie in Blöcken von fast tausend Werte parallel, aber meine Abfrage wollte nur Daten für 2009. So ist SQL Server Scannen über die Gesamte Menge von Datenquot Wieder eine gute Frage. Die Antwort lautet: Nein. Zum Glück für uns führt der neue columnstore Index Pufferpool eine weitere Funktion namens segmentsegment eliminationquot aus. Grundsätzlich untersucht SQL Server die Vektorwerte für die Datumschlüsselspalte im columnstore-Index und eliminiert Segmente, die außerhalb des Geltungsbereichs des Jahres 2009 liegen. In nachfolgenden Blog-Posts I39ll decken sowohl die columnstore Index und Query Store in mehr Details. Im Wesentlichen, was wir hier gesehen haben, ist, dass der Columnstore-Index erheblich beschleunigen können Abfragen, die scanaggregate über große Mengen von Daten, und der Query Store wird Abfrageausführungen erfassen und erlauben uns, Ausführungs-und Performance-Statistiken später zu untersuchen. Am Ende wollen wir eine Ergebnismenge erzeugen, die folgendes zeigt. Beachten Sie drei Dinge: Die Spalten schwenken im Wesentlichen alle möglichen Rückgabegründe, nachdem die Verkaufsmenge angezeigt wurde. Die Ergebnismenge enthält Zwischensummen für das Wochenende (Sonntag) über alle Clients (wobei der Client NULL ist) Die Ergebnismenge enthält eine Gesamtsumme Zeile (wo der Client und das Datum sind beide NULL) Zuerst, bevor ich in das SQL-Ende konnten wir die dynamische Pivotmatrix-Fähigkeit in SSRS verwenden. Wir müssten einfach die beiden Ergebnismengen um eine Spalte kombinieren und dann könnten wir die Ergebnisse an die SSRS-Matrix-Steuerung liefern, die die Rückkehrgründe über die Spaltenachse des Berichts verbreiten wird. Jedoch nicht jeder benutzt SSRS (obwohl die meisten Leute sollten). Aber selbst dann, manchmal Entwickler müssen Ergebnismengen in etwas anderes als ein Berichtswesen zu konsumieren. Also für dieses Beispiel nehmen wir an, wir wollen die Ergebnismenge für eine Web-Grid-Seite zu generieren und möglicherweise der Entwickler will outstot outquot die Zwischensumme Zeilen (wo ich habe einen ResultSetNum Wert von 2 und 3) und legen Sie sie in einem Summary Grid. So unten Zeile, müssen wir die Ausgabe oben direkt aus einer gespeicherten Prozedur zu generieren. Und als addierte Torsion nächste Woche konnte es Rückholgrund X und Y und Z geben. So wissen wir nicht, wie viele Rückholgründe es sein konnten. Wir wollen einfach, dass die Abfrage auf die möglichen unterschiedlichen Werte für Rückgabegrund verschoben wird. Hier ist, wo die T-SQL PIVOT eine Beschränkung, die wir brauchen, um es die möglichen Werte bieten. Da wir nicht wissen, dass bis zur Laufzeit, müssen wir die Abfrage-String dynamisch mit dem dynamischen SQL-Muster zu generieren. Das dynamische SQL-Muster beinhaltet die Erzeugung der Syntax, Stück für Stück, das Speichern in einem String und dann das Ausführen der Zeichenfolge am Ende. Dynamic SQL kann schwierig sein, da wir Syntax innerhalb einer Zeichenfolge einbetten müssen. Aber in diesem Fall ist es unsere einzige wahre Option, wenn wir eine variable Anzahl von Rückgabegründen behandeln wollen. Ich habe immer festgestellt, dass der beste Weg, um eine dynamische SQL-Lösung zu schaffen ist, indem Sie herauszufinden, was die quotidealquot generierte-Abfrage am Ende sein würde (in diesem Fall angesichts der Rückkehr Gründen, die wir kennen) und dann reverse-Engineering es durch Piecing Es zusammen ein Teil zu einer Zeit. Und so, hier ist die SQL, die wir brauchen, wenn wir wussten, dass diese Rückkehr Gründe (A bis D) waren statisch und würde sich nicht ändern. Die Abfrage funktioniert folgendermaßen: Kombiniert die Daten von SalesData mit den Daten von ReturnData, wobei wir das Wort Sales als Aktionstyp für die Sales-Tabelle quothard-wirequot verwenden und dann die Rückgabe-Begründung aus den Rückgabedaten in dieselbe ActionType-Spalte verwenden. Das gibt uns eine saubere ActionType-Spalte, auf der wir drehen können. Wir kombinieren die beiden SELECT-Anweisungen zu einem gemeinsamen Tabellenausdruck (CTE), der im Grunde genommen eine abgeleitete Tabellenunterabfrage ist, die wir anschließend in der nächsten Anweisung (zu PIVOT) verwenden. Eine PIVOT-Anweisung gegen den CTE, die die Dollar für den Aktionstyp summiert Der sich in einem der möglichen Aktionsart-Werte befindet. Beachten Sie, dass dies nicht die endgültige Ergebnismenge ist. Wir setzen dies in einen CTE, der aus dem ersten CTE liest. Der Grund dafür ist, dass wir am Ende mehrere Gruppierungen durchführen wollen. Die letzte SELECT-Anweisung, die aus der PIVOTCTE liest, kombiniert sie mit einer nachfolgenden Abfrage desselben PIVOTCTE, wobei wir aber auch zwei Gruppierungen in der GROUPING SETS-Funktion in SQL 2008 implementieren: GROUPING am Wochenenddatum (dbo. WeekEndingDate) GROUPING für alle Zeilen () Wenn wir also mit Sicherheit wussten, dass wir nie mehr Rückgabecodes haben, dann wäre das die Lösung. Wir müssen aber auch andere Ursachencodes berücksichtigen. Also müssen wir diese ganze Abfrage oben als eine große Zeichenfolge generieren, wo wir die möglichen Rückkehrgründe als eine durch Kommas getrennte Liste konstruieren. I39m zu zeigen, den gesamten T-SQL-Code zu generieren (und auszuführen) der gewünschten Abfrage. Und dann breche ich es in Teile und erkläre jeden Schritt. So zuerst, hier39s der gesamte Code, um dynamisch zu erzeugen, was I39ve oben erhielt. Es gibt im Grunde fünf Schritte, die wir abdecken müssen. Schritt 1 . Wir wissen, dass irgendwo in der Mischung, müssen wir einen String für diese in der Abfrage zu generieren: SalesAmount, Grund A, Grund B, Grund C, Grund D0160016001600160 Was wir tun können, ist ein temporärer gemeinsamer Tabellenausdruck, der die harte verdrahtete quotSales kombiniert Amountquot-Spalte mit der eindeutigen Liste der möglichen Ursachencodes. Sobald wir das in einem CTE haben, können wir den schönen kleinen Trick von FOR XML PATH (3939) verwenden, um diese Zeilen zu einem einzelnen String zusammenzubrechen, ein Komma vor jeder Zeile zu setzen, die die Abfrage liest und dann STUFF zu ersetzen Die erste Instanz eines Kommas mit einem leeren Raum. Dies ist ein Trick, den Sie in Hunderten von SQL-Blogs finden können. Also dieser erste Teil baut eine Zeichenfolge namens ActionString, die wir weiter unten verwenden können. Schritt 2 . Wissen wir auch, dass wir39ll die generierten geneigten Grundspalten summieren wollen, zusammen mit der Standard-Verkaufsspalte. Also brauchen wir eine separate Zeichenfolge dafür, die ich SUMSTRING nennen werde. I39ll verwenden Sie einfach die ursprüngliche ActionString, und dann REPLACE die äußeren Klammern mit SUM-Syntax, plus die ursprünglichen Klammern. Schritt 3: Jetzt beginnt die eigentliche Arbeit. Mit dieser ursprünglichen Abfrage als Modell wollen wir die ursprüngliche Abfrage (beginnend mit der UNION der beiden Tabellen) generieren, aber alle Referenzen auf verschwenkte Spalten durch die dynamisch erzeugten Strings ersetzen. Auch wenn nicht unbedingt erforderlich, hat I39ve auch eine Variable erstellt, um einfach alle Wagenrücklauf-Feedkombinationen, die wir in die generierte Abfrage einbetten möchten (zur Lesbarkeit). So konstruieren wir die gesamte Abfrage in einer Variablen namens SQLPivotQuery. Schritt 4 Wir konstruieren die Abfrage erneut und verketten die Syntax, die wir mit dem ActionSelectString quothard-wirequot verknüpfen können (die wir dynamisch erzeugt haben, um alle möglichen Rückgabewerte zu halten) Schritt 5. Schließlich erzeugen wir den letzten Teil der Pivot-Abfrage, der aus dem 2. gemeinsamen Tabellenausdruck (PIVOTCTE, aus dem obigen Modell) liest und das letzte SELECT aus dem PIVOTCTE ausliest und es mit einem zweiten gegen PIVOTCTE lesen liest Implementieren die Gruppierungssätze. Schließlich können wir quotexecutequot die Zeichenfolge mit dem SQL-System gespeicherte proc spexecuteSQL So hoffentlich können Sie sehen, dass der Prozess für die folgenden für diese Art von Aufwand ist Bestimmen, was die endgültige Abfrage würde, basierend auf Ihren aktuellen Satz von Daten und Werten (dh gebaut werden Ein Abfragemodell) Schreiben Sie den erforderlichen T-SQL-Code, um dieses Abfragemodell als String zu generieren. Der wichtigste Teil ist die Bestimmung der einzigartigen Satz von Werten, auf denen Sie39ll PIVOT, und dann kollabieren sie in einen String mit der STUFF-Funktion und die FOR XML PATH (3939) Trick Also, was ist auf meinem Kopf heute Nun, mindestens 13 Elemente Zwei Summers, schrieb ich einen Entwurf des BDR, der sich (teilweise) auf die Rolle der Bildung und den Wert einer guten liberalen Kunst Hintergrund nicht nur für die Software-Industrie, sondern auch für andere Branchen als auch konzentriert. Eines der Themen dieser besonderen BDR betonte eine zentrale und erleuchtete Sichtweise des renommierten Softwarearchitekten Allen Holub über die freien Künste. Kranke (treu) paraphrasieren seine Botschaft: Er hebt die Parallelen zwischen Programmierung und Studium der Geschichte hervor, indem er alle daran erinnert, dass Geschichte Lesen und Schreiben ist (und Ill hinzufügen, Muster identifizieren), und Software-Entwicklung ist auch Lesen und Schreiben (und wieder Identifizierung von Mustern ). Und so schrieb ich eine Stellungnahme Stück, das auf diesem und anderen verwandten Themen konzentriert. Aber bis heute habe ich nie zu veröffentlichen. Jeder so oft Id denken der Überarbeitung, und Id sogar sitzen für ein paar Minuten und machen einige Anpassungen an sie. Aber dann würde das Leben im Allgemeinen im Weg und Id nie beenden. So was geändert Vor ein paar Wochen, CoDe Magazin Kolumnist und Branchenführer Ted Neward schrieb ein Stück in seiner regulären Kolumne, Managed Coder, die meine Aufmerksamkeit erregte. Der Titel des Artikels ist On Liberal Arts. Und ich empfehle, dass alle es lesen. Ted diskutiert den Wert eines liberalen Kunsthintergrundes, die falsche Dichotomie zwischen einem liberalen Kunsthintergrund und Erfolg in der Software-Entwicklung und die Notwendigkeit, writecommunicate gut zu schreiben. Er spricht über einige seiner eigenen vergangenen Begegnungen mit HR Personalmanagement in Bezug auf seinen pädagogischen Hintergrund. Darüber hinaus unterstreicht er die Notwendigkeit, Veränderungen in unserer Branche zu akzeptieren und anzupassen, sowie die Kennzeichen eines erfolgreichen Softwareprofis (zuverlässig, vorausschauend und lernen, anfangs Konflikte mit anderen Teammitgliedern zu erlernen). Also seine eine große lesen, wie sind Teds andere CoDe Artikel und Blog-Einträge. Es hat auch mich zurück zu denken über meine Ansichten zu diesem (und anderen Themen) als auch, und schließlich motiviert mich, meine eigene Redaktion zu beenden. Also, besser spät als nie, hier sind meine aktuellen Bakers Dozen of Reflections: Ich habe ein Sprichwort: Wasser friert bei 32 Grad. Wenn youre in einer Trainingsrolle Rolle, könnten Sie denken, dass Sie alles in der Welt tun, um jemanden zu helfen, wenn in der Tat, theyre nur das Gefühl einer Temperatur von 34 Grad und daher Dinge, die Arent erstarrt für sie. Manchmal dauert es nur ein wenig mehr Aufwand oder einen anderen ideachemischen Katalysator oder eine neue Perspektive, was bedeutet, dass diejenigen mit vorheriger Ausbildung auf verschiedene Quellen zurückgreifen können. Wasser friert bei 32 Grad. Einige Leute können ein hohes Maß an Konzentration auch mit einem Raum voller lärmender Menschen zu halten. Im nicht einer von ihnen gelegentlich brauche ich etwas Privatleben, zum durch ein kritisches Problem zu denken. Manche Leute beschreiben dies, wie Sie gotta lernen zu gehen weg von ihm. Anders gesagt, seine Suche nach der verdünnten Luft. In der vergangenen Woche verbrachte ich Stunden in einem halbbeleuchteten, ruhigen Raum mit einem Whiteboard, bis ich ein Problem völlig verstand. Erst dann konnte ich mit anderen Entwicklern über eine Lösung sprechen. Die Botschaft hier ist nicht zu predigen, wie Sie über Ihr Geschäft der Lösung von Problemen gehen sollten, sondern für alle, ihre Stärken kennen und was funktioniert, und verwenden Sie sie zu Ihrem Vorteil so viel wie möglich. Einige Phrasen sind wie Fingernägel auf einer Tafel für mich. Verwenden Sie es als Lehre Moment ist eins. (Warum ist es wie Fingernägel auf einer Tafel Denn wenn youre in einer Mentoring-Rolle, sollten Sie in der Regel in Lehre Moment-Modus sowieso, aber subtil). Heres ein anderes ich kann nicht wirklich erklären es in den Wörtern, aber ich verstehe es. Das klingt ein bisschen kalt, aber wenn eine Person wirklich kann nicht erklären, etwas in Worten, vielleicht sie nicht verstehen. Sicher, kann eine Person ein Fuzzy-Gefühl, wie etwas funktioniert, kann ich bluffen mein Weg durch die Beschreibung, wie eine Digitalkamera funktioniert, aber die Wahrheit ist, dass ich nicht wirklich verstehen, alles, was gut. Es gibt ein Fachgebiet, das als Erkenntnistheorie (das Studium des Wissens) bekannt ist. Eine der grundlegenden Grundlagen des Verständnisses, ob es sich um eine Kamera oder ein Designmuster handelt, ist die Fähigkeit, Kontext zu ermitteln, die Kette der verwandten Ereignisse zu identifizieren, die Attribute aller Komponenten auf dem Weg usw. Ja, das Verstehen ist manchmal sehr harte Arbeit , Aber Tauchen in ein Thema und brechen es auseinander ist die Mühe wert. Auch diejenigen, die Zertifizierung nicht anerkennen, wird anerkennen, dass der Prozess des Studiums für Zertifizierungstests wird dazu beitragen, Lücken in Wissen zu füllen. Ein Datenbank-Manager ist eher ein Datenbank-Entwickler, der sprechen kann extemporally (und mühelos) über Transaktions-Isolation Ebenen und Trigger, im Gegensatz zu jemandem, der Art weiß, aber kämpft, um ihre Verwendung zu beschreiben. Theres ein anderes Korrespondent hier. Ted Neward empfiehlt, dass Entwickler öffentlich zu sprechen, zu bloggen, etc. Ich stimme 100. Der Prozess der öffentlichen Reden und Bloggen wird praktisch zwingen Sie sich Gedanken über Themen und brechen Definitionen, die Sie sonst für selbstverständlich gehalten haben könnte. Vor ein paar Jahren dachte ich, ich verstand die T-SQL MERGE-Anweisung ziemlich gut. Aber nur, nachdem ich darüber geschrieben und darüber gesprochen hatte, Fragen von anderen gestellt, die Perspektiven hatten, die mir nie einfielen, dass meine Ebene des Verstehens exponentiell zunahm. Ich kenne eine Geschichte von einem Personalchef, der einmal ein Autorentwickler für eine Vertragsposition interviewte. Der Vermieter war verächtlich von Publikationen im Allgemeinen, und bellte an der Klägerin, Also, wenn youre gehen, hier zu arbeiten, würden Sie lieber Bücher schreiben oder schreiben Code Ja, Ill gewähren, dass in jeder Branche gibt es ein paar reine Wissenschaftler werden. Aber was der Vermieter vermisst, war die Möglichkeiten zur Stärkung und Schärfung von Fertigkeiten. Beim Reinigen einer alten Schachtel Bücher, stieß ich auf einen Schatz aus den 1980er Jahren: Programmers at Work. Die Interviews mit einem sehr jungen Bill Gates, Ray Ozzie, und andere bekannte Namen enthält. Jedes Interview und jede Einsicht ist den Preis des Buches wert. Meiner Ansicht nach war das interessanteste Gespräch mit Butler Lampson. Der einige mächtige Ratschläge gab. Zum Teufel mit Computerkenntnissen. Es ist absolut lächerlich. Studieren Mathematik. Denken lernen. Lesen. Schreiben. Diese Dinge sind von dauerhafterem Wert. Lernen Sie, wie man die Theoreme beweisen: Viele Beweise haben sich über die Jahrhunderte angesammelt, die darauf schließen lassen, dass diese Fähigkeit auf viele andere Dinge übertragbar ist. Butler spricht die Wahrheit. Kranke addiere zu diesem Punkt erlernen, wie man Teufel gegen sich selbst befürwortet. Je mehr Sie Realität-überprüfen Sie Ihre eigenen Prozesse und arbeiten können, desto besser werden youll werden. Der große Informatiker Allen Holub machte die Verbindung zwischen Softwareentwicklung und den freien Künsten speziell, dem Thema der Geschichte. Hier war sein Punkt: Was ist Geschichte Lesen und Schreiben. Was ist Software-Entwicklung Unter anderem, Lesen und Schreiben. Ich habe zu geben, meine Studenten T-SQL Essay Fragen als Praxis-Tests. Ein Schüler scherzte, dass ich mehr wie ein Gesetzesprofessor handelte. Nun, genau wie Trainer Donny Haskins sagte im Film Glory Road, ist mein Weg schwer. Ich glaube fest an eine starke intellektuelle Grundlage für jeden Beruf. Genau wie Anwendungen können von Frameworks profitieren, können Einzelpersonen und ihre Denkprozesse von menschlichen Rahmenbedingungen profitieren als gut. Das ist die fundamentale Grundlage der Stipendien. Es gibt eine Geschichte, die in den 1970er Jahren, IBM erweitert ihre Recruiting-Anstrengungen in den großen Universitäten durch die Konzentration auf die besten und hellsten der liberal arts Absolventen. Sogar dann erkannten sie, dass die besten Leser und Schriftsteller eines Tages starke Programmiersysteme Analytiker werden konnten. (Fühlen Sie sich frei, diese Geschichte zu jeder HR-Typ, der darauf besteht, dass ein Kandidat muss ein Informatik-Abschluss sein, besteht) Und Sprechen der Geschichte: Wenn aus keinem anderen Grund ist es wichtig, die Geschichte der Produktfreigaben erinnern, wenn ich arbeite bei einem Client-Website, die noch mit SQL Server 2008 oder sogar (Gasp) SQL Server 2005, ich habe zu erinnern, welche Funktionen in den Versionen im Laufe der Zeit implementiert wurden. Haben Sie jemals einen Lieblingsarzt, den Sie mochten, weil heshe erklärte Sachen in einfachem Englisch, gab Ihnen die gerade Wahrheit und verdiente Ihr Vertrauen, um auf Ihnen zu arbeiten. Das sind wütende Fähigkeiten. Und sind das Ergebnis der Erfahrung und harte Arbeit, die Jahre und sogar Jahrzehnte zu kultivieren. Es gibt keine Garantien der Job-Erfolg konzentrieren sich auf die Fakten, nehmen ein paar kalkulierte Risiken, wenn Sie sicher, dass Sie Ihren Weg in die Ziellinie sehen können, lassen Sie die Chips fallen, wo sie können, und nie aus den Augen verlieren, wie der Arzt, der verdiente Dein Vertrauen. Obwohl einige Tage ich untergekommen bin, versuche ich, meinen Klienten und ihre Daten zu behandeln, wie ein Doktor Patienten behandeln würde. Obwohl ein Arzt mehr Geld macht Es gibt viele Klischees, die ich verabscheue, aber Heres eins, das ich nicht hasse: Es gibt keine solche Sache wie eine schlechte Frage. Als ehemaliger Lehrer, eine Sache, die mein Zorn zog, war zu hören jemand kritisieren eine andere Person für die Frage einer angeblich, dumme Frage. Eine Frage bedeutet, eine Person erkennt, dass sie eine gewisse Lücke im Wissen, die sie suchen zu füllen. Ja, einige Fragen sind besser formuliert als andere, und einige Fragen erfordern zusätzliche Framing, bevor sie beantwortet werden können. Aber die Reise von der Bildung einer Frage zu einer Antwort ist wahrscheinlich, einen aktiven geistigen Prozess in anderen zu erzeugen. Es gibt alle guten Dinge. Viele gute und fruchtbare Diskussionen stammen von einer dummen Frage. Ich arbeite auf der ganzen Linie in SSIS, SSAS, SSRS, MDX, PPS, SharePoint, Power BI, DAX alle Werkzeuge im Microsoft BI-Stack. Ich schreibe immer noch einige. NET-Code von Zeit zu Zeit. Aber erraten, was ich noch so viel Zeit damit verbringen, T-SQL-Code zu Profildaten als Teil des Entdeckungsprozesses zu schreiben. Alle Anwendungsentwickler sollten gute T-SQL-Chops haben. Ted Neward schreibt (richtig) über die Notwendigkeit, sich an technologische Veränderungen anzupassen. Ich füge hinzu, dass die Notwendigkeit, an Clientemployer Änderungen anzupassen. Unternehmen ändern Geschäftsregeln. Unternehmen erwerben andere Unternehmen (oder werden das Ziel einer Akquisition). Unternehmen machen Fehler bei der Kommunikation von Geschäftsanforderungen und Spezifikationen. Ja, wir können manchmal eine Rolle bei der Verwaltung dieser Veränderungen zu übernehmen und manchmal waren die Fliege, nicht die Windschutzscheibe. Diese verursachen manchmal große Schmerzen für alle, vor allem die I. T. Menschen. Deshalb ist der Begriff Tatsache des Lebens existiert, müssen wir damit umgehen. Genau wie kein Entwickler schreibt fehlerfreien Code jedes Mal, keine I. T. Person befasst sich mit Veränderung jeder einzelnen Zeit. Einer der größten Kämpfe, die Ive in meinen 28 Jahren in dieser Industrie gehabt hat, zeigt Geduld und Zurückhaltung, wenn Änderungen von vielen verschiedenen Richtungen fliegen. Hier ist, wo mein vorheriger Vorschlag über die Suche nach der rarified Luft helfen kann. Wenn Sie es schaffen, Veränderungen in Ihren Gedanken Prozess zu assimilieren, und ohne Gefühl überwältigt, sind Chancen youll ein bedeutender Vermögenswert. In den letzten 15 Monaten musste Ive mit einer riesigen Menge an professionellem Wandel umgehen. Sein gewesen sehr schwieriges manchmal, aber Ive beschlossen, dass Änderung die Norm ist und Ive versuchte, meine eigenen Gewohnheiten so gut zu justieren, dass ich mit häufiger (und unsicherer) Änderung fertig werden kann. Seine harte, sehr hart. Aber als Trainer Jimmy Duggan sagte in dem Film Eine Liga ihrer eigenen: Natürlich ist es schwer. Wenn es nicht hart war, würde jeder es tun. Das harte, ist, was es groß macht. Eine kraftvolle Botschaft. In den letzten Jahren wurde in der Industrie über das Verhalten bei professionellen Konferenzen (und Verhalten in der Industrie als Ganzes) gesprochen. Viele angesehene Schriftsteller haben sehr gute Leitartikel zum Thema geschrieben. Heres meine Eingabe, für was seinen Wert. Its a message to those individuals who have chosen to behave badly: Dude, it shouldnt be that hard to behave like an adult. A few years ago, CoDe Magazine Chief Editor Rod Paddock made some great points in an editorial about Codes of Conduct at conferences. Its definitely unfortunate to have to remind people of what they should expect out of themselves. But the problems go deeper. A few years ago I sat on a five-person panel (3 women, 2 men) at a community event on Women in Technology. The other male stated that men succeed in this industry because the Y chromosome gives men an advantage in areas of performance. The individual who made these remarks is a highly respected technology expert, and not some bozo making dongle remarks at a conference or sponsoring a programming contest where first prize is a date with a bikini model. Our world is becoming increasingly polarized (just watch the news for five minutes), sadly with emotion often winning over reason. Even in our industry, recently I heard someone in a position of responsibility bash software tool XYZ based on a ridiculous premise and then give false praise to a competing tool. So many opinions, so many arguments, but heres the key: before taking a stand, do your homework and get the facts . Sometimes both sides are partly rightor wrong. Theres only one way to determine: get the facts. As Robert Heinlein wrote, Facts are your single clue get the facts Of course, once you get the facts, the next step is to express them in a meaningful and even compelling way. Theres nothing wrong with using some emotion in an intellectual debate but it IS wrong to replace an intellectual debate with emotion and false agenda. A while back I faced resistance to SQL Server Analysis Services from someone who claimed the tool couldnt do feature XYZ. The specifics of XYZ dont matter here. I spent about two hours that evening working up a demo to cogently demonstrate the original claim was false. In that example, it worked. I cant swear it will always work, but to me thats the only way. Im old enough to remember life at a teen in the 1970s. Back then, when a person lost hisher job, (often) it was because the person just wasnt cutting the mustard. Fast-forward to today: a sad fact of life is that even talented people are now losing their jobs because of the changing economic conditions. Theres never a full-proof method for immunity, but now more than ever its critical to provide a high level of what I call the Three Vs (value, versatility, and velocity) for your employerclients. I might not always like working weekends or very late at night to do the proverbial work of two people but then I remember there are folks out there who would give anything to be working at 1 AM at night to feed their families and pay their bills. Always be yourselfyour BEST self. Some people need inspiration from time to time. Heres mine: the great sports movie, Glory Road. If youve never watched it, and even if youre not a sports fan I can almost guarantee youll be moved like never before. And Ill close with this. If you need some major motivation, Ill refer to a story from 2006. Jason McElwain, a high school student with autism, came off the bench to score twenty points in a high school basketball game in Rochester New York. Heres a great YouTube video. His mother said it all . This is the first moment Jason has ever succeeded and is proud of himself. I look at autism as the Berlin Wall. He cracked it. To anyone who wanted to attend my session at todays SQL Saturday event in DC I apologize that the session had to be cancelled. I hate to make excuses, but a combination of getting back late from Detroit (client trip), a car thats dead (blown head gasket), and some sudden health issues with my wife have made it impossible for me to attend. Back in August, I did the same session (ColumnStore Index) for PASS as a webinar. You can go to this link to access the video (itll be streamed, as all PASS videos are streamed) The link does require that you fill out your name and email address, but thats it. And then you can watch the video. Feel free to contact me if you have questions, at kgoffkevinsgoff. net November 15, 2013 Getting started with Windows Azure and creating SQL Databases in the cloud can be a bit daunting, especially if youve never tried out any of Microsofts cloud offerings. Fortunately, Ive created a webcast to help people get started. This is an absolute beginners guide to creating SQL Databases under Windows Azure. It assumes zero prior knowledge of Azure. You can go to the BDBI Webcasts of this website and check out my webcast (dated 11102013). Or you can just download the webcast videos right here: here is part 1 and here is part 2. You can also download the slide deck here. November 03, 2013 Topic this week: SQL Server Snapshot Isolation Levels, added in SQL Server 2005. To this day, there are still many SQL developers, many good SQL developers who either arent aware of this feature, or havent had time to look at it. Hopefully this information will help. Companion webcast will be uploaded in the next day look for it in the BDBI Webcasts section of this blog. October 26, 2013 Im going to start a weekly post of T-SQL tips, covering many different versions of SQL Server over the years Heres a challenge many developers face. Ill whittle it down to a very simple example, but one where the pattern applies to many situations. Suppose you have a stored procedure that receives a single vendor ID and updates the freight for all orders with that vendor id. create procedure dbo. UpdateVendorOrders update Purchasing. PurchaseOrderHeader set Freight Freight 1 where VendorID VendorID Now, suppose we need to run this for a set of vendor IDs. Today we might run it for three vendors, tomorrow for five vendors, the next day for 100 vendors. We want to pass in the vendor IDs. If youve worked with SQL Server, you can probably guess where Im going with this. The big question is how do we pass a variable number of Vendor IDs Or, stated more generally, how do we pass an array, or a table of keys, to a procedure Something along the lines of exec dbo. UpdateVendorOrders SomeListOfVendors Over the years, developers have come up with different methods: Going all the way back to SQL Server 2000, developers might create a comma-separated list of vendor keys, and pass the CSV list as a varchar to the procedure. The procedure would shred the CSV varchar variable into a table variable and then join the PurchaseOrderHeader table to that table variable (to update the Freight for just those vendors in the table). I wrote about this in CoDe Magazine back in early 2005 (code-magazinearticleprint. aspxquickid0503071ampprintmodetrue. Tip 3) In SQL Server 2005, you could actually create an XML string of the vendor IDs, pass the XML string to the procedure, and then use XQUERY to shred the XML as a table variable. I also wrote about this in CoDe Magazine back in 2007 (code-magazinearticleprint. aspxquickid0703041ampprintmodetrue. Tip 12)Also, some developers will populate a temp table ahead of time, and then reference the temp table inside the procedure. All of these certainly work, and developers have had to use these techniques before because for years there was NO WAY to directly pass a table to a SQL Server stored procedure. Until SQL Server 2008 when Microsoft implemented the table type. This FINALLY allowed developers to pass an actual table of rows to a stored procedure. Now, it does require a few steps. We cant just pass any old table to a procedure. It has to be a pre-defined type (a template). So lets suppose we always want to pass a set of integer keys to different procedures. One day it might be a list of vendor keys. Next day it might be a list of customer keys. So we can create a generic table type of keys, one that can be instantiated for customer keys, vendor keys, etc. CREATE TYPE IntKeysTT AS TABLE ( IntKey int NOT NULL ) So Ive created a Table Typecalled IntKeysTT . Its defined to have one column an IntKey. Nowsuppose I want to load it with Vendors who have a Credit Rating of 1..and then take that list of Vendor keys and pass it to a procedure: DECLARE VendorList IntKeysTT INSERT INTO VendorList SELECT BusinessEntityID from Purchasing. Vendor WHERE CreditRating 1 So, I now have a table type variable not just any table variable, but a table type variable (that I populated the same way I would populate a normal table variable). Its in server memory (unless it needs to spill to tempDB) and is therefore private to the connectionprocess. OK, can I pass it to the stored procedure now Well, not yet we need to modify the procedure to receive a table type. Heres the code: create procedure dbo. UpdateVendorOrdersFromTT IntKeysTT IntKeysTT READONLY update Purchasing. PurchaseOrderHeader set Freight Freight 1 FROM Purchasing. PurchaseOrderHeader JOIN IntKeysTT TempVendorList ON PurchaseOrderHeader. VendorID Te mpVendorList. IntKey Notice how the procedure receives the IntKeysTT table type as a Table Type (again, not just a regular table, but a table type). It also receives it as a READONLY parameter. You CANNOT modify the contents of this table type inside the procedure. Usually you wont want to you simply want to read from it. Well, now you can reference the table type as a parameter and then utilize it in the JOIN statement, as you would any other table variable. So there you have it. A bit of work to set up the table type, but in my view, definitely worth it. Additionally, if you pass values from. NET, youre in luck. You can pass an ADO. NET data table (with the same tablename property as the name of the Table Type) to the procedure. For. NET developers who have had to pass CSV lists, XML strings, etc. to a procedure in the past, this is a huge benefit. Finally I want to talk about another approach people have used over the years. SQL Server Cursors. At the risk of sounding dogmatic, I strongly advise against Cursors, unless there is just no other way. Cursors are expensive operations in the server, For instance, someone might use a cursor approach and implement the solution this way: DECLARE VendorID int DECLARE dbcursor CURSOR FASTFORWARD FOR SELECT BusinessEntityID from Purchasing. Vendor where CreditRating 1 FETCH NEXT FROM dbcursor INTO VendorID WHILE FETCHSTATUS 0 EXEC dbo. UpdateVendorOrders VendorID FETCH NEXT FROM dbcursor INTO VendorID The best thing Ill say about this is that it works. And yes, getting something to work is a milestone. But getting something to work and getting something to work acceptably are two different things. Even if this process only takes 5-10 seconds to run, in those 5-10 seconds the cursor utilizes SQL Server resources quite heavily. Thats not a good idea in a large production environment. Additionally, the more the of rows in the cursor to fetch and the more the number of executions of the procedure, the slower it will be. When I ran both processes (the cursor approach and then the table type approach) against a small sampling of vendors (5 vendors), the processing times where 260 ms and 60 ms, respectively. So the table type approach was roughly 4 times faster. But then when I ran the 2 scenarios against a much larger of vendors (84 vendors), the different was staggering 6701 ms versus 207 ms, respectively. So the table type approach was roughly 32 times faster. Again, the CURSOR approach is definitely the least attractive approach. Even in SQL Server 2005, it would have been better to create a CSV list or an XML string (providing the number of keys could be stored in a scalar variable). But now that there is a Table Type feature in SQL Server 2008, you can achieve the objective with a feature thats more closely modeled to the way developers are thinking specifically, how do we pass a table to a procedure Now we have an answer Hope you find this feature help. Feel free to post a comment. Well, I am back with another SQL question and you guys have been so helpful that I figured I give it another shot. So, I have a table that has events being logged (different table with events than last time )by a continuous process. What I need to be able to do is determine how many times this process completes per day The process may take 1 hour or it may take 6 and I wanted to get a running average, but I dont even know where to start. well, thats not completely true, but heres what I am thinking: 1) This has to be a SP as it would cripple the server if I did an ad-hoc query. 2) I am thinking this might be achieved by something like this. SELECT all unique days (I am not sure how to do this since my DateTime stamp includes Time (not just date) but I think I can tell SQL how to format the data in my query. Once I have a list of all the dates (i. e. 1 record for each date), I think write a loop that will say Give Me All the records where EndDate Record1 of first query and then pass it Record2 of first query. Is this the best way to go How would I structure SP Ars Tribunus Militum Registered: Jul 1, 2003 Could you give us a table diagram and data types Also maybe a little snapshot of what the records look like It will make it easier. I think it shouldnt be too hard but Id rather start with more info first. It cant be both. unless it is part of a compound primary key. So, by your statement, I will assume that the primary key of your table is . If this is the case, you are still OK, with the query I provided. In either case, you can use a similar construct to find out anything, average time for a specific process, average number of times the process runs, average number of different processes which run, total number of processes per day, etc. The ability to have any SQL statement function as a table in the FROM clause of your SQL statement can be a very powerful tool for this type of querying. Couple this with the concept of correlated-subqueries (the process of running a child query for each row in the parent resultset), and you can get pretty much anything you want with simple SQL. You can improve the read-ability and maintainability by creating views or user-defined functions which wrap complex logic. For example, the above query could be simplified by creating a view first: NOTE: Youll notice that you lose the parameterized-ness of the query when moving to a view, but as demonstrated, you can easily include a fixed filter in the view if desired (which would be required in this case, if you wanted to limit the countavg to a sliding window). NOTE2: You can get some of the parameterized-ness back into your view by converting it to a table-valued user-defined function, which would take your minimum date as an argument. Then when constructing your ad-hoc (or procedure driven) query, you could specify the size of the sliding window. Doing this can dramatically simplify your query structure and improve the readability of the result. You can do similar things with correlated-subqueries and user-defined functions (using the function in place of the correlated-subquery). The benefit of this approach is that you can give your function a meaningful name so that future users (including yourself) can remember explicitly what the sub-query was supposed to do. EDIT: fixed view declaration, added note EDIT2: added comment about table-valued user-defined functions P. S. As always, SQL Books Online has a number of good examples for most of this stuff. Sorry, let me rephrase, I have one column acting as the primary key which is an ID field which auto-increments and servers as the ID for a specific iteration of the process. i. e. When process ABC started at 11am it was given an ID of 1 and when process ABC started at 3pm it was given an ID of 2, etc, etc. Sorry for the confusion OK, So lets try to determine exactly what it is you want to see. In my mind I could imagine that youre trying to create a graph with two series, one series being the number of processes run per day, and the second series being the sliding average number for, say, the previous 1430 days. This could give you information such as the instantaneous curve or procsday to see if you get large fluctuations slope on a day-day basis, and the average to spot more dramatic fluctutations over time (e. g. something that might indicate that the process backing store is getting overloaded). All of these things can be done with a little creative query building. Lets walk through such a scenario here. Ill avoid the brute-force approach of building a temp-table in a stored proc and returning that table for each day. Although this may be the best solution in the end, it doesnt allow you to exercise your creative muscles So, we start by defining our requirements. We want to report, for each day in the specified window: 1. The total of processes which started on that day. 2. The average running time of the processes for that day 3. The 14-day sliding average for procsday 4. The 30-day sliding average for procsday The well define our backing store. This will be defined by the following table: ProcLog ProcessID StartTime StopTime Now, well define our base queries, well start with the easiest and move towards the most complex: This returns us, by day, the number of processes which started on that day. This calculates the average number of hours for the processes that ran each day (at 1 minute resolution) NOTE: Already, we can see some similarities between these two queries. Pretty much anytime a resultset selects the same non-aggregated fields, and has the same GROUP BY, the two queries can be combined into a single query, so as a result we get: OK, so the easy ones are out of the way, lets move on to the more difficult results. 3. Using similar logic to the post above, but note that Ive moved the sub-query to the SELECT list, this is called a correlated sub-query: 4. Looks the same as above, with 14 changed to 30. Now, if you were to run query 3 or 4, you would see that they fail to compile. SQL doesnt like us when we use a GROUP BY clause with that sub-query, because the sub-query isnt included in an aggregate. If we switched this to do a SUM()COUNT(), it still wouldnt work because we cant aggregate a sub-query, and wed have to repeat the query twice Weve written pretty much exactly what we want, but it doesnt work. now what Rather than further complicate the query (and risk getting one which doesnt work), well introduce the concept of a scalar valued user-defined function. The function were going to use looks like: This function returns the total number of processes run DaysBack previous to the StartTime. This now allows us to do some very simple math to get the sliding average, simply divide this number by the DaysBack parameter and weve got our average. The resultant query looks like: Youll note that the user-defined function is referenced twice in the statement, this is due to SQLs requirement that all non-aggregated functions appear in the GROUP BY clause. This will probably cause a slight performance decrease, but if the tables are indexed correctly, it should be fairly minor. You could avoid this by simply building a temporary resultset and putting it into the FROM clause as we did in the posts above. Now, with all this information in hand, we can provide our final query: Now, the only remaining (small) item, is that ugly CONVERTCAST operation. We could wrap this in a function as well: Then we end up with: Thats it for now. gotta go. P. S. There may be some flaws in my logic, the SQL errors should be as I mentioned, but I didnt have time to create a sample dataset to test the logic. Holy Cow Thats one of the best responses I have seen on Ars Thank you very much Now, lets focus on the top 2 to start with: So, I need to pass in StartDate EndDate. Whats the best way to do that Do a SELECT DISTINCT on StartDate and then loop through it I am unfamilar with loops in SQL, but I am guessing that is the best way to achive this. Have you thought about using an exponential average Youve most likely scene one when monitoring bandwidth, even though it may peek and valey, the exponential average shows the relative effective current bandwidth of the downloadupload. Average (NewDailyAverage Alpha) (Average (1-Alpha)) where Alpha is a number betwee 0.0 and 1.0 The higher the alpha, the more emphasis placed on the NewDailyAverage The lower the alpha, the more emphasis placed on historical values This would require that Average be stored inbetween sessions, and the average be called once per day for an update, but as you see, this makes the amount of querying needed a bare minimum. The lightning bolt ends here Ars Praefectus et Subscriptor Registered: Feb 16, 2000 StartDate and EndDate are defined completely by you. Its the period of time that you would like the report for, if you dont care, just leave out that portion of the WHERE clause in the final query. Either that, or throw that final query into a stored procedure that you can run at your leisure. Youll note that I didnt include a whole bunch of the more interesting statistics for a couple reasons: 1: They are harder to calculate 2: I couldnt think of a bunch off the top of my head 3: The post was too freaking long already JJJ points out a nice stat to have. He also makes another good point. Just because you can do something in SQL doesnt mean you should. Since the data doesnt change very often, you may be better off calculating the data on a daily basis and querying the pre-calced data. We in the DC Arcana do these sorts of things all the time, gathering the stats for a given day, calculating any number of statistics on those stats, then storing the results so they dont need to be recalculated every time. What you may want to do is some up with the stats you want, create the query that generates them all on the fly, tweaking it until its what you want, then using that query to populate the historical data. Then you can re-run the query on a dailyweekly basis with just the last week for a time window, storing the results in that same table. Then from those results, you can calculate the more complicated stats, do other trending calculations, etc. copy Ars Technica 1998-2017 Powered by phpBB and. copy 2017 Condeacute Nast. Alle Rechte vorbehalten Die Nutzung dieser Website stellt die Annahme unserer Nutzungsvereinbarung (effektive 32112) und der Datenschutzbestimmungen (effektive 32112) und Ars Technica Addendum (gültig 5172012) dar. Ihre Rechte in den USA Das Material auf dieser Website darf nicht vervielfältigt, verbreitet, übermittelt werden , Zwischengespeichert oder anderweitig verwendet werden, mit Ausnahme der vorherigen schriftlichen Zustimmung von Condeacute Nast. Ad Choices