Business Intelligence - Extract,Transform,Load(ETL)

Creare table din xsd

ssandu — Mon, 11 Jul 2011 07:55:57 GMT

Salut
Cum pot crea o tabela d=pe baza unui XSD ?
Este vorba de xsd-ul de la Declaratia 112 care are in el ComplexTypes iar un SSIS package nu vrea asa ceva.
Ceva idei ?
Multumesc

Problema cu OLE DB Source

bogdantoporan — Mon, 14 Feb 2011 15:20:37 GMT

Salutare tuturor

Am un pachet SSIS care imi extrage date din baza de date si le scrie intr-un fisier.

Totul a mers perfect timp de 1 an jumate pana cand brusc a inceput sa imi returneze o eroare ciudata.

In pachet folosesc un OLE DB Source care imi executa o procedura stocata si un Flat File Destination care imi ia coloana returnata de stored procedure si o scrie intr-un fisier.

Eroarea pe care o primesc este urmatoarea:

An OLE DB error has occurred. Error code: 0x80040E07.An OLE DB record is available. Source: "Microsoft SQL Native Client" Hresult: 0x80040E07 Description: "Error converting data type nvarchar to numeric.“

component "OLE DB Source" (824) failed the pre-execute phase and returned error code 0xC0202009

Daca execut procedura stocata din SQL Management Studio, totul e cu success. Nu primesc nici un mesaj de eroare, totul decurge OK.

Orice help, idee despre care e cauza acestei errori e bine venita.

Multumesc !

Data Source View predefinit ca sursa intr-un OLE DB Source?

alex.filipovici — Fri, 18 Jun 2010 10:47:37 GMT

Salut,

Nu am reusit sa imi dau seama cum folosesc un DSV ca si sursa pentru un OLE DB Source intr-un proiect Integration Services.

Ma poate sfatui cineva?

Multumesc.

Deployment cu probleme in SQL Server 2008

Micky Neagu — Sun, 21 Feb 2010 09:38:44 GMT

Buna ziua!,
Am instalate pe aceeasi masina SQL Server 2008 Express Edition cu toate tool-urile necesare pentru a crea un cub de date.
Am facut baza de date, am reusit sa fac cubul, problema mea apare in momentul in care dau deployment.

Eroare care apare este:" A connection cannot be made to redirector. Ensure that SQL Browser service is running. "

Am verificat toti pasii, Sql Browser este functional, ruleaza cu acelasi user ca si SQL Server, baza de date raspunde cand se face test din VS2008, totusi nu pot face deployment.

Ma puteti ajuta cu aceasta problema?

Multumesc,
Lucian

SSIS - Rulare pachete printr-un alt packet

Marmota — Fri, 04 Sep 2009 10:06:28 GMT

Salutare,

(Nu sunt sigur daca ce vreau eu se poate, ca sunt n00b in SSIS, dar sincer m-as astepta sa se poata intr-un fel sau altul)

Am creat un proiect SSIS in care am facut 3 pachete. Ele sunt simple, doar copiaza datele noi dintr-o tabela comparat cu o versiune mai veche a ei.
Pachetele functioneaza ok in debug-ul SSIS designer.

La build am vazut ca se creaza 3 fisiere separate, pe care daca vreau sa le rulez le pun separat in SQL Agent.

Problema sau curiozitatea mea este daca nu pot face un pachet global ca sa ruleze pe rand fiecare dintre cele 3 pachete. Adica in loc sa fac 3 joburi in sql agent pt fiecare dintre pachete, sa fac una singura cu pachetul global.

Multumesc.

Export de poze din SQL Server 2005

valky — Wed, 25 Feb 2009 08:55:52 GMT

Buna ziua,

Am si eu o mica nelamurire.

Am o tabela (PozeArticole) intr-una din bazele de date in care sunt stocate niste imagini.
Pt. motive independente de vointa mea, ele sunt stocate in format "image", asa a venit aplicatia.

Vreau sa extrag aceste poze din baza si sa le export in fisiere jpeg.

Asa ca am facut un Data Flow, cu un OLEDB Source (catre PozeArticole) legat de o transformare Export Column.

La Extract Column am coloana ce contine imaginile (Poza) si la File Path Column am coloana ce contine path-ul unde tb. sa salveze poza respectiva (Path) -> (e.g. pt articolul 1, path-ul este "C:\poze\1.jpg")

Problema e ca daca ii dau run, nu se intampla nimic ... din cate stiu nu am nevoie de nicio alta destinatie, Export Column nu are nevoie.

Trece de validare si ramane OLEDB Source galben si nu se intampla nimic (nu primesc niciun mesaj) si ramane asa forever.

Daca aveti vreo idee, v-as ramane etern recunoscator.

Va multumesc,
Valentin

P.S.: stiu ca in 2000 era un utilitar textcopy care era destul de facil pt exportul de poze, dar din pacate, nu mai exista in 2005.

Trecere pachete SSIS de pe masina de developer pe server

lmsasu — Thu, 16 Oct 2008 07:39:11 GMT

Salut,

am o suita de pachete SSIS dezvoltate in BIDS/VS 2005. Exista un pachet care include celelate pachete ca task-uri. Toate bune si frumoase, numai ca aceste pachete sunt incluse cu cale absoluta catre fisierele dtsx. Deployerea merge ok pe masina mea, pachetele functioneaza. Problema este cand duc pachetele pe alt server, nu mai merge nimic din cauza ca nu am aceleasi cai absolute. Se poate sa specific o cale relativa (.\myPackage.dtsx in loc de d:\....\myPackage.dtsx), sau sa parametrizez cumva aceste cai? Imi scapa ceva? Mentionez ca deployerea o fac tot ca proiect in BIDS si acolo imi crapa pe server.

Multumesc,
Lucian

Deployere pachete SSIS

lmsasu — Wed, 15 Oct 2008 19:15:37 GMT

Salut,

am un proiect SSIS creat in VS 2005. Am pachete SSIS care merg daca le rulez din BIDS. Serverul este local, SQL Server 2005 developer edition. Problema este ca daca incerc sa fac o deployere a pachetelor pe server, conform pasilor de la http://decipherinfosys.wordpress.com/2008/09/16/deploying-ssis-packages-in-sql-server-2005/ - lucru cu Package Installation Wizard, la lansarea fisierului cu extensia SSISDeploymentManifest imi apare eroare ca nu se poate conecta (login timeout expired). Asta se intampla indiferent de ce mod de conectare folosesc: Windows authentication sau SQL auth. Ce gresesc? de ce nu ma lasa sa ma leg e server? din SSMS pot sa intru pe Integration services cu oricare din autentificari.

Multumesc,
Lucian

ssis package cu parametri

crestinul — Fri, 27 Jun 2008 06:06:05 GMT

Am un package ssi si am nevoie sa parametrizez urmatoarele:parametrul unei interogari si ado connection stringul a lui conexiuni sql deestinatie.

Nu am experienta cu ssis se poate face asa ceva e greu imi puteti da va rog cateva hinturi ,privind parametri pachetelor dts/ssis?

Multumesc

integrations services "Cannot create ActiveX component"

teddy — Thu, 03 Apr 2008 06:45:58 GMT

am un package pe un server care nu are instalat M$ Office. cu acel package apelez un fisier Excel de pe un alt server, il umplu cu date si il salvez. rulat local la mine unde am instalat Office imi merge brici, rulat pe serverul de baze de date unde nu exista instalat Office imi da : "Cannot create ActiveX component".

banuiesc ca e din cauza la Office dar nu sunt 100% sigur. aveti vreo idee in plus?

dts packages in sql 2000

crestinul — Tue, 11 Sep 2007 06:09:08 GMT

Imi puteti recimanda un tutorial comprehensive opt asa ceva,reconosc nu am lucrat cu dts in 2000 doar ceva cu iss.

Am de facut un job care salveaza intr-un xml din ora in ora rezultatele unui query si m-a gandit sa fac cu un paket dts.

Multumesc

migrare obiecte+date mysql mssql

crestinul — Thu, 19 Jul 2007 09:13:06 GMT

E posibil cu integration services sau orice alta scula mssql sa copiez obiectele dintr-o baza de date mysql pe mssql ,cu tot cu datele continute .Adica as vrea sa-mi creeze automat toate obiectele pe mssql indexi tabele si apoi sa incarce tabelele sa puna si relatiile intre tabele ,pe baza destinatie mssql?

Multumesc

Exportare in XML

valky — Thu, 28 Jun 2007 15:58:41 GMT

Buna ziua,

Intampin si eu o dificultate tehnica. Am nevoie sa export un set de date din database engine in format xml si totodata acel xml sa se actualizeze odata la X ore.

Pot sa construiesc query-urile cu optiunea FOR XML AUTO, problema mea e cum automatizez refresh-ul XML-ului (din care o sa citeasca o terta aplicatie), am incercat cu un pachet de SSIS, dar nu sunt foarte sigur de unde sa abordez problema. (am incercat cu OLEDB Destination cu driver-ul de XML, dar nu prea m-am descurcat).

Daca ati avea vreo sugestie, v-as fi etern recunoscator.

Multumesc,

Vali

Probleme executare pachet ETL

Tudor10i — Wed, 30 May 2007 14:09:33 GMT

Salut,

Am dezvoltat mai multe pachete pentru incarcare unui warehouse. Fiecare pachet individual functioneaza corect. Am dezvoltat un pachet generic in care am definit ordinea in care se executa fiecare pachet individual. La rularea pachetului generic la un moment dat porneste aplicatia sqldumper.exe. si acesta se opreste, fara a genera o eroare in event viewer sau sa-mi trimita mail cu eroare. Am folosit si optiunea pentru logarea tuturor erorilor care apar in baza de date si nu este logat nimic. Are cineva idee ce ar putea genera acest comportament??

Mutumesc.

Tudor

utilizare ssis

crestinul — Wed, 17 Jan 2007 18:53:06 GMT

cu Integration services e posibil sa fac schedule la pakete, sa fac sa se lanseze in executie packetele automat la o noua restartare de serviciu sau foloseste exclusiv numai pt rularea packetelor ,iar planficarea o fac punandu-le in joburi sql agent? multumesc

ssis bug?

crestinul — Mon, 01 Jan 2007 11:46:59 GMT

Finally am facut si eu primul project in SSIS. Am rulat din Visual Studio si am vazut ca merge, am facut deploy la pachet ,dtsx file, pe Integration Services.

Problema e ca dupa operatiunea asta cand deschid projectul meu-pachetul dtsx si incerc sa intru pe dataflow-ul projectului,in modul design fiind obtin o exceptie si se restarteaza Visual Studio.

A mai patit careva asha ceva? Are cineva idee de chestia asta?

ssis tutorial

crestinul — Fri, 29 Dec 2006 09:11:29 GMT

Stie cineva vreun tutorial de ssis free ,o documentatie ca sa inveti ssis step by step -in afara de bol?

Multumesc

Site-uri de profil

ggciubuc — Mon, 11 Dec 2006 11:16:31 GMT

Raspunzand unei postari am dat de niste siteuri care se nimeresc foarte bine aici

http://www.sqlis.com/ pentru Integration Services

http://www.sqldts.com/ al "batranului" DTS

SSIS Quick Start

Diana — Mon, 18 Sep 2006 18:05:24 GMT

Puteti crea pachetele SSIS programatic (folosind namespace-ul Microsoft.SqlServer.Dts.Runtime), din VS 2005, pornind de la template-ul Business Intelligence Projects ---> Integration Services Projects sau accesand All Programs ---> Microsoft SQL Server 2005 ---> SQL Server Business Intelligence Development Studio.
In exemplul de fata veti crea un pachet SSIS folosind VS.
1. Template-ul "Integration Services Projects" este instalat odata cu SQL Server 2005 - cand ajungeti la Components to install ---> Advanced selectati "Business Intelligence Development Studio" din "Client Components". Cand veti crea un nou proiect in VS 2005, veti observa in sectiunea "Project types" grupul de tempalates "Business Intelligence Projects".
New SSISP ackage - img1
2. Spre deosebire de DTS din SQL 2000, succesiunea task-urilor de procesare din pachet ("control flow") este separata de transformarea propriu-zisa a datelor de la sursa la destinatie ("data flow"). Conexiunile cu diverse surse de date (de exemplu tabele dintr-o baza de date sau fisiere text) se definesc in tab-ul "Connection Managers" din partea de jos a ecranului. "Connection manager" este un obiect care reprezinta o conexiune - una dintre proprietatile sale este "connection string". Odata definit, un "connection manager" poate fi asociat cu un task din "control flow" sau cu transformarile din "data flow".
Tab-ul "event handlers" contine task-uri corespunzatoare evenimentelor produse de pachet (de exemplu "OnError" se produce daca in cursul executiei pachetului apar erori)
"Package explorer" listeaza continutul pachetului - task-uri, "connection managers", variabile, etc.
New SSIS Package - img2
3. Pentru a adauga un prim "connection manager" dati un "right click" pe aria "Connection Managers" si alegeti "ADO.NET Connection". * Aveti nevoie de acest tip de conexiune pentru script task-ul din pasul 4. Gasiti o explicatie amanuntita in Books Online ---> Using Connections in the Script Task. Apasati butonul "New" si specificati serverul si baza de date.
Specificati in connection string "MultipleActiveResultSets=True" daca vreti sa profitati de "MARS" - vezi imaginea
4. Alegeti din Toolbox un "script task"
* Gasiti o lista completa de task-uri in Books Online --->Integration Services Tasks.
Din meniul "right click" selectati "Edit" ---> Script ---> Design Script.
Editorul Script Task
*Din pacate, nu puteti programa decat in VB...
* Scriptul din acest exemplu selecteaza o coloana de tip "string" dintr-un tabel; sirul este prelucrat iar rezultatul final este inserat in tabelul "Category"
De exemplu sirul initial este de forma "/Imported Wine/France/Burgundy/Meursault". Scriptul va "sparge" sirul dupa "/" si va crea in tabelul "Category" inregistrarile:
CategoryID    Name                                ParentCategoryID
1                  Imported Wine                    0
2                  France                                1
3                  Burgundy                            2
4                    Meursault                          3
Transact SQL nu este "expert" in job-uri precum prelucrarea de siruri sau "regular expressions"; folositi .NET in aceste cazuri.
5. Pentru cazul in care apar erori in executie, puteti trimite un mesaj de e-mail folosind un "Send mail task". In cazul de fata veti folosi "Send mail task" intr-un "event handler" corespunzator evenimentului "on error" la nivel de pachet.
*Lista completa de evenimente: Books Online ---> Integration Services Event Handlers
Mai intai veti crea un "SMTP connection manager", care conecteaza pachetul la un server SMTP (selectati meniul SSIS ---> New connection).
6. Puteti configura "Send mail task" folosind variabile. Variabilele pot fi incluse intr-un fisier de configurare care va fi actualizat la o eventuala portare a pachetului pe o alta masina. Variabilele definite de catre utilizator se adauga folosind tab-ul "Variables" din partea dreapta a ecranului. Domeniul ("scope") variabilei poate fi pachetul SSIS, un task, un container sau un event handler (ca in cazul de fata).
Task-ul se configureaza din editor (accesat cu un "right click"). Incepeti cu sectiunea "Expressions" - click pe butonul "..." si din drop-down-ul "Property" alegeti "FromLine" si expandati "Expression Builder". Nodul "Variables" listeaza variabilele sistem si "user defined" . Asociati urmatoarele proprietati cu variabile:
    FromLine ---> User::sender_mail
    ToLine   ---> User::recipient_mail
    Subject ---> System::TaskName
* Lista completa de variabile sistem: Books Online ---> System Variables
7. Rulati pachetul ca pe orice proiect de VS - apasati "start debugging"

SQL Server 2005 SSIS: tuning the dataflow task

Tudor10i — Wed, 08 Nov 2006 10:54:54 GMT

Need to wrestle every last ounce of performance out of the dataflow task? Kirk Haselden can show you how.
http://www.simple-talk.com/sql/sql-server-2005/sql-server-2005-ssis-tuning-the-dataflow-task/

SSIS Logging & Debugging

Diana — Thu, 05 Oct 2006 08:56:31 GMT

In faza de test, rulati pachetul SSIS ca pe orice proiect de VS - click pe butonul "Start Debugging".
In primul rand va puteti da seama de ceea ce se intampla in timpul rularii dupa culoarea task-urilor: galben - in desfasurare, verde - OK, rosu - eroare.

Tab-ul "Execution Results" listeaza pasii din cursul executiei pachetului.

Mai departe, SSIS ofera destul de multe facilitati de "logging" si "debug".
1. Logging-ul "tine evidenta" evenimentelor SSIS. Informatia poate fi "notata" intr-un fisier text, xml, in tabelul msdb.dbo.sysdtslog90, intr-un "trace" (sursa pentru SQL Profiler) sau in windows event log. Configurati log-ul la nivel de pachet sau de task accesand meniul SSIS ---> Logging.

Alegeti un "log provider" la nivel de pachet - destinatia de stocare a informatiei - de exemplu un fisier XML (SSIS log providers for XML files). Alegeti "New Connection" din drop-down-ul "Configuration", selectati "Usage type ---> Create File" si specificati numele fisierului XML.

In tab-ul Details alegeti evenimentele pe care vreti sa le logati:

In ecranul "Advanced" puteti alege datele care vor fi notate la destinatie:

Exemplu de fisier XML de log

Elementul "source" contine sursa informatiei - pachet, container, task.
* Aveti grija de dimensiunea fisierelor de log...
Pentru exemplificarea logging-ului la nivel de task, creati un "Execute SQL Task" care executa o procedura stocata de forma:

CREATE PROCEDURE [dbo].[DM_SSISLDExample]
    @Headline varchar(100),
    @NewsID int OUTPUT
AS
BEGIN
    SET NOCOUNT ON;
    INSERT INTO News(Headline)
        VALUES(@Headline)
    SET @NewsID = SCOPE_IDENTITY()
END

* Structura tabelului News:
CREATE TABLE [dbo].[News](
    [NewsID] [int] IDENTITY(1,1) NOT NULL,
    [NewsGUID] [uniqueidentifier] NOT NULL CONSTRAINT [DF_News_NewsGUID] DEFAULT (newid()),
    [Headline] [ntext] COLLATE SQL_Latin1_General_CP1_CI_AS NULL,
.
.
.
CONSTRAINT [PK_News] PRIMARY KEY CLUSTERED
(
    [NewsID] ASC
)WITH (PAD_INDEX = OFF, IGNORE_DUP_KEY = OFF) ON [PRIMARY]
) ON [PRIMARY] TEXTIMAGE_ON [PRIMARY]

In editorul task-ului alegeti un "connection type" ADO.NET (necesar daca lucrati cu proceduri) si setati IsQueryStoredProcedure = True

Creati variabilele:
- "news_id" de tipul Int32, la nivel de pachet
- "headline" de tipul string, la nivel de Execute SQL Task
In Parameter Mapping stabiliti corespondenta intre parametrii procedurii si variabile:

* news_id va lua valoarea parametrului output @NewsID si poate fi folosita de catre un alt task.
SSIS permite stocarea informatiei de log in destinatii diferite pentru componente diferite. De exemplu, la nivel de "Execute SQL Task" puteti alege ca "log provider" SSIS Log provider for SQL Server. Informatia va "merge" in tabelul msdb.dbo.sysdtslog90.
*mai intai adaugati providerul dorit la nivel de pachet
* pentru acest provider creati o noua conexiune OLEDB pe baza msdb
* folositi proprietatea LoggingMode = UseParentSettings daca vreti ca setarile de logging ale task-ului sa fie cele ale unui container parinte

2. SSIS permite utilizarea de breakpoints la niver de container ("ForEach loop container", "For loop container", etc.) si de task.
Breakpoint-ul se asociaza cu un eveniment - de exemplu cu OnPreExecute si OnPostExecute. Dati un "right click" pe task si alegeti "Edit Breakpoints":

Puteti urmari valoarea variabilei news_id inainte si dupa executia task-ului (---> OnPreExecute, OnPostExecute) in ferestrele "Watch" si "Locals".
Fereastra "Call Stack" afiseaza task-ul curent (marcat prin sageata galbena) si parintele sau.

3. Pentru debug pe un script task editati scriptul VB (righ click pe script task ---> Edit ---> Script ---> Design Script) si creati break points:

Imaginea de mai jos reda ceea ce se vede in "Edit Breakpoints":

Cand este atins break pointul, debugger-ul lanseaza VB:

4. Comportament bizar
Am incercat sa apas pe butonul "step over". A aparut mesajul de eroare din imagine: