T-SQL

Re: export de bulk-uri de date

neo — Thu, 21 May 2009 11:15:37 GMT

Cu solutia implementata descrisa mai sus (bcp pus intr-un schedule task + 1 trigger pe tabela after insert) daca monitorizez sistemul acum cu solutia implementata, am observat urmatorul lucru:

- in activity monitor sunt multe inregistrari (vreo 20) in care apare baza de date "master" cu statusul "dormant" (care de fapt sunt procese ce curata cash-ul dupa terminarea proceselor rpc de pe link-serverele aferente).

ar putea fi vre-o problema in timp....neprevazuta...?

multumesc.

Re: export de bulk-uri de date

crestinul — Tue, 19 May 2009 10:54:09 GMT

O alta solutie,scuze ca intervin ar fi un trigger dot net in care generezei un output stream xm cu select from Inserted clauza for xml apoi acel stream il salvezi intr-un fisiere xml folosind dot net xml namespace

Re: export de bulk-uri de date

neo — Mon, 18 May 2009 09:50:17 GMT

am rezolvat-o astfel:

un script bat folosind bcp pus apoi in schedule task si utilizand de asemenea un trigger:

SET DAY=%DATE:~4,2%
SET MTH=%DATE:~7,2%
SET YR=%DATE:~10,4%
SET HR=%TIME:~0,2%
SET HR0=%TIME:~0,1%
IF "%HR0%"==" " SET HR=0%TIME:~1,1%
SET MIN=%TIME:~3,2%
SET SEC=%TIME:~6,2%
SET MYDATE=%YR%%MTH%%DAY%-%HR%%MIN%%SEC%

bcp "select rtrim(companyname)+'#'+rtrim(t) from q.dbo.customers" queryout c:\export_%MYDATE%.txt -S instanta -U username -P pass-c

multumesc

Re: export de bulk-uri de date

Diana — Sat, 16 May 2009 10:49:40 GMT

Vezi si
http://www.simple-talk.com/sql/t-sql-programming/reading-and-writing-files-in-sql-server-using-t-sql/

Re: export de bulk-uri de date

B_gd_n[ ]Sahlean — Fri, 15 May 2009 17:32:22 GMT

neo:
Este necesar ca informatiile sa fie preluate mai departe in timp real din txt-ul scris pe hdd.

o aplicatie le va citi mai departe si nu se doreste citirea din Db ci dintr-un txt.

problema e de a gasi un mecanism care sa rezolve problema cat mai simplu si eficient..

Multumesc.

Încearcă cu un RAM DISK [1],[2],[3] şi apoi pe unitatea respectivă de disc creezi fişierul txt

iar pe prima linie definesti capul de tabel având denumirile coloanelor separate prin ,

Apoi
INSERT OPENROWSET('Microsoft.Jet.OLEDB.4.0','Text;Database=C:\',fisier#txt)
SELECT ...
FROM tabele (ex. INSERTED)

Periodic, ştergi conţinutul fişierului.

Re: export de bulk-uri de date

neo — Fri, 15 May 2009 11:38:51 GMT

Este necesar ca informatiile sa fie preluate mai departe in timp real din txt-ul scris pe hdd.

o aplicatie le va citi mai departe si nu se doreste citirea din Db ci dintr-un txt.

problema e de a gasi un mecanism care sa rezolve problema cat mai simplu si eficient..

Multumesc.

Re: export de bulk-uri de date

ignatandrei — Fri, 15 May 2009 07:47:17 GMT

neo:
cum ai face tu ca toate operatiile de insert ce vin in tabelul asta cu orice frecventa posibila, sa ajunga intr-un txt (doar cele nou sosite in tabel) ?

care este ce-a mai buna metoda?

multumesc.

eu nu le-as pune intr-un txt ... Le-as adauga in alta tabela - si as lasa Sql Server sa faca optimizarea scrierii pe hard.
Apoi, la 12 noaptea, as exporta tot ...

Re: export de bulk-uri de date

ggciubuc — Fri, 15 May 2009 07:13:36 GMT

Cel mai potrivit ar fi ca acest lucru sa fie facut asincron astfel ca aglomeratia facuta de triggere sa nu gatuie serverul; aceasta asincronicitate este asigurata de folosirea service broker - tehnologie care vine c u SQL -ul si relativ usor de pus la treaba.

Re: export de bulk-uri de date

neo — Thu, 14 May 2009 20:55:24 GMT

cum ai face tu ca toate operatiile de insert ce vin in tabelul asta cu orice frecventa posibila, sa ajunga intr-un txt (doar cele nou sosite in tabel) ?

care este ce-a mai buna metoda?

multumesc.

Re: export de bulk-uri de date

B_gd_n[ ]Sahlean — Thu, 14 May 2009 18:17:43 GMT

neo:
...
ca in rest pun un trigger pe insert care sa execute acel t-sql care va lua doar inserturile noi si le duc intr-un txt...mi se pare cel mai simplu

Trigger-ul ăsta va genera operaţii IO. Nu ştiu dacă îţi permiţi să nu iei în calcul acest aspect.

Creezi un c:\fisier.txt si pe prima linie definesti capul de tabel avânde denumirile coloanelor separate prin ,

Apoi
INSERT OPENROWSET('Microsoft.Jet.OLEDB.4.0','Text;Database=C:\',fisier#txt)
SELECT ...
FROM tabele (ex. INSERTED)

Re: export de bulk-uri de date

neo — Thu, 14 May 2009 17:03:55 GMT

in ce ma cramponez eu acum tine de T-SQL strict: de care nu ma prind:

cum iau doar inserturile noi dintr-un tabel oarecare care sa il pot folosi in actualul context...?!?!??

ca in rest pun un trigger pe insert care sa execute acel t-sql care va lua doar inserturile noi si le duc intr-un txt...mi se pare cel mai simplu

Re: export de bulk-uri de date

B_gd_n[ ]Sahlean — Thu, 14 May 2009 16:42:07 GMT

neo:
din documentatia pentru trace server side (care merita abordata) am observat ca pot scrie un trace (.trc) cand am un eveniment id pe o tabela (ex: StmCompleted): dar eu as dori sa scriu doar acele noi inserturi (concatenate) dintr-o tabela intr-un .txt oarecare (incremental) printr-o metoda cat mai simpla.

Apropo: unde vad trace-urile create deja (inafara de functia fn_trace_getinfo) ?

(inserturile in tabela pot fi f dese)

Multumesc.

SELECT *
FROM fn_trace_getinfo(default)

iar fn_trace_gettable permite interogarea datelor din trace.

Re: export de bulk-uri de date

Diana — Thu, 14 May 2009 16:32:38 GMT

Vezi daca te ajuta si BOL ---> Inserting data from an OUTPUT Clause into a target table

Re: export de bulk-uri de date

neo — Thu, 14 May 2009 16:22:07 GMT

din documentatia pentru trace server side (care merita abordata) am observat ca pot scrie un trace (.trc) cand am un eveniment id pe o tabela (ex: StmCompleted): dar eu as dori sa scriu doar acele noi inserturi (concatenate) dintr-o tabela intr-un .txt oarecare (incremental) printr-o metoda cat mai simpla.

Apropo: unde vad trace-urile create deja (inafara de functia fn_trace_getinfo) ?

(inserturile in tabela pot fi f dese)

Multumesc.

Re: export de bulk-uri de date

B_gd_n[ ]Sahlean — Thu, 14 May 2009 12:51:15 GMT

neo:
As mai avea o intrebare va rog:

Cum as putea sa scriu fiecare insert / inserturi noi dintr-o tabela intr-un fisier?

multumesc

Cel mai simplu cu trace-uri server side.